본 연구에서는 수사구조이론(RST) 기반 내용 조직 능력 진단 도구를 통해 초등학생들의 문장 배열 과제 수행 결과에 대해 자동 채점을 실시하고, 그 채점 결과에 대한 분석을 바탕으로 학생들의 과제 수행에 영향을 미친 진단 도구 요인을 알아보고자 하였다. 주요 분석 결과는 다음과 같다. 첫째, 핵이 제시된 문항의 점수가 그렇지 않은 문항의 점수보다 높게 나타났다. 둘째, 내용 구획 영역과 내용 배열 영역 간의 상관관계가 매우 높았으며, 하위 집단 학생들은 내용 배열 영역에서 상대적으로 더 많은 어려움을 겪는 것으로 나타났다. 셋째, 의미관계의 수와 의미관계 유형의 수가 많아질수록 점수가 낮아지는 경향이 있었고, 의미관계 유형이 가장 다양한 문항의 경우, 유형 간의 점수 차이가 매우 크게 나타났다. 이러한 분석 결과는 향후 내용 조직 능력 진단 도구를 정교화할 때 문항 형태, 분포, 가중치 설정 등을 결정할 때 중요한 시사점이 될 것으로 판단된다.