디지털 리터러시는 디지털 대전환 시대를 살아가는 아이들에게 필수적인 역량으로 자리잡고 있으며 그 중요성이 더욱 부각되고 있다. 
본 연구는 이러한 흐름에 맞추어 우리나라 초·중학생의 디지털 리터러시 수준을 체계적으로 측정하고, 이를 통해 정책적 시사점과 교육적 개선 방향을 도출하는 것을 목적으로 한다. 
이를 위해, 2023년 개발된 수행형 검사 도구를 수정·보완해 실생활에서 요구되는 문제해결 능력을 측정하고, 검사 결과를 바탕으로 학생들의 디지털 리터러시 강화 방안을 제시하고자 했다.
본 연구는 크게 네 가지 내용을 중심으로 진행되었다. 첫째, 국내·외 디지털 리터러시 연구 동향을 분석하고, 이를 기반으로 평가 프레임워크를 재검토하였다. 둘째, 디지털 리터러시와 관련된 학생들의 실질적인 수준을 파악하기 위해 기 개발된 검사 도구의 자유도와 실제성을 보완하였으며 UX/UI 등에 대한 개선이 이루어졌다. 셋째, 전국 초·중학생 약 1.6%를 표본으로 선정해 디지털 리터러시 수준을 측정하였다. 본 연구에서는 학생들의 성별, 학년, 지역 규모와 같은 다양한 변인을 반영하여 디지털 리터러시의 특징을 비교 분석하였으며, 검사 과정에서 수집된 로그 데이터를 활용해 학생들의 문제 풀이 과정과 패턴을 심층적으로 분석하였다. 마지막으로, 2023년 결과와 비교하여 디지털 리터러시 수준의 변화를 분석하였다. 이를 위해, 검사 동등화 작업을 수행하였으며, 연도별 성취 수준을 파악하고 그에 따른 교육적 시사점을 도출하였다.
본 연구의 대상은 초등학교 4학년～6학년 및 중학교 1학년～3학년 학생들이다. 모집단의 학생 수는 한국교육개발원의 교육통계서비스에서 제공하는 2023년 하반기 유·초·중등 교육통계 학교별 주요 현황 자료에 기재된 전국 초등학교 및 중학교 학생 수와 학교 수를 기준으로 하였다. 최종적으로 본검사에 응시한 학교와 학생수는 초등학교 총 318개, 18,831명과 중학교 총 245개, 19,126명이었다.
본 연구의 주요 결과를 살펴보면 다음과 같다. 
첫째, 디지털 리터러시 성취수준과 평균 점수와 관련한 각 학교급별, 학년별, 성별, 지역규모별, 디지털 선도학교 여부에 따른 차이 분석을 실시하였으며, 이 중 성취수준별 분포와 평가영역별 점수를 살펴보면 다음과 같다. 먼저, 초등학교 디지털 리터러시 성취수준별 분포는 4수준(가장 높은 수준)과 3수준의 비율이 높은 편이었으며, 2수준과 1수준(가장 낮은 수준)의 비율이 비교적 낮게 나타났다. 평가영역별로 살펴보면, ‘A. 디지털 도구’ 영역의 평균 점수가 가장 높았으며, ‘C. 디지털 의사소통 및 협력’, ‘E. 디지털 안전과 건강, ’B. 디지털 정보·데이터‘, ‘D. 디지털 자원 생산’ 순으로 높게 나타났다. 한편, ‘D. 디지털 자원 생산’의 평균 점수는 41.76점으로 타 영역에 비해 다소 낮게 나타났다. 다음으로 중학교 디지털 리터러시 성취수준별 분포에서는 4수준과 3수준의 비율이 높게 나타났다. 다만, 초등학교와 달리 1수준 비율이 2수준과 비교하여 상대적으로 높게 나타났다. 평가영역별로 살펴보면, ‘E. 디지털 안전과 건강’ 영역이 타 영역에 비해 높은 점수를 보였으며, ‘A. 디지털 도구’, ‘B. 디지털 정보·데이터’, ‘C. 디지털 의사소통 및 협력’, ‘D. 디지털 자원 생산’ 영역 순으로 높은 점수를 보였다.
둘째, 2023-2024년 디지털 리터러시 수준 비교를 위해, 각 학교급별, 학년별, 성별, 지역규모별, 디지털 선도학교 여부에 연계성 분석을 실시하였으며, 이 중 각 학교급별 성취수준에 대한 주요 결과를 살펴보면 다음과 같다. 먼저, 초등학교 디지털 리터러시 검사 총점은 2023년에 비해 2024년의 총점 평균이 유의하게 높게 나타났으며, 성취수준별 분포에서도 2023년에 비해 4수준과 3수준의 비율이 증가하고, 2수준과 1수준의 비율은 감소하는 것으로 나타났다. 다음으로, 중학교 디지털 리터러시 검사 총점은 2023년에 비해 2024년의 총점 평균이 유의하게 높게 나타났으며, 4수준과 1수준의 비율은 증가하고, 3수준과 2수준의 비율은 감소하는 것으로 나타났다. 이때, 1수준의 비율은 소폭 증가하였으나, 2, 3수준의 비율의 감소폭이 크고 4수준의 비율은 약 12%p로 크게 증가하여 전반적으로 중하위 집단이 감소하고 중상위 집단이 증가하였다고 볼 수 있다.
셋째, 로그 데이터를 활용한 심층 분석의 주요 결과를 살펴보면 다음과 같다. 먼저, 각 문항과 모듈별 총 로그 수, 정답률, 무응답 수 등에 대한 분석을 실시하였으며, 문항별로 약 10만개에서 80만개 사이의 다양한 로그 수를 보이는 것을 확인할 수 있었다. 로그 수는 문항에서 학생들이 클릭하거나 드래그&드롭 등의 활동을 한 흔적을 의미하며, 기능형과 알고리즘형 뿐만 아니라 선다형에서 학생들이 보기를 다양하게 변경하며 고민한 흔적을 확인할 수 있었다. 다음으로, 알고리즘형에 대한 심층 분석을 실시하였으며, 초등학교는 순차적 문제해결과 관련된 1문항, 중학교의 경우 순차, 반복, 조건 각 1문항씩 구성되어 있다. 이 중, 순차적 문제해결은 초등학교와 중학교 동일한 문항으로 구성되어 있다. 분석 결과 순차, 반복, 조건 문항 모두 정답을 도출한 학생들은 정답을 맞추지 못한 학생에 비해 시작하기 횟수가 더 많고 문제풀이에 투자한 시간도 더 길게 나타났다. 순차 문항의 경우, 순차적으로 해결하도록 설계된 문항임에도 불구하고, 반복 구조 활용에 대한 명시적 지시사항이 없는 상황에서 학생들이 자발적으로 반복 구조를 활용하여 정답을 도출한 경우가 있는 것을 확인할 수 있었다(초등학생 472명, 중학생 426명).
이상의 결과를 토대로 본 연구의 제언 사항을 크게 검사도구 개선과 디지털 리터러시 교육 관점으로 구분해 살펴보면 다음과 같다.
첫째, 수행형 검사의 경우 여러 가지 로그 데이터가 남게 되므로 로그 데이터를 활용한 심층 분석 모델을 지속적으로 개발할 필요가 있다. 본 연구에서는 알고리즘형 문항에 대한 심층 분석을 실시하였으나, 향후 다른 유형의 문항에 대한 분석 방안과 함께 추측 통계 분석의 한계점을 보완하기 위한 다양한 분석 모델을 지속적으로 개발할 필요가 있다. 이러한 분석 방안은 디지털 리터러시와 관련된 학생들의 실질적인 수준에 대한 이해뿐만 아니라, 검사 도구의 개선 등을 위한 기로 자료로도 활용될 수 있을 것으로 기대된다.
둘째, 문제의 난이도와 문제 풀이에 소요되는 예상 시간, 클릭 수 등을 고려하여 적절한 문항 배치가 고려되어야 한다. 본 연구에서 볼 수 있는 것과 같이 무응답수가 한 번 증가하기 시작하면, 중간에 선다형 문항이 등장하지 않는 이상 계속해서 증가하는 경향이 있다. 특히, 같은 문항이라고 할지라도 위치에 따라 응답자 수가 달라지는 것을 확인할 수 있었다. 이에, 향후 학생들의 검사 몰입도를 향상하기 위한 검사 문항 구성 및 배치 방안을 마련할 필요가 있다.
셋째, 검사 문항 및 시스템의 UX/UI를 지속적으로 개선해야 한다. 로그 데이터 분석을 통해 많은 학생들이 정답에 거의 도달한 풀이를 해왔음에도 불구하고, 마지막에 버튼 하나를 안 누르거나 다른 버튼을 눌러서 오답 처리되는 경우를 확인할 수 있었다. 디지털 리터러시 검사가 오프라인에서 지면으로 이루어지는 것이 아닌 온라인에서 측정되는 검사임을 고려하여 문항 자체에 대한 가독성 및 이해도와 시스템의 UX/UI를 지속적으로 개선해야 한다.
넷째, 수행형 검사를 고려해 부분 점수 및 루브릭 평가 기준 등을 고려한 새로운 채점 모델을 개발할 필요가 있다. 알고리즘형 문제의 경우 문제해결을 위한 다양한 형태의 해결 과정이 존재한다. 이 때, 효율적으로 해결하는 유형과 그렇지 않은 유형이 존재하며, 문제를 정확히 해결하지는 못했지만 정답에 거의 도달한 경우도 있기 때문에 부분 점수 등을 고려해볼만 하다. 부분 점수를 디지털 리터러시 검사의 모든 문항에 적용하기 어려울 수 있으나, 문제해결 단계 등을 고려해 적용한다면, 향후 학생들의 수준을 보다 면밀히 살펴볼 수 있을 것으로 기대된다.
끝으로, 디지털 리터러시 검사의 지속성과 안정성을 위해 전담 기관에서 검사 시스템을 운영하는 것이 필요하다. 이 때, 검사 문항에 대한 최신성 유지와 분석에 대한 전문성을 고려해 검사 시스템 구축 사업과 검사 문항 개발 및 분석 관련 연구 사업을 별도로 분리해 운영하는 것을 고려할 필요가 있다. 이를 통해 전담 기관은 검사 시스템을 안정적으로 운영하고, 결과 데이터를 지속적으로 확보해 향후 데이터 공개 및 시계열 분석 등을 원활히 할 수 있을 것으로 기대된다.

Ⅰ. 서론

Ⅱ. 디지털 리터러시 측정 관련 국내·외 연구 분석

Ⅲ. 디지털 리터러시 검사 프레임워크 및 도구 개발

Ⅳ. 디지털 리터러시 수준 측정 분석 결과
1. 2024년 디지털 리터러시 본검사 실시 개요
2. 2024년 디지털 리터러시 검사 문항 분석 결과
3. 2024년 디지털 리터러시 수준 측정 기초 분석 결과
4. 2024년 디지털 리터러시 검사 기초 분석 결과 요약

Ⅴ. 디지털 리터러시 수준 연도별 비교 
1. 시계열 분석을 위한 디지털 리터러시 검사 동등화
2. 2023-2024년 디지털 리터러시 수준의 연도별 비교
3. 2023-2024년 디지털 리터러시 수준 연도별 비교 분석결과 요약

Ⅵ. 디지털 리터러시 수준 심층 분석 결과
1. 2024년 디지털 리터러시 로그 데이터 개요
2. 알고리즘형 문항 로그 데이터 심층 분석 결과
 
Ⅶ. 결론
1. 연구결과 논의점
2. 디지털 리터러시 관련 발전방안 제언

참고문헌

✅ 연구책임자:  김한성(고려사이버대학교)
✅ 공동연구자: 이현숙(건국대학교), 유수진(한성대학교), 박주연(덕성여자대학교), 임영수(코댑트), 서정희(한국교육학술정보원), 공현아, (한국교육학술정보원)
✅ 연구보조원: 노혜림(건국대학교), 박유림(건국대학교), 남상국(건국대학교)
✅ 과제책임자: 최미애(한국교육학술정보원)