성균관대 연구진, 생성형 AI 학습 효과 분석…문제풀이엔 도움·의존 높을수록 성적 낮아

성균관대 연구팀이 생성형 인공지능을 어느 학습 단계에서 사용하느냐에 따라 시험 성과와 학습 인식이 어떻게 달라지는지 분석했다. 성균관대학교 공식 발표와 학술지 논문 기록에 따르면, 연구팀은 대학생을 세 집단으로 무작위 배정해 개념 이해와 문제 해결, 결과 검토 단계에서 각각 GPT-4o를 사용하도록 했다.

논문 초록에는 94명을 모집하고 88명을 최종 분석했다고 기록돼 있다. 연구팀은 국내 고등학교 학업성취도 수준의 문항을 활용했으며, 사전지식과 성별을 공변량으로 통제했다. 분석 대상은 인공지능융합학과 주소미 연구원과 이창준·이대호 교수 연구팀이 설계한 집단 간 무작위 실험에 참여했다.

객관적 시험 성과에서는 AI를 문제 해결 단계에서 쓴 집단이 개념 이해 단계에서 사용한 집단보다 높은 점수를 기록했다. 생성형 AI의 교육 효과가 사용 여부만으로 결정되기보다 학습 과정에서 어떤 역할을 맡기느냐에 따라 달라질 수 있다는 결과다.

다만 문제 해결 집단 안에서는 평소 생성형 AI에 의존한다고 답한 정도가 높을수록 시험 성과가 낮은 연관성이 나타났다. 연구팀은 AI가 답을 대신하는 방식으로 사용될 경우 학습자가 문제를 스스로 검토하고 지식을 구성하는 과정이 약해질 가능성을 제기했다. 이번 결과는 무작위로 배정한 AI 사용 단계의 집단 차이와, 자기보고로 측정한 AI 의존도의 연관성을 함께 분석한 것이어서 두 결과를 구분해 볼 필요가 있다.

주관적 평가와 객관적 성과가 엇갈린 점도 눈에 띈다. 높은 AI 의존도는 문제 해결 집단의 낮은 시험 성과와 연결됐지만, 학습 만족도는 문제 해결 집단과 결과 검토 집단에서 높게 나타났다. 결과 검토 집단에서는 자신이 학습했다고 느끼는 정도도 높았다. 연구팀은 이를 생성형 AI가 제공하는 정돈된 설명이 실제 이해 수준보다 높은 만족감과 학습 인식을 만들 수 있다는 신호로 해석했다.

연구진은 생성형 AI를 학습의 대체재가 아니라 보조재로 활용하도록 질문 능력과 비판적 검증 역량을 함께 길러야 한다고 제안했다. 교육 현장에서 AI 도구를 허용할지 여부만 논의하기보다, 개념 이해와 문제풀이, 답안 검토 가운데 어느 단계에 배치하고 학습자의 사고 과정을 어떻게 확인할지 설계해야 한다는 의미다.

이번 연구는 88명의 최종 표본을 대상으로 한 실험이어서 다른 연령과 과목, 장기간 학습 환경으로 결과를 일반화하는 데에는 신중함이 필요하다. 논문 초록에도 향후 더 강한 연구 설계와 학습 과정 수준의 측정이 필요하다고 명시돼 있다. 공개된 초록에는 집단별 표본 수와 회귀계수·효과크기가 제시되지 않았다.

논문은 교육기술 분야 학술지 ‘Interactive Learning Environments’에 게재됐으며 교육부와 한국연구재단의 지원을 받았다. 제목은 ‘Stage-specific generative AI use and dependency in learning: associations with test performance, perceived learning, and learning satisfaction’이다.

출처: 성균관대학교 공식 연구 발표 https://www.spressnews.com/news/articleView.html?idxno=138528
출처: Interactive Learning Environments 논문 원문 https://doi.org/10.1080/10494820.2026.2676669