[짧은 글] Identification, Exploration, and Remediation: Can Teacher Predict Common Wrong Answers? (2023)

Gurung, A., Baral, S., Vanacore, K. P., Mcreynolds, A. A., Kreisberg, H., Botelho, A. F., ... & Hefferna, N. T. (2023, March). Identification, exploration, and remediation: Can teachers predict common wrong answers?. In LAK23: 13th International Learning Analytics and Knowledge Conference (pp. 399-410).

 

Identification, Exploration, and Remediation: Can Teachers Predict Common Wrong Answers? | LAK23: 13th International Learning Analytics and Knowledge Conference

Identification, Exploration, and Remediation: Can Teachers Predict Common Wrong Answers? | LAK23: 13th International Learning An

 

요약:

수학 문제를 풀 때, 흔한 오개념, 실수, 잘못된 접근 등으로 반복적으로 나타내는 오답, 즉 CWA(Common Wrong Answer)를 주요 소재로 다룬다. 연구문제(Research Question, RQ)와 그 답을 매칭하면 요약이 끝날 것 같다.

 

RQ 1 Can teachers and instructional designers identify common wrong answers on math problems?

- 데이터로 보니 생각보다 잘 못한다. 부분적으로만 가능하다. 참고로, 사전에 미리 예측할 수 있는지에 대해서 묻는 것이다.

RQ 2 Does receiving common wrong answer feedback improve short-term learning outcomes?

- 직관과 달리 실험 데이터에서는 부정적인 영향으로 나왔다.

RQ 3 Do high- and low-performing students benefit differently from common wrong answer feedback?

- 유의미한 차이는 없고, mastery 기준으로 일부 분석에서 원래 성적이 높은 학생일수록 피드백 효과가 더 부정적으로 나타났다.

 

더 깊게 읽을까?

수학 문제 풀이 과정에서 발생하는 학생들의 행동 교정에 AI 기술을 활용하고 싶다고 생각해와서 이 논문을 선택했던 것 같은데, 역시 교육 연구가 쉽지 않다는 걸 보여주는 논문이다. 사실 직관적으로 CWA에 피드백을 주는데 더 나빠질 이유까지 있을까 싶은데, 이 논문의 데이터상으론 오히려 부정적 결과가 나온 건 사실이다. 저자들은 그 원인으로 실험 설계와 구현상의 여러 한계를 함께 논의한다. 그래서 일단 더 깊게 읽을 필요는 없을 것 같고 이런 류의 실험을 설계할 때 나중에 시행착오 사례로 살펴볼만하다.