에꼴42에서도 평가를 합니다.

Peer Evaluation (상호 평가), Peer Correction (상호 교정)
Peer Assessment (상호 평가), Peer Review(상호 검토)

이렇게 부릅니다.
용어가 다릅니다만, 의미는 대동소이합니다.

“평가”라고 하면 대부분 문제지 채점을 말합니다.
하지만 에꼴42에서의 평가는 “문제지 채점”이 아닙니다.

문제지 채점은 marking, scoring, grading 이라고 하고,
에꼴42에서의 평가는 Evaluation, Correction, Review 라고 합니다.

어떤 차이가 있을까요?
몇개의 논문을 요약해서 설명해 봅니다.

상호평가란?

상호평가란, 학생들이 다른 사람의 작업결과에 대해
비평을 하거나 피드백을 제공하는
“구조화된 학습방법” Structured Learning Process 이다.

즉, 상호평가는 “객관적인 수준의 측정”이 아니라,
문제를 풀면서 제대로 공부가 되었는지를 확인하는 “형성평가”의 하나입니다.

참고로, 형성평가를 모르는 분들을 위해 평가방법들을 설명해 봅니다.

  • (1) 진단평가 : ex. 반배치고사
    • 학생들의 수준을 진단하기 위해서 하는 평가.
    • 통제된 시험을 치르기 때문에 객관적임
  • (2) 형성평가 : ex. 쪽지시험
    • 설계시 구상했던 학습인식이 “형성”되었는지 하는 평가
    • 즉각적인 피드백을 해주는게 특징
    • 객관적인 의견이 아니라, 주관적인 의견을 듣는게 목적
  • (3) 총괄평가 : ex. 기말고사
    • 교육과정의 성취여부를 확인하기 위해 하는 평가
    • 목표로 하는 역량이 습득되었는지 확인함
    • 통제된 시험을 치르기 때문에 객관적임

상호평가를 하는 이유

  • 학생들이 자기가 배운 것에 대해 책임감을 갖게 한다.
  • 학생들이 다른 사람의 작업을 평가하고 건설적으로 피드백하는 법을 배우게 된다.
    • 이 과정은 평가에 대한 건전한 가치관을 형성시켜 준다.
    • 지식을 전파하고 생각을 교환하는 과정 중에 배움이 일어난다.
  • 학생들이 교재를 더 깊이 연구할 수 있도록 동기를 제공한다.

고려할 요소

  • 상호평가를 왜 하는지 알려준다.
    • 뭘 기대하는지 이야기한다.
    • 뭐가 좋아지는지 이야기한다.
  • 피드백을 연습하기 위해 익명과제를 평가해보는 것도 추천
  • 받은 피드백에 대해 어떻게 대답할지 준비시킨다.
    • 다양한 피드백 사례를 보여주고, 어떤 타입이 유용할지 생각해본다.
  • 수업 안에서 할 땐 “명확한 지침”과 “시간제한”을 준다.
    • 수업 밖에서 받을 땐 “종료시한”을 정해준다.
  • 그룹으로 피드백 훈련을 시키고, 필요하다면 명확한 지침을 준다.
  • 학생들이 평가기준에 익숙하면 평가의 타당성이 올라간다.
    • 기준을 만들 때 학생들을 일부 참여시켜라.

사전에 준비할 것들

  • 학생들이 혜택을 받기 위한 행동과 숙제를 미리 정리한다.
  • 평가항목이 크면 작게 쪼갠 다음 각 단계별로 평가를 한다.
  • 평가행위가 명백하게 나열된 “가이드라인”과 “평가지시서”(rubric)를 설계한다.
  • 학생들이 올바로 평가할 수 있도록 “평가지시서”(rubric)를 따라 시연을 보여준다.
  • 수업 안에서 할건지 수업 밖에서 할건지 정한다.
  • 수업 밖에서 평가가 이루어진다면, 치팅 여부를 확인할 필요가 있다.
  • “평가 지시서” rubric를 기반으로 건설적인 비판과 서술형 피드백을 하는지 확인한다.
  • 피평가자가 피평가내역을 설명할 수 있도록 소규모 피드백 그룹을 만들어준다.

성공적으로 하려면

  • 평가에 필요한 기술을 가르친다.
    • 학생들이 선생이 아닌 동료로서 참여하게 한다.
  • 동료평가 내역을 공개하고 추가 피드백을 받는다.
  • 평가내용을 학습목표와 일치시킨다.
    • 원하는 게 뭔지, 가치가 무엇인지 등등
  • 예를 들어 이렇게 말할 수 있다.
    • 이 과정이 끝나고 나면 장단점을 말할 수 있게 될거예요.
    • 그래서 좀 더 나은 대안을 이야기할 수 있게 될거예요.

효과

Rubric 을 이용한 자기채점, 동료채점의 효과를 비교함.

  • 교사의 시간을 줄인다.
    • 채점 후 남는 시간에 학생들이 더 중요한 것들을 할 수 있게 된다.
  • 빠른 피드백
    • 현장에서 바로 피드백 받으면 피평가자가 의견을 받아들일 확률이 더 높아진다.
    • 연구에 따르면 24시간 이내 피드백을 받을 때 최종점수가 더 나아졌다.
  • 교육학적 관점
    • 교사가 평가자 역할을 하면 학생들은 피드백을 찾지 않게 된다. (정답이라고 인식함)
    • 대신 학생과 함께 리뷰를 하게 되면, 학생들의 정보를 요약하거나 이해하는데 걸리는 시간이 짧아졌다.
    • 학생들이 스스로 평가를 하면, 다음 시험에 대부분 점수는 더 나아진다. (잘못을 고치는 걸로 이어짐)
    • 하지만, 동료평가를 한 경우에는 반드시 그렇지는 않았다. (이해하는데 만족하는 경우도 많음)
  • 메타인지효과
    • 학생들은 상호평가 중에 다른 사람의 장단점을 보게 되면 다음번 숙제할 때 이를 반영한다.
    • 그래서 학습성과가 더 좋아진다.
  • 동료평가 중에 항상 뭔가 얻게 되므로, 보다 더 자주 “시험”을 보려고 한다.
    • 그러기 위해서 더 열심히 공부한다.

Rubric(평가지시서)의 설계

평가할 가치가 있어야 하고, 각 항목들이 서로 다른 걸 평가해야 한다.
대부분 문서로 만들어서 배포한다.
예를 들면 아래사항들을 포함한다.

  • 생각에 대한 표현 Expression of Idea
  • 조직화된 콘텐츠 Organization of Content
  • 독창성 Originality
  • 과제 지식 Subject Knowledge
  • 평가내용 Content
  • 커리큘럼 일치도 Curriculum alignment
  • 균형감 Balance
  • 목소리 Voice

잘 작동하게 하려면

(역자주 : 논문에 대한 peer review를 사례로 사용함)

처음에는 대부분 어떻게 시작해야할지 모른다.
첫질문은 예로 들어주는 게 좋다.
똑같이 되물을 수 있는 질문도 좋다.

“이 문서의 핵심주장은 뭐라고 생각하세요?”
“이 보고서에서 가장 설득력 있는 데이터는 뭐예요? 이유도 궁금해요.”
“이 포스터에서 가장 흥미로웠던 부분은 뭐예요?” 등등

이런 질문을 “직접적인 개방형 질문”(Direct and open-ended question)이라고 한다.
행동을 유도하는 질문도 좋다.

“이 보고서에서 가장 혼란스러웠던 건 뭐예요?”
“명확하게 하려면 어떻게 하는게 좋을까요?”
“이게 당신 숙제라면 어떻게 수정하고 싶어요?” 등등

평가자가 목차를 보고 조정해 주면서,
논문의 흐름에 조언해주는 것도 좋다.

상호 리뷰를 할 때 논문을 고쳐주는 것보다
주석을 달아주는게 검토하기 더 좋다.

이 경우 상호 리뷰 전 학생들끼리 절차를 만들게 한다.
해야할 일과 하지말아야 할 일도 정한다.

상호리뷰를 할 때 “블라인드 리뷰”가 더 좋다라고 하는 사람들도 있다.
하지만 연구결과에 따르면 그렇지 않다.

“블라인드 리뷰”를 하면 어린 학생들은 비판에만 집중한다.
반면 성인들은 크게 차이가 없었다.
즉 더 좋아지는 건 없고, 나쁜 효과만 드러난다.

그럼에도 불구하고 굳이 해야 한다면,
학생들이 부끄러워하지 않게 첫번째 리뷰만 익명화하는 게 좋다.

처음에 상호 리뷰를 하면 대부분 헤맨다.
피드백 수준도 낮아서 별 도움이 안된다.
세네번째가 되면 비로소 익숙해지고 발전적 분위기가 형성된다.

에꼴42에서는

평가지시서 Rubric 가 따로 있습니다.
취지와 평가방법이 기술되어 있죠.

이 Rubric 은 “채점” Scoring 을 목적으로 만들진 게 아닙니다.
즉, “성적표” Score card를 만드는 게 아니죠.

Rubric은 경험을 교환하기 위해 만들어집니다.
경험과 지식을 가진 학생이 상호평가 과정을 통해
없는 학생에게로 그것이 전달되게 하는 학습장치입니다.

다른 사람으로부터 배운 경험이 있는 사람은
다른 사람에게 가르치는 경우도 적극적입니다.

실력차이가 크면 일방적이 되겠지만
실력차이가 작으면 의견교환이 활발해집니다.

에꼴42는 평가자 여러명을 랜덤배정함으로써,
다양한 소통기회를 만들어 줍니다.

Rubric 은 (객관적인) 정답을 위해 필요한 게 아닙니다.
그래서 상호평가는 “주관적”으로 합니다.

주관적이어야 비교할 수 있고,
반박할 수 있고 조율할 수도 있습니다.
이 과정이 서로를 발전시킵니다.

상호평가를 익힌다는 건,
“자가발전 스킬”을 익힌다는 겁니다.

에꼴42에서 “상호평가”란
과제수행여부를 체크하기 위한 게 아니라,
서로에게서 배우도록 만들어진 학습장치 입니다.

※ 발췌한 논문들 :