수능시험의 등급제가지고 논란이 많이 있는데 수능시험의 본질을 먼저 이해하는 것이 필요합니다.

수능시험은 학생의 수학능력을 측정하기 위한 도구로서 학생의 수학능력과 수능점수가 일치해야만 유용한 도구입니다. 개개의 문항이 학생의 수학능력과 관련이 있는가? 하는 것도 고민해봐야할 문제지만 일단 문제를 맞추는 학생이 못 맞추는 학생보다 수학능력이 더 높을 것으로 추정할 수 있다고 가정해도 여전히 복잡한 문제들이 남습니다.

난이도가 80인 문제는 수학능력이 90인 학생들이라면 전부 다 맞출 수 있고 수학능력이 70인 학생들은 전부 다 틀릴 것이라고 생각하기 쉽지만 실제로는 그렇지 않습니다. 학생의 능력에 비하여 쉬운문제를 틀릴 수도 있고 능력에 비하여 어려운 문제를 맞출 수도 있습니다. 단지 수학능력이 우수한 학생들이 그렇지 않은 학생들에 비하여 그 문제를 맞추는 학생의 숫자가 더 많을 뿐입니다.

어떤 특정 문항을 수학능력에 따라서 학생들이 맞출 확률을 구하여 보면 S자 형 그래프가 나옵니다. 예를 들면 난이도가 50인 문제는 수학능력이 30인 학생들이 풀면 그 중에서 20%가 맞추고, 수학능력이 50인 경우에는 50%, 수학능력이 70인 경우에는 80%, 수학능력이 90인 학생들의 경우에는 90% ... 뭐 이런식으로 된다는 것입니다.

문항들의 난이도, 변별력, 추측도(이것은 객관식의 경우 문제를 알지 못해도 추측해서 맞출 가능성을 의미) 등의 특성을 알고 있다면 어떤 학생이 문제집을 풀었을 때에 그 학생의 능력을 통계학적인 검증법을 이용하여 일정한 오차범위안에서 예측하는 것이 가능합니다.

현재의 수능시험은 문항의 진정한 특성을 알지 못하고 아주 단순하게 맞춘 문항수 곱하기 문항별 배점 을 더하여 학생의 수학능력을 추정합니다. 그러나 이렇게 할 경우 학생의 진정한 능력을 측정하기가 어렵습니다. 왜냐하면 원래 모든 시험문제가 학생의 능력치와 무관하게 실수로 맞거나 틀릴 확률이 존재하기 때문입니다. 이러한 실수로 인한 영향력을 최소화 하려면 문항의 특성에 따른 보정이 필요한데 기존의 시험방식으로는 실수에 의한 오차를 줄이기 어렵습니다.

문항반응이론을 이용하면 학생의 능력을 아주 적은 오차로 예측하는 방법이 있습니다.

기존의 시험문항처럼 모든 학생들이 한가지 시험문제집으로만 시험을 본다면 문항반응이론으로도 오차를 많이 줄이기 어렵습니다. 그러나 학생별로 그 학생에 적합한 문항으로 시험을 보게 한다면?

예를 들면 그 학생의 능력이 70이라면 난이도가 70에 근접하는 문항을 출제하였을 경우 측정오차를 아주 최소화하는 것이 가능합니다. 만약 학생능력이 70인데 난이도가 90이거나 30인 문항을 출제하면 실수로 맞추거나 틀릴 확률이 높아지고 그로 인하여 그 학생의 진짜 능력과는 동떨어진 결과가 나올 확률이 증가합니다.

그러므로 가장 최적의 측정방법은 그 학생이 해당 문항을 맞출 확률이 중앙값이 되는 난이도의 문제로 출제하는 것입니다. 그렇게 할 경우 실수로 인한 오차는 아주 극소화가 됩니다.

그렇다면 어떻게 학생의 능력치에 맞는 문제를 학생마다 개별적으로 출제를 할 수 있는가?

그래서 나오는 것이 CBT입니다. 컴퓨터에 문항의 특성별로 문제를 저장하고 있다가 학생이 처음 문제를 맞추면 그 학생의 능력추정치를 올리고 약간 난이도가 더 높은 문제를 냅니다. 맞추면 계속해서 약간씩 난이도가 상승하고 중간에 틀리면 난이도가 다시 조금씩 낮아집니다. 학생의 능력치를 추정하고 거기에 맞는 문항을 내는 것이죠. 이런 과정을 반복하면 결국은 그 학생의 능력치에 적절한 문항이 출제되게 됩니다.

현재의 수능은 "문제를 쉽게 내면 학생들의 스트레스를 줄일 것이다."라는 아주 단순하고 어리석은 발상에서 출제를 합니다. 그렇게 하면 사소한 실수나 오차가 아주 큰 차이를 만들어 버립니다. 학생들의 평균 능력치가 70인데 문제는 50정도의 난이도로 출제를 한다면 사소한 실수 하나가 능력치 70인 학생의 점수를 60정도로 만들어 버립니다. 제가 문항반응이론 표를 이용하여 계산을 해보니까 학생들의 평균능력이 75일 경우 난이도를 50정도로 하면 고전적인 시험에서는 점수가 대략 평균 90점이 나옵니다. (문제가 쉬우니까) 그런데 학생의 능력이 84라면 평균이 93점입니다. 능력이 93일 경우 평균이 96점이고요. 학생의 능력차이에 비하여 점수는 겨우 1문항정도밖에 차이가 안 나는 것입니다. 이런 까닭에 한문제만 실수를 해도 큰 문제가 발생합니다.

반면에 학생의 능력치 75에 근접하는 난이도 75짜리 시험문제집의 경우 학생들의 평균은 60점이 됩니다. (이것은 문항들의 평균적인 추측도에 따라서 달라집니다.) 이렇게 문제의 난이도를 정할 경우 학생의 능력치가 1만큼만 차이가 나도 맞추는 문항의 갯수가 1개나 차이가 나버립니다. 역으로 이야기하자면 60점이나 63점이나 그 차이는 아주 미미하다는 것입니다. 만약 원래 능력치가 75인 학생이라면 60점을 받아야 하지만 실수로 두 문제를 틀렸다고 해도 문항반응이론에서는 능력치가 73정도로 추정이 됩니다.

그런데 위와 같이 난이도가 너무 낮은 시험문제로 시험을 보면 한 문항의 차이가 학생의 능력치 8~9씩이나 차이가 나기 때문에 93점의 학생과 90점의 학생은 능력치가 9만큼이나 차이가 나는 것이 되어 버립니다.

이런 것은 사실 일상생활에서도 쉽게 이해할 수 있는 것입니다. 중학생에게 15+3은 얼마냐를 묻는 그런 아주 쉬운 문제나 1/sinx를 미분하라는 문제같은 황당하게 어려운 문제를 낸다면 그 학생의 능력을 추정하는 것이 불가능합니다. 아주 쉬운 문제의 경우에는 한문제만 틀려도 능력 추정치가 왕창 떨어져 버리고, 아주 어려운 문제는 한문제만 맞추어도 능력추정치가 왕창 올라가버립니다.

반면에 그 학생이 좀 어렵지만 그럭저럭 풀 수 있는 정도의 문제만 출제를 하면 한두문제를 틀리고 맞추는 정도에 따라서 우리가 추정할 수 있는 능력치의 오차는 크게 줄어듭니다.

그러니 지금의 수능과 같이 학생의 능력과는 별개인 난이도로 출제를 해서는 곤란합니다.
결국은 CBT제도로 가야만 합니다. - 인터넷에서 검색해 보시기 바랍니다. 유용한 정보를 쉽게 찾으실 수 있습니다.

그리고 등급제라는 것도 상당한 문제가 있습니다. 만약 수능시험의 난이도를 문항반응이론과 같은 방식으로 해서 조절하고 CBT를 치룬다면 그 등급을 묶는 것이 큰 부작용이 없습니다. 그러나 문제는 난이도 조절이 안된 상태에서의 등급제는 그 오류가 훨씬 더 엄청나게 된다는 것입니다.

난이도 50짜리 문제집으로 시험을 보았더니 90점과 93점간에는 능력치 75와 84라는 엄청난 차이가 발생합니다. 대학에서 원하는 능력치는 80이상인데 수능점수 분포상 1등급과 2등급의 경계가 93점과 90점 사이라고 가정해 봅시다. 만약 82라는 능력치를 가진 학생이 문항 하나만 실수로 더 틀려서 90점이 되었다면 그 학생은 2등급이 되는 것입니다. (원래 능력치가 82인 학생들이라면 대부분은 93점을 맞을 수 있습니다.) 반면에 CBT를 이용하여 능력치가 82인 학생이 난이도 82짜리 시험을 보게 되면 한두문제 틀려도 같은 등급을 유지하는 것이 가능합니다. 문항의 난이도가 낮아서 발생하는 오차가 우연히 등급간에 걸치는 경우 그 결과물은 엄청납니다. (제가 보기에는 이런 경우가 상당히 많다고 봅니다.)

등급을 구분하는 것이 학생의 추정능력치와는 별개로 하기 때문에 이렇듯 원래 존재하는 난이도상의 오차에 등급구분 오차까지 더해져서 소위 말하는 로또 수능이 되어 버립니다.

거기에다가 등급제라는 것이 갖고 있는 수학적인 의미를 살펴보면 해상도가 50~100만 화소인 카메라로 촬영한 사진을 해상도 9만으로 만들어서 판독을 하도록 하겠다는 것입니다. 이러한 등급제가 갖고 있는 심각한 문제는 등급과 등급사이에 걸쳐 있는 학생들에게는 아주 치명적입니다. 석차 백분율상 3.99%와 4.01% 의 차이는 각각 2% (1등급 그룹내 평균) 와 7.5% (2등급 그룹내의 평균)의 차이로 벌어져 버립니다. 대학입장에서도 3.99와 4.01%는 전혀 다른 학생으로 보일 수 밖에 없습니다. 그러므로 4.01%의 학생은 그야말로 사활을 건 사투를 벌여야 하며 등급제를 처절하게 비난하게 될 것입니다. 학생들의 점수를 실수처럼 연속변수로 만드는 것이 오히려 경쟁의 정도를 완화하는 것이라는 것을 아셔야 합니다.

시험이라는 것이 피험자의 능력을 정확하게 추정하지 못하면 그것은 시험으로서 가치가 없습니다.
그런데 우리나라 수능은 그 가치없는 시험인데다가 그것의 오류를 훨씬 더 증폭시키는 등급제까지 더해져서 시험으로서 자격이 없어져 버렸습니다.

우리나라는 수능을 CBT로 만들어야 합니다. 그렇지 않으면 매번 수능때마다 발생하는 혼란을 해결할 수가 없습니다.