수강신청을 찾고있나요? 과목 한 눈에 보기
해커스톡 평생0원 패키지

해티즌 자유수다 글쓰기 목록보기

토익 점수에 관한 연구
토익점수연구소 | 2007.09.28 | 조회 1251

토익 점수에 관한 연구(A Study on the TOEIC Score)


토익점수연구소(TSI)   경비실(Guard Lab.)  김영감(Kim, young gaam)


 


가설 0. 토익 점수는 가우스 분포(정규 분포)에 따른다.


가설 0. 당회 시험의 분포대는 결국 가우스 분포로 조정되어 진다.


가설 0. LC와 RC는 따로 점수를 매긴다.


저희 랩에서는 이 세가지 가설을 기본적으로 삼고 있습니다.


그 다음이 논란이 되는 문항당 배점의 문제입니다. 저희는 문항당 배점이 다르다고 추측하고 있으며 그 쓰임이 몇개로 다시 갈립니다. 예를 들면 다음과 같습니다.


1.먼저 절대점수(맞은 갯수) 매깁니다. 근데 예를 들어 당회 시험이 중심(가우스 분포에서의 중심, 즉 분포대가 가장 많은 점수대; 평균점수 및 그 근처)에 해당하는 숫자(시험친 사람의 숫자)가 더 많아졌고 대조적으로 그 아래와 위는 적어졌습니다.  첨부한 그림 처럼(파란실선). 자, 이제 b의 경우 가우스 분포로 조정이 되어야 합니다. 그런데 이 사람은 방향을 왼쪽으로 가야하나 오른쪽으로 가야하나, 하는 문제가 생깁니다. 때문에 여기서 문항당 배점을 적용시킵니다. 같은 b 포인트에 위치한 수험자(맞은 갯수가 같음)라도 문항당 배점에 따라 왼쪽이냐 오른쪽이냐로 갈립니다. 결국 빨간색으로 빗금 친 부분은 없어져야할 분포임으로 내려가거나 올라가야 합니다. 그 기준이 문항당 배점입니다. c 포인트도 마찬가지입니다. 왼쪽으로 점수가 내려가거나 오른쪽으로 올라가야 합니다. 그런데 A 포인트를 보면 사정이 달라집니다. 여기는 정확히 가우스 분포가 일치하기 때문에 틀린 것이 없습니다. 그러면 전체 곡선이 가우스 곡선과 얼마나 틀린가 오차율로 따져야 합니다. 그런데 결국 빗금친 부분의 응시자들의 적어도 절반은 A포인트로 내려오게 되는데, 그러면 A는 아무리 문항당 배점이 좋은 응시자라도 왼쪽으로 내려갈 수밖에 없습니다. 구간 c-d를 상향 조정하고 b-c를 상향조정함으로써 구간 a-b를 안정시킬 수도 없습니다. 따라서 이 방법은 모순 상태가 됩니다.


2. 먼저 문항당 배점을 가우스 분포에 맞게 배점합니다. 그런데 이것 역시 현실적이지 못합니다. 가우스 분포에 맞게 문항당 배점을 하려면 대단히 수학적으로 인위적인 조정이 필요하게 되고 이는 실력=점수 라는 인과관계를 만족시킬 수 없습니다. 예를 들어 1번 문제가 90%가 맞추고 10%가 틀렸다면 이 문항은 어떻게 전체 가우스 분포에 맞게 배점해야 할까요? 커절러티가 성립될 수 없습니다. 또한 1번 문제가 5*0.755=3.775점 38번 문제가 5*1.36=6.8 점으로 준다고 해서 전체 점수를 가우스 분포에 조정할 수는 없습니다. 굳이 하려면 어떤 사람은 1번 문제 맞추고 4.5점 받게 해야하고 어떤 사람은 1번 문제 맞추고 3.0을 줘야하는 상황이 오기 때문입니다. 따라서 처음부터 문항당 배점하는 스텝도 아닙니다.


 


3. 세번째는 유연하게 가우스 분포 조정을 하는 것입니다. 그래서 어느 정도 오차율을 갖고 조정시키는 것입니다. 그러면 완벽하게 조정하는 것이 아니므로 a-b-c-d-e 의 구간의 응시자들은 배점에 따라 올라갈수도 내려갈수도 있고 오차율이 허용되기 때문에 한쪽으로 밀려간다든지 하는 모순상태는 없어집니다. 매우 단순한 예로 그림과 같은 파란 실선에서, 가우스 분포와 +-하는 면적이 임의의 tolerance를 만족한다면, 파란 실선 자체가 가우스 분포가 되는 것입니다. 문제는 어떻게discrete 한 분포도(700점과 705점 사이에 점수는 존재하지 않죠)를 얼마의 tolerance를 가지고 어떻게 조정할 것인가가 문제입니다. 여기에 관해서는 저희 랩의 박영감이 쓴 "이산분포도에서 가우스분포 조정을 위한 디랙확률함수의 근사식에 관한 연구" 레퍼런스를 보시면 됩니다.


 


마치며...


정말 가우스 분포 혹은 변형된 그들만의 분포도를 적용시키는가?


그것이 맞다고 확신하면,


분명 절대갯수와 문제당 배점은 공존할 수 있으며, 혹은


절대갯수는 없더라고 문제당 배점은 존재할 수 있다.


절대 갯수만 있는 것은 아무래도 경험적으로 그렇지 못함을 알 수 있으므로


결국, 문제당 배점은 있다.


이제 향후 연구방향은 그들만의 분포도가 어떤 것인지 하는 것이다.


이는 분명 ETS 컴퓨터에 내장된 프로그램에 그 함수가 있을 것이다.


혹은 응시자가 굉장히 많으므로 대학, 연구소 등의 슈퍼컴을 돌릴 수도 있다.


해커스에 해커들은 없나? 그 함수만 해킹좀 해서 공개하면 속이 시원할 텐데...

 첨부파일 : 가우스.JPG (34B) (5)

목록보기