유아교육학과, 보육교사 필수과목 유아교육평가 요점 정리 5. 문항 제작과 분석

5강 문항 제작과 분석

1. 문항 제작

양자택일형 문항, OX문항 진술문 1개 제시: 진술문의 옳고 그름을 판단해야 함 진술문 2개 제시: 둘 중 옳은 것을 판단해야 함
제작 절차	교수-학습의 목표를 상세히 파악함 평가에서 다루어야 할 것들 선별함 선별된 것 중 지식이나 정보와 관련있는 것을 선별함 선별한 지식, 정보를 알고 있는지 파악하는 진술문을 제작함 작성한 진술문을 진위형 문항 형태로 재구성함 구성된 진술문을 적절한 순서로 배열하여 완성함
제작시 주의사항	진술문이 애매모호하지 않아야 함 진술문이 옳은 것 혹은 틀린 것인지를 분명히 함 한 개의 진술문에 하나의 사실이나 정보만 포함함 ‘부정’을 나타내는 어구의 진술문은 가능하면 피함 절대 어구나 일반 어구를 포함하는 진술문은 가능한 피함 중요하지 않은 사실이나 정보 제시의 진술문은 가능한 제외함 진술문의 길이는 가능한 비슷하게 함 총 문항 수에서 옳고 틀린 진술문의 수를 동일하게 함
장점	제작하기가 용이함: 알고 있는지의 여부만 확인함 광범위한 교수-학습 목표를 다룰 수 있음 채점을 빠르고 객관적으로 할 수 있음 읽기 능력이 부족한 학습자를 평가하기에 용이함 수업시작 전, 중간, 마지막에 간단히 평가하는 적절한 방법
단점	추측이나 우연에 의해 정답을 할 가능성이 매우 높음 학생의 정확한 능력을 파악하기 어려울 수 있음 고등사고(적용, 분석, 응용 등) 기능의 평가는 곤란함 교수-학습 과정에 대한 정보를 제공하지 않음 ‘결과중심’의 교수-학습활동을 조장할 가능성이 높음

 

1) 진위형 문항

양쪽 칸에 나열된 단어, 어구, 수, 기호 등을 서로 연결하는 것 줄긋기 혹은 짝짓기 문항
제작 절차	교수-학습 목표(교수-학습 내용)를 상세하게 파악함 평가 내용 중 단순한 지식이나 정보와 관련되는 것을 선별함 선별한 지식이나 정보를 알고 있는지를 연결형 문항으로 제작함 제작한 연결형 문항을 적절한 순서로 배열하여 검사지를 완성함
제작시 주의사항	하나의 묶음으로 제시되는 문항 수는 5개 ±2개 정도가 좋음 하나의 묶음으로 제시되는 문항들은 서로 동질성이 있어야 함 어떤 방법으로 짝짓기를 해야 하는지를 분명하게 제시해야 함 가능한 다른 문항으로 특정 문항의 정답을 유추하지 못하게 함
장점	언어능력이 부족한 학생에게 적절히 사용할 수 있음 문항제작이 비교적 간편함 문항 내용을 포괄적으로 다룰 수 있음 채점을 빠르고 객관적으로 할 수 있음 검사 목적에 따라 문항의 형식을 변형시킬 수 있음 수업시작 전, 중간, 마지막에서 짧게 간단히 평가할 수 있음
단점	짝짓기로 숫자가 줄어들면 정답의 단서를 줄 가능성이 있음 고등사고(적용, 창의력 등) 기능의 평가는 부적절함 교수-학습 과정에 대한 정보를 제공하지 않음 ‘결과중심’의 교수-학습활동을 조장할 가능성이 높음 같은 문항들의 동질성이 없으면 문항 억지가 생길 가능성이 있음

2) 연결형 문항

여러 개의 답지 중 하나의 답을 선택하게 하는 것 채점이 객관적이어서 객관식 문항이라고 함 가장 보편적으로 사용되는 평가 방법 답지 수에 따라 4지 선다형, 5지 선다형 등으로 구분됨
제작 절차	교수-학습 목표를 상세하게 파악함 교수-학습 목표 중 평가에서 다룰 것이 무엇인지를 선별함 선별한 것 중에서 기대하는 평가를 위한 선다형 문항을 제작함 제작한 선다형 문항들을 적절한 순서로 배열하여 완성함
제작시 주의사항	각 문항의 지시문이 분명해야 함 제시된 답지 중 정답은 분명해야 함 오답은 매력적이고 그럴듯하게 만들어야 함 답지들 간에는 서로 중첩되지 않도록 해야 함 지시문이나 답지를 통해 정답 단서를 제공하지 않아야 함 정답의 순서를 고르게 분포하며, 무작위로 배열해야 함 지시문에 ‘부정’을 나타내는 어구를 포함시키지 않는 것이 좋음 주관에 따라 정답이 달라질 수 있는 문항은 작성하지 말아야 함 답지마다 반복되는 문구는 지시문에 넣는 것이 좋음
선다형 문항 제작 시 검토사항	선다형 문항을 예비적으로 작성함 문항의 내용이나 편집 상태 등을 검토함 정답이 없는 지 검토함 정답이 2개 이상인지를 검토함 정답이 분명한지 검토함 정답 단서가 해당 문항 또는 타 문항에 있는지 검토함 정답의 근거가 출제범위에 분명히 있는지 검토함 오답지가 지나치게 이질적인지를 검토함 답지의 길이가 비교적 균형을 이루는지 검토함 답지 길이가 짧은 것에서 긴 것으로 배열되었는지 검토함 지시문과 답지의 용어가 피평가자의 수준에 적합한지 검토함 지시문과 답지에 참고문헌의 문장을 그대로 옮겨 놓았는지 검토함 지나치게 쉽거나 어렵지 않은지 검토함 문항 내용이 지나치게 특수하거나 세부적이지 않은지 검토함 답을 구하는 시간이 길거나 짧지 않은지 검토함 시중 문제집의 문제 혹은 이미 출제된 문제인지 검토함 글자의 크기나 편집 상태가 적절한지 검토함
장점	문항 형식이 갖는 융통성ㆍ신축성이 큼 단순 사실이나 법칙, 정보 등의 이해 여부의 파악은 적절함 시험의 난이도를 쉽게 조정할 수 있음 채점을 빠르고 객관적으로 할 수 있음 답지 수를 4개 이상으로 하면 추측요인을 많이 제거시킬 수 있음 모든 평가영역에서 광범위하게 사용할 수 있음
단점	진위형이나 연결형 문항에 비해 문항을 제작하기가 어려움 고등사고기능을 제대로 평가하기는 매우 어려움 교수-학습 과정에 대한 정보를 제공하지 않음 ‘결과중심’의 교수-학습활동을 조장할 가능성이 높음 진위형 문항, 연결형 문항보다 시험시간에 제시할 수 있는 문항수가 적음

 

3) 선다형 문항

여러 개의 답지 중 하나의 답을 선택하게 하는 것 채점이 객관적이어서 객관식 문항이라고 함 가장 보편적으로 사용되는 평가 방법 답지 수에 따라 4지 선다형, 5지 선다형 등으로 구분됨
제작 절차	교수-학습 목표를 상세하게 파악함 교수-학습 목표 중 평가에서 다룰 것이 무엇인지를 선별함 선별한 것 중에서 기대하는 평가를 위한 선다형 문항을 제작함 제작한 선다형 문항들을 적절한 순서로 배열하여 완성함
제작시 주의사항	각 문항의 지시문이 분명해야 함 제시된 답지 중 정답은 분명해야 함 오답은 매력적이고 그럴듯하게 만들어야 함 답지들 간에는 서로 중첩되지 않도록 해야 함 지시문이나 답지를 통해 정답 단서를 제공하지 않아야 함 정답의 순서를 고르게 분포하며, 무작위로 배열해야 함 지시문에 ‘부정’을 나타내는 어구를 포함시키지 않는 것이 좋음 주관에 따라 정답이 달라질 수 있는 문항은 작성하지 말아야 함 답지마다 반복되는 문구는 지시문에 넣는 것이 좋음
선다형 문항 제작 시 검토사항	선다형 문항을 예비적으로 작성함 문항의 내용이나 편집 상태 등을 검토함 정답이 없는 지 검토함 정답이 2개 이상인지를 검토함 정답이 분명한지 검토함 정답 단서가 해당 문항 또는 타 문항에 있는지 검토함 정답의 근거가 출제범위에 분명히 있는지 검토함 오답지가 지나치게 이질적인지를 검토함 답지의 길이가 비교적 균형을 이루는지 검토함 답지 길이가 짧은 것에서 긴 것으로 배열되었는지 검토함 지시문과 답지의 용어가 피평가자의 수준에 적합한지 검토함 지시문과 답지에 참고문헌의 문장을 그대로 옮겨 놓았는지 검토함 지나치게 쉽거나 어렵지 않은지 검토함 문항 내용이 지나치게 특수하거나 세부적이지 않은지 검토함 답을 구하는 시간이 길거나 짧지 않은지 검토함 시중 문제집의 문제 혹은 이미 출제된 문제인지 검토함 글자의 크기나 편집 상태가 적절한지 검토함
장점	문항 형식이 갖는 융통성ㆍ신축성이 큼 단순 사실이나 법칙, 정보 등의 이해 여부의 파악은 적절함 시험의 난이도를 쉽게 조정할 수 있음 채점을 빠르고 객관적으로 할 수 있음 답지 수를 4개 이상으로 하면 추측요인을 많이 제거시킬 수 있음 모든 평가영역에서 광범위하게 사용할 수 있음
단점	진위형이나 연결형 문항에 비해 문항을 제작하기가 어려움 고등사고기능을 제대로 평가하기는 매우 어려움 교수-학습 과정에 대한 정보를 제공하지 않음 ‘결과중심’의 교수-학습활동을 조장할 가능성이 높음 진위형 문항, 연결형 문항보다 시험시간에 제시할 수 있는 문항수가 적음

 

2. 문항 분석

1) 문항 난이도

問項難易度, item easiness and difficulty 문항의 쉽고 어려움을 나타내는 지수 쉽고 어려움의 정도이므로 높다 낮다고 하지 않음 대신 정답률이 높거나 낮다고 해야 함
문항의 정답률을 사용함	정답률이 높으면 쉬운 문항 정답률이 낮으면 어려운 문항 문항정답률: 일종의 문항 용이도와 같은 개념 문항정답률: 정답률(P) = 응시자의 득점 평균 ÷ 문항 만점 문항정답률 간편공식: 정답률(P) = 정답한 응시자 수÷ 전체 응시자
문항 곤란도	문항의 어려움의 정도 곤란도가 높으면 어려운 문항 곤란도가 낮으면 쉬운 문항
문항 용이도	문항의 쉬움의 정도 용이도가 높으면 쉬운 문항 용이도가 낮으면 어려운 문항

2)문항 변별도

問項辨別度, item discrimination 문항이 응시자의 능력을 변별하는 정도를 나타내는 지수 개별 문항점수와 그 문항 점수를 제외한 검사총점 간 상관계수 변별도(d) 범위: -1.0 ~ +1.0 변별도의 부호가 양(+): 문항점수가 높을수록 검사총점이 높음 변별도의 부호가 음(-): 문항점수가 높을수록 검사총점이 낮음 변별도가 클수록 상대적으로 좋은 문항 변별도가 0.3보다 크면 클수록 변별력이 좋은 문항 변별도가 0.3보다 작으면 작을수록 변별력이 좋지 않은 문항
문항 변별도 계산 공식

문항변별도 계산 공식

3)문항 추측도

問項推測度, item prediction 문항의 답을 모르고 추측에 의해 문항의 정답을 맞힐 확률 수행평가형 문항 분석에는 사용되지 않음 추측도가 높으면 추측요인으로 대답을 했다는 것을 말함 추측도는 낮으면 좋음 추측도 계산을 위해 총학생 수(N), 선택지 수(Q), 정답자 수(R), 오답자 수(W)가 필요
문항 추측도 계산 방식

문항 추측도 계산 방식

4)문항반응분포 및 오답지 매력도

문항반응 분포	피험자들이 문항 답지에 어떻게 반응하였는지를 나타내는 것 답지에 대한 %로 표현됨
오답지 매력도	피험자들이 오답지를 정답으로 생각하고 택한 비율 오답지에 대한 응답비율 오답지의 매력도가 높을수록 바람직한 문항이 됨
문항반응 이론(item response theory)	1943년 롤레이(Lawley)에 의해 이론적으로 출발함 검사문항의 고유문항특성 곡선으로 특성, 능력, 문항특성 추정 검사를 구성하고 있는 문항 하나하나에 초점을 두고 분석함 인간 능력은 잠재적 특성이므로 관찰점수로 추정은 곤란 피험자의 잠재 능력과 피험자의 문항 응답결과의 관계를 규명함 정규 오자이브(normal ogive) 모형과 로지스틱(logistic) 모형 검사의 일차원성(unidimensionality) 가정이 충족되어야 함 지역독립성(local independence)이 지켜져야 함 잠재특성이론(latent trait theory)으로 불렸음

 

6