유아교육학과, 보육교사 필수과목 유아교육평가 요점 정리 7. 평가도구의 양호도

7강 평가도구의 양호도

1. 양호도

개념	평가 도구의 좋고 나쁨을 점검하는 것 양호의 개념은 검사도구의 질과 관련됨 검사도구의 질 . 평가목적, 내용, 형식, 언어 등을 포함함 양호도가 좋은 도구는 타당도와 신뢰도가 높은 것임
내용	적합도: 평가의 목적이나 취지에 적합한 도구 타당도: 평가의 목표나 내용을 제대로 평가하는 도구 신뢰도: 평가 결과의 정확성과 일관성을 보장하는 도구 실용도: 주어진 여건과 상황에 근거하여 실행할 수 있는 도구

 

2. 적합도

개념	適合度, properness 평가의 목적, 의도와의 적합함 여부를 검토하는 것 지식, 기능, 태도, 성향 등의 평가와 평가 목적이 서로 적합한지의 검토
점검방법	다수의 전문가들에게 평가 과제나 문항에 대해 설문조사를 실시함 특정 평가 문항에 대한 적합성 여부를 5단계 척도로 검토함 델파이 조사기법을 활용할 수도 있음

 

3. 타당도

개념	妥當度, validity 평가 목표나 평가 내용과 관련된 것 평가의 구체적 목표나 내용을 평가도구가 반영하고 있는지의 문제
종류	내용타당도, 구인타당도, 공인타당도, 예언타당도, 체제적 타당도, 생태학적 타당도
안면 타당도	face validity 관련 분야 전문가가 평가도구에 대해 검토하는 것 어떤 수치로 표현하지 않음 평가 계획서 작성 혹은 평가도구 개발 과정에서 타당성 확보를 위해 활용함
	검토내용	평가도구의 내용에 오류가 없는지의 여부 평가도구의 실시 시간이 적합한지의 여부 평가도구의 구성이 매력적인지의 여부 평가도구의 형식이 적합한지의 여부
내용 타당도	content validity 평가 내용이 평가 도구에 제대로 반영되었는지를 검토하는 것 연역적으로 검토함 평가하고자 의도한 평가내용의 전 영역을 제대로 파악하는 것 논리적 타당도 또는 교과 타당도라고도 함
	검토 내용	대표성: 평가도구가 의도한 평가목표를 대표하고 있는지의 여부 상호연관성: 평가목표와 평가내용이 서로 연관성이 있는지의 여부 적합성: 평가내용이 평가요소를 적절하게 반영하고 있는지의 여부 이론구인성: 평가내용이 이론적으로 잘 반영되어 있는지의 여부
안면타당도				내용타당도
전문가에게 평가도구의 내용에 대한 타당성을 알아봄
관련분야 전문가에게 평가도구 내용의 타당성 여부를 확인 내용 구성, 형식 등이 검사실시에 무리가 없는가를 확인				평가하려는 내용과 목표를 평가도구가 반영하고 있는지 검토 검사목표, 검사내용을 세심하게 검토함
구인 타당도	construct validity 구인(構因:construct) : 어떤 개념이나 특성을 구성한다고 여겨지는 하위 개념 예: 창의성의 하위 개념 . 유창성, 독창성, 정교성, 융통성 평가도구가 측정하려는 특성을 측정하고 있는지를 확인하는 것 이를 위해 어떤 이론적인 가설을 세워 경험적,통계적으로 검증함 구인타당도로 검사도구의 타당성을 확인하는 경우가 많음 구인타당도를 통해 이론적 개념의 타당화를 실시할 수 있음 수치를 산출하여 타당도를 검토할 수 있음
	확인		평가하고자 하는 특성을 몇 개의 하위영역으로 나눔 각 하위영역을 조작적으로 정의함 각 하위영역을 측정하는 평가 도구를 개발함 평가도구의 결과를 요인분석하거나 상관계수를 산출함 산출된 수치를 바탕으로 평가도구의 타당성을 검토함
	높은 경우		같은 하위영역의 문항끼리 상관이 높음 다른 영역의 문항끼리 상관이 낮음
공인 타당도	concurrent validity 기존 평가도구와 비슷한 내용의 평가도구간 상호관련성의 검토 새롭게 제작하는 평가도구의 타당성을 검토하는 것 기존 검사도구와 관련해 실질적인 관련성 정도를 따져 타당성을 알아봄 기존 검사도구는 새롭게 개발하려는 검사도구와 비슷한 검사도구 기존 검사도구가 타당성 검토의 준거가 됨 두 검사도구간의 상관계수를 통해 타당성을 검토함 준거관련 타당도에 속함
	타당도확보의 과정 : 언어 유창성 검사도구 언어능력 검사도구가 이미 사용되고 있음 언어유창성 검사도구를 개발함 두 검사도구를 실시하여 결과의 상관계수를 산출하여 검토함
예언 타당도	predictive validity 준거관련 타당도에 속함 미래에 일어날 결과를 현재의 평가결과로 예언하는 것이 타당한지를 검토함 경험적 타당도 또는 통계적 타당도라고도 함 현재 결과로 미래 결과와의 관련성을 검토하는 것 타당성을 검토하기 위해 현재의 검사결과를 사용함 비교나 예언의 준거가 미래에 있음
	타당도 확보의 과정: 대학수학능력시험 점수로 졸업성적 예언 학습자들의 대학수학능력 시험점수를 파악함 학습자들의 대학졸업성적을 파악함 각 평가의 점수간의 상관관계를 산출함 대학수학능력시험점수와 대학졸업성적간의 상관관계를 해석함
체제적 타당도	systemic validity 평가도구가 체제 전체에 교육의 이점이 있었는지를 검토하는 것 결과타당도라고 하기도 함 평가 시행이나 평가결과로 발생할 수 있는 교육적,사회적 파급 효과를 중시함 교육체제의 변화나 유지에 영향을 검토함 평가도구 자체에 대해 타당도를 검토하는 것을 포함함 평가의 관심을 확대시켜 평가 시행, 파급효과의 전반적인 검토를 강조함
생태학적 타당도	ecological validity 평가목적이나 평가내용의 사회문화 타당성을 검토하는 일 피험자들의 사회 문화 배경 및 주변 상황을 검토하여 타당성을 확보함
	검토내용		학습자의 문화적 배경과 검사내용과의 관련성 학습자의 사회적 배경과 검사내용과의 관련성 학습자의 생태적 배경과 검사내용과의 관련성

 

4. 신뢰도

개념	信賴度, reliability 평가 도구가 얼마나 정확하고 일관성이 있느냐의 정도 측정의 오차(measurement error)가 얼마나 적은가의 정도
특징	신뢰도가 높다거나 낮다고 말함 신뢰도가 있다 혹은 없다고 말하지 않음 숫자(상관계수)로 표시됨
질적 평가에서의 신뢰도	교사의 전문적인 관찰과 판단을 중시함 신뢰도가 양적 평가보다 덜 강조됨
계산	관찰점수 중에서 진점수가 차지하는 비율의 정도를 밝히는 것 계산 과정: X = T + E X: 관찰점수, 눈으로 관찰 가능한 점수 T: 진점수, 관찰점수 중 진짜 실력에 해당하는 부분 E: 오차점수, 관찰점수와 진점수와 차이, 진짜 실력점수가 아닌 점수
계산 공식	r(xx') = St2／Sx2 관찰점수의 변량(Sx2) = St2 + Se2 오차점수의 변량(Se2) = Sx2(1 - rxx') Sx2 = 관찰점수의 변량 St2 = 진점수의 변량 Se2 = 오차점수의 변량
종류	채점자간 일치도, 재검사 신뢰도, 동형검사 신뢰도, 반분검사 신뢰도, 크론박 알파 계수
채점자간 일치도	agreement between/among raters 2명 이상의 채점자 결과가 어느 정도 일치하는가의 문제
	계산 방법 : 2명일 경우		2명의 평가점수 결과를 수합 2명의 점수 결과간의 단순 상관계수를 계산 상관계수를 신뢰도로 보고함
	3명일 경우		2명씩 쌍을 이뤄 단순 상관계수를 계산함 2명씩 쌍을 이뤄 변량분석을 통한 급내 상관계수를 계산함
	점수 범위가 좁거나 등급을 매기는 수준 점수나 등급의 일치 비율을 계산함
	특징	평가도구의 특성 때문에 높거나 낮게 나올 수 있음 채점자의 자질 때문에 높거나 낮게 나올 수도 있음 평정등급의 수가 적을수록 우연에 의해 일치된 평정 가능성이 있음
재검사 신뢰도	retest reliability 동일한 평가 도구로 다시 실시한 결과의 일관성을 검토하는 것
	확보 방법	동일한 평가도구를 동일한 대상에게 2번 실시함 시간 간격은 가깝지 않은 것이 좋음 두 결과간의 상관계수를 산출하여 신뢰도를 확보함 시간 간격을 두고 실시한 결과들 간의 상관계수로 확인
	특징	동일한 검사를 동일한 대상에게 두 번 실시함 두 검사결과의 상관계수 크기, 결과 평균, 표준편차도 검토해야 함
동형검사 신뢰도	equivalent-form reliability 동형검사를 제작하여 같은 피험자에게 실시하여 얻은 결과 사이의 상관계수 동형검사라야 함 - 평가도구의 내용이 동일함 평가도구의 문항 형태가 동일함 평가도구의 실행 방법 및 절차가 동일함 일반적으로 우수한 신뢰도 추정방법으로 인정됨 - 측정 과정에서 발생하는 문제들을 통제할 수 있기 때문임 - 기억, 연습, 변화, 성숙 등의 영향들을 대부분 통제할 수 있기 때문 동형검사의 제작 방법이나 절차는 매우 까다로움
반분 신뢰도	split-half reliability 한 검사를 두 부분으로 나누어 서로 상관관계를 산출하는 것
	산출방법	한 개의 평가 도구 혹은 검사를 같은 피험자 집단에게 실시함 검사에 포함된 문항을 가능한 동형검사에 가깝도록 두부분으로 나눔 각 부분을 독립된 하나의 동형검사인 것처럼 간주함 반분된 검사 점수들간의 상관계수를 산출함
	특징	일반적으로 검사가 짧을수록 신뢰도는 낮아짐 검사 문항이 적을수록 신뢰도는 낮아짐 검사가 길수록 신뢰도는 높아짐 검사 문항이 많을수록 신뢰도는 높아짐 반분하지 않은 상태인 전체 검사의 신뢰도보다 낮게 추정될 수 있음 한 검사를 둘로 나눌 때 나눈 각 부분이 동형검사가 되도록 해야 함
	추정 방법
크론박 알파계수	Cronbach’s Coefficient alpha 일반화 계수 혹은 문항 내적일치도 한 검사에 포함된 문항들이 일치하는지를 나타내는 계수
	특징	검사 문항들이 서로 동질적일수록 크론박 알파계수는 커짐 거의 모든 경우의 문항들로 구성된 검사에 쉽게 적용할 수 있음 가장 보편적으로 보고되는 신뢰도 지수임 문항 의 변량(오차점수의 변량)이 적을수록 알파는 커짐 검사 전체 변량에서 진점수 변량이 차지하는 비율이 커질수록 알파계수는 커짐 - 검사 전체 변량은 관찰점수 변량임 - 진점수 변량은 관찰점수 변량에서 오차점수 변량을 제외한 값임
	계산 공식

반분신뢰도 추정방법

크론박 알파계수 계산공식

5. 실용도

개념	實用度, usability 평가에 소요되는 인적 및 물적 자원의 양과 질이 실용적인지의 정도 도구의 제작 및 시행 방법의 실용 정도
내용	평가 절차의 실용성 채점 분석에 소요되는 인적.물적 자원의 양과 질의 실용성
기본 가정	상황과 맥락에 따라 그에 적절한 교수-학습 방법이 다를 수 있음 동시에 적절한 교육 평가 도구도 다를 수 있음
평가 실시의 주변 상황과 맥락에 따라 적절한 평가도구가 다를 수 있음 학습에 대한 생태학적 접근과의 연관성이 나타남
고려사항	실시 방법이 쉬울 것 실시하는 데 소요되는 시간이 적절할 것 채점하기가 쉬울 것 결과를 해석하거나 활용하기가 쉬울 것 검사의 실시 비용이 적절할 것

 

8