복지직, 공무원, 사회복지사 1급 등 필수과목 사회복지조사론 6. 측정의 타당도와 신뢰도

제6장 측정의 타당도와 신뢰도

 

1. 타당도의 개념과 의의 및 측정방법

 

1) 타당도의 개념과 의의

• 타당도(validity) : 측정도구가 원래 측정하려고 의도한 것을 측정하는 정도

• 측정하고자 하는 것을 측정도구가 제대로 측정하지 못한다면 측정 결과는 의미 없게 됨

• 사회복지 조사에서 다루는 특성들은 직접적으로 측정하기

 

2) 타당도 측정방법

 

(1) 액면 타당도 • 내용 타당도와 비슷하게 사용 • 액면 타당도는 검사도구의 문항들이 검사 제작자나 응답자에게 얼마만큼 친숙하게 보이는 가를 말함( 겉으로 보이는 타당도)

(2) 기준 관련 타당도 • 기준 관련 타당도는 통계적으로 타당도를 평가하는 것으로, 사용하고 있는 측정도구의 측정값과 기준이 되는 측정도구의 측정값의 상관관계에 관심을 두는 타당도임. • 즉 연구하려는 속성을 측정해 줄 것으로 알려진 외적 변수와 측정도구의 측정결과(척도의 점수) 간의 관계를 비교함으로써 타당도를 파악하는 방법임. • 대학 학점의 타당도는 학생들의 성공적인 학업성취를 예측하는 능력에 달려 있음.

 

(3) 구성 타당도 • 이론적 관계의 체계 내에서 기대되는 것처럼, 한 측정이 다른 변수들과 연관되어 있는 정도.

 

(4) 내용 타당도

• 측정 항목이 연구자가 의도한 내용대로 실제로 측정하고 있는가 하는 문제임. • 즉 측정도구가 측정대상이 가지고 있는 많은 속성 중에 일부를 대표성 있게 포함하면 타당성이 있다고 봄. • 내용 타당성은 논리적 사고에 입각한 논리적인 분석과정으로 판단하는 주관적인 타당성로 객관적인 자료에 근거하지 않음.

 

2. 신뢰도의 개념과 의의 및 측정방법

 

1) 신뢰도의 개념과 의의

• 신뢰도(reliability)는 측정도구가 안정되고 일관성이 있는 정도를 가르킴.

 

2) 신뢰도의 측정방법

 

(1) 상호관찰자(평가자) (interobserver/ interrater)신뢰도 • 관찰자 혹은 평가자들 사이에 합의하거나 일관성이 있는 정도이며, 평가자 간의 신뢰도

라고도 함. • 사회복지사가 클라이언트에게  행한 공감의 정도를 두 관찰자가 평가하여 약 70~70퍼센트 이상 일치하면 상호관찰자 신뢰도 받아들일 만함.

(2) 검사-재검사 (test-retest)신뢰도 • 동일한 대상자들에게 동일한 측정도구를 나중에 다시 적용하였을 때 그 결과가 일치하는 정도. • 긴 시간에 걸쳐 척도  점수에서의 변화를 평가하는 것으로 척도가 어느 정도 안정적인가를 다루는 것. • 장점: 빠르고 간단하고 실질적으로 신뢰도를 구할 수 있는 방법임. • 단점: 검사를 처음 실시한 것은 재검사에서 대상자 응답 방식에 영향을 미칠 수 있음.

 

(3) 유사 양식 (parallel-forms)신뢰도 • 동일한 측정도구를 내용은 다르지만 방식은 같은 두 가지 형태로 만들어서 동일한 대상

자에게 동시에 적용하여 얻은 신뢰도. • 두 가지 형태는 같은 사람에게 질문되고 그 다음 두 쌍의 응답이 충분히 상관관계가 있

는지 평가함. • 문제점: 진짜로 동등한 두 가지 형태의 측정도구를 구성하는 것이 어렵다는 것이고, 두 가지 유형의 문제지를 만드는 데 시간이 많이 걸린다는 것임.

(4) 이분(반분)(split-half)신뢰도 • 측정도구를 길이가 같은 두 가지 반쪽으로 나누어서 측정하고 두 개 전체 점수 간의 상

관관계를 평가. • 장점: 현실적방법이라는 점이고, 문제점은 둘로 나눈 도구가 서로 유사하도록 만드는

작업임.

 

  (5) 내적 일관성법(internal consistency) • 척도 문항들의 점수나 문항들로 구성된 하위집단들의 점수가 서로 관련되는 정도. • 내적 일관성 신뢰도를 측정하기 위해 가장 많이 사용되는 방법은 크론바하의 알파 계수

를 계산하는 것.

 

3. 타당도와 신뢰도 사이의 관계

 

1) 신뢰도와 타당도의 관계

 

(1) 신뢰도와 타당도는 매우 중요한 요소지만 두 가지를 확보하는 것은 쉬운 일이 아님.

(2) 신뢰도와 타당도는 측정도구의 적합성을 평가하는 방법으로 서로 분리된 속성이지만, 서로 밀접히 관련되어 있음.

(3) 측정에서 가장 중요한 점은 연구자가 측정하고자 하는 바를 얼마나 정확하게 측정할 수 있는가에 있다고 볼 때, 신뢰도보다 타당도가 더 중요한 의미를 지닌다고 할 수 있음.

 

2) 측정의 신뢰도와 타당도의 상호관계에 대한 진술

 

(1) 신뢰도가 높다고 해서 반드시 타당도가 높은 것을 의미하지는 않음.

• 신뢰도가 높다는 것은 어떤 현상을 일관성 있게 측정할 수 있다는 것을 의미할 뿐이며, 그 현상이 연구자가 의도한 현상을 정확하게 측정하고 있지 않을 수도 있다는 것임. 즉, 신뢰 도가 높다고 해서 타당도가 높은 것은 아님.

(2) 신뢰도는 타당도를 높이기 위한 필요조건.

• 신뢰도가 높다고 해서 타당도가 높은 것은 아니지만, 타당도를 높이기 위해서는 신뢰도

가 높아야 함.

(3) 타당도가 높으면 반드시 신뢰도가 높음.

• 측정도구가 측정해야 할 개념을 잘 측정하고 있다면, 즉 타당도가 높으면 반드시 신뢰도가 높다고 할 수 있음. 타당도를 확보하면 신뢰도는 자연히 확보되는 것임.

(4) 타당도가 낮다고 해서 반드시 신뢰도가 낮은 것은 아님.

• 연구자가 의도한 현상을 정확하게 측정하고 있지는 못하나 어떤 현상을 일관성 있게 측정 하고 있다면 타당도는 낮을지라도 신뢰도는 낮지 않다고 할 수 있음.

(5) 신뢰도가 낮으면 항상 타당도가 낮음.

4. 타당도와 신뢰도에 영향을 미치는 요인

 

1) 측정의 오류

• 측정하는 과정은 오류(error)에 취약함.

• 측정에서는 어느 정도의 오류가 항상 나타나게 됨.

• 측정하려는 범위를 정확하게 알지 못하면 측정 오류(measurement error)가 나타남.

 

◊ 측정의 오류가 발생하는 주요한 원인

• 측정도구 자체가 결함이 있거나 정확하지 않은 경우에 오류가 나타남.

• 측정도구에는 별 문제가 없지만, 측정하는 사람이 측정 기술이 부족하거나 측정하는 사람이 부주의하거나 착오를 일으킬 경우에 측정 오류가 나타남.

• 대상자의 심리적 특성이 일시적으로 변하거나 측정이 이루어지는 환경이 특이한 경우에 측정 오류가 나타남.

 

◊ 두 가지 형태의 측정 오류

• 체계적 오류(systematic error)

• 무작위 오류(random error)

 

2) 체계적 오류

 

◊ 체계적 오류의 발생

• 조사자가 자료를 수집하는 방식에 문제가 있기 때문.

• 자료를 제공하는 사람들이 역동적 측면을 가지고 있기 때문.

• 어느 경우에는, 조사자가 사용하는 측정도구가 조사자가 측정한다고 생각하는 것을 실제로 측정하지 못하기 때문.

 

◊ 편향의 형태

• 순응적 반응 형태(acquiescent response set)

• 사회적 적절성 편향(social desirability bias)

• 문화적 차이 편향(cultural gap bias)

 

3) 무작위 오류

• 일관성이 있게 영향을 미치고 있지 않음.

• 여러 가지 형태를 띨 수 있음.