복지직, 공무원, 사회복지사 1급 등 필수과목 사회복지조사론 8. 실험

제8장 실험

1. 인과관계의 추론

 

• 사회복지에 관한 연구문제나 사회복지실천현장에서 가장 주목하는 것 : 어떤 현상의 원인을 정확히 밝히는 것

• 인과관계 추론의 논리 : 위에 대한 근본 해답을 줄 수 있는 것

 

1) 인과관계 추론의 기준

• 독립변수가 종속변수보다 시간적으로 선행해야 함.

• 독립변수와 종속변수가 경험적으로 서로 상관관계가 있어야 함.

• 두 변수 사이의 경험적 상관관계가 두 변수 모두를 야기하는 세 번째 변수의 영향에 기인하는 것으로 설명될 수 없어야 함

 

(1) 원인(독립변수)이 결과(종속변수)보다 시간적으로 선행

• 첫 번째 조건은 자명한 논리의 문제임.

• 어떤 현상이 다른 현상의 변화를 일으키는 원인이 되기 위해서는 시간적으로 원인이 결과를 앞서야 한다는 것.

• 시간적 선행조건은 자명한/당연한 것처럼 보일 수 있지만 실제 인과관계를 주장하는 경험의 세계에서는 원인과 결과 사이의 시간상 순서가 명확하지 않은 경우가 많음

 

(2) 원인과 결과 사이의 경험적 상관관계가 존재

• 공변 하지 않으면 두 변수 사이에 인과관계가 있다고 말하는 것은 어리석은 주장이 될 것임.

• 두 변수 사이에 경험적 상관관계가 발견되었다고 두 변수 사이에 인과관계가 성립된다고 보기는 어려울 것임.

 

(3) 제3의 변수의 영향을 통제

• 제3의 변수의 영향 때문에 독립변수와 종속변수가 야기되었다는 것을 배제할 수 있어야 함

• 허위관계(spurious relationship)가 되지 말아야함

 

 

2. 내적 타당도와 내적 타당도에 대한 위협

 

1) 내적 타당도(internal validity)

• 종속변수의 변화를 설명하는 것이 진정으로 독립변수인지 아니면 다른 가능성이 있는가의 정도를 말하며, 연구결과로 한 변수가 다른 변수의 원인인지 아닌지를 정확하게 기술한다는 확신의 정도를 의미

2) 내적 타당도에 대한 위협

 

(1) 우연한 사건 또는 역사(history)

• 우연한 사건이 연구가 진행되는 기간에 발생했다면 종속변수의 변화가 독립변수 때문인지 아니면 이 기간 동안 발생한 우연한 사건 때문인지 확신할 수 없다.

 

(2) 성장요인(growth) 또는 성숙요인(maturation)

• 연구 참여자가 발달적 변화나 성장을 경험할 때 발생하는 내적 타당도에 대한 위협이 성장요인 또는 성숙요인임.

(3) 검사요인(testing effects)

• 동일한 측정도구를 두 번 이상 사용하는 경우 검사지, 검사문항, 그리고 검사지에 나오는 용어 등에 익숙해짐에 따라 측정하고자 하는 본래 요인의 효과와 관계없이 종속변수의 측정치가 개선될 수 있음.

 

(4) 도구요인(instrumentation)

• 두 번 이상 사용한 경우에 발생하는 반면에, 도구요인은 반대의 경우로서 두 번 이상의 검사에서 서로 다른 검사 도구를 사용하거나 평가자 다른 사람인 경우에 발생하는 내적 타당도에 대한 위협임.

 

(5) 통계적 회귀(statistical regression)

• 사전검사에서 극단적인 점수, 즉 평균보다 지나치게 낮은 점수나 높은 점수를 받은 경우 사후검사에서는 독립변수의 효과와 상관없이 평균 점수에 가까운 점수를 받을 가능성이 높을 것을 의미

 

(6) 선정편견(selection bias)

• 두 집단이 처음부터 동일하지 않아(선정에 편견이 있어) 연구결과가 왜곡되는 것

 

(7) 실험대상의 탈락(experimental mortality)

• 연구대상자의 탈락에 의해 종속변수에 변화가 야기되는 경우를 연구대상자의 탈락에 의한 내적 타당도의 위협이라고 함.

 

(8) 인과관계 방향의 모호성(ambiguity about direction of causal influence)

• 시간상 순서가 분명하지 않을 때에는 독립변수가 종속변수의 변화를 초래했다는 설명에 의해 도전받을 수 있는 것임.

 

(9) 개입(치료)의 확산 또는 모방(diffusion or imitation of treatment)

• 실험집단에서 실시한 프로그램이나 특정한 자극들에 의해 실험집단에 속한 사람들이 효과를 볼 경우 통제집단에 속한 사람들에게 프로그램이나 자극이 확산되거나 모방될 수 있음.

 

3. 외적 타당도

 

• 외적 타당도(external validity)란 어떤 연구에서 서술된 인과관계가 그 연구의 조건을 넘어서 일반화될 수 있는 정도(generalizability)를 뜻함.

 

1) 연구의 대표성

• 표본이 모집단을 대표하는 정도가 연구의 외적 타당도에 지대한 영향

 

2) 조사연구의 반응성

• 연구대상자가 자신이 현재 연구에 참여하고 있다는 사실을 인식하여 평소와 다르게 행동하거나 또는 연구 상황을 벗어나서는 일반화할 수 없는 변화를 초래하는 것을 의미

◊ 반응성의 대표적 유형

• 호손효과(Hawthorne effect)란 조상대상자가 자신이 실험에 참여하고 있다는 것을 의식해서 자연스러운 평소의 상황과는 다른 행동과 반응을 보안다면 보통의 사람들에게서는 나타나지 않는 결과가 나타날 수 있음.

• 가 실험효과로 알려진 반응의 또 다른 형태는 특정 개입이나 실험이 이루어지지 않았거나 변화를 일으키지 않는 것이었음에도 연구대상이 어떤 특별한 치료나 특별한 관심을 받고 있다고 인식하면 스스로 심리적으로 반응해서 변화를 불러일으키는 것을 말함.

 

4. 인과적 분석과 연구 설계의 유형

 

• 실험적 연구설계: 연구의 목적이 만약에 인과적 분석이라면 다른 어떤 종류의 연구 설계(research design)보다 우수한 것이 있는데 그것이 바로 실험적 연구 설계임.

• 인과관계 성립의 세 가지 조건

첫째, 실험자는 독립변수의 도립과 조작을 통제하며, 이것은 독립변수가 시간적으로 분명히 종속변수 앞에 오는 것을 가능하게 함.

둘째, 실험의 특징인 통제는 연구자가 독립변수와 종속변수 사이의 연관성이나 상관관계를 분명하게 보고하는 것도 가능케 함.

셋째, 실험적 방법에 내재한 통제로 인해서 연구자는 제3의 변수의 영향을 중립화하고 이론 인해 종속변수의 변화에 대한 대립적 설명(rival explanation)을 효과적으로 제거하게 되는 것

 

 

1) 원시실험설계

 

(1) 일회검사사례연구(one-shot case study)

•가장 간단히 자극/처치를 도입한 다음 다른 집단과 아무런 비교도 없이 종속변수의 값을 측정

•장단점: 상관관계도 평가하지 못하며 내적 타당도에 대한 어떠한 위협도 전혀 통제 못함

 

(2) 단일집단 사전-사후검사설계(one group pretest-posttest design)

• 통제집단이 없고 사전조사와 사후조사비교하여 효과여부를 파악하는 평범한 설계

• 즉, 개입이나 p 전과 후의 빈도수 관찰이나 자기보고서 형식의 측정도구 사용

• 두 변수 사이의 상관관계를 평가하고 있으며, 독립변수와 종속변수의 시간의 순서 통제

• 종속변수의 변화를 일으킬 수 있는 독립변수 이외의 다른 요인들로서, 내적 타당도에 위협이 될 수 있는 우연한 사건, 성숙, 검사. 통계적 회귀요인을 통제 못함

 

(3) 비동일집단 사후검사설계(posttest-only with nonequivalent groups)

• 정태적 비교집단 설계(static-group Comparison design)라고도 불림-기존에 형성되어있는 집단을 비교집단으로 선정, 즉, 개입을 시행한 실험집단에 대하여 사후조사를 시행하고 기존에 있던 집단에 사후조사를 시행하여 그 사후 조사결과를 비교하는 것.

• 장단점: 선정편향에 의한 내적 타당도에 대한 위협을 통제하지 못함

                                                                                   

2) 실험설계

• 실험조사 설계: 실험적 개입, 즉 독립변수의 조작으로 발생할 수 있는 변수 간의 인과관계를 규명하기 위한 조사 설계

  • 순수, 유사 실험조사 설계, 전 실험조사 설계가 있음

 

(1) 고전적 실험설계

• 예: 비행청소년의 분노 대처 프로그램의 효과 연구 (분노 표현 및 공격성 측정

(2) 통제집단 사후검사설계(posttest only control group design)

• 사전검사의 영향을 배제하고자 할 때

  • 사전검사가 용이하지 않을 때

• 예: 상담기관 확인전화의 예약 취소율에 대한 효과

(3) 솔로몬 4집단 설계(Solomon four group design)

• 사전, 사후검사를 하면서도 사전검사를 영향을 통제하고자 할 때

• 예: 영화 속에 투영된 여성에 대한 폭력의 영향으로 인한 여성들의 무력감 비교 연구

 

 

3) 유사실험 설계

 

(1) 비동일통제집단 설계(non-equivalent control group design)

• 실험설계와 유형과 검증방법이 동일하나 실험집단과 통제집단을 임의로 배치

• 무작위 배치가 윤리적·현실적으로 어려울 때 적용할 수 있기 때문에 유용성 매우 높음

• 실험집단과 통제집단을 최대한 유사하게 배치(사전 검사로 확인)

• 실천현장에서 가장 많이 활용되는 조사연구형태로 무작위배정이 가능하지 않을 때

• 예: 방과 후 프로그램 효과 연구

 

(2) 단순시계열설계(simple interrupted time-series design)

• 통제집단을 구하기 어려울 때

  • 역사적 사건, 측정 효과의 우려

  • 동일 간격, 동일 횟수의 측정 필요

  • 안정된 기초선을 위해서 최소3회 이상의 충분한 관찰 필요

• 예: 휴대폰 사용 집중 단속 후 교통사고 발생건수 변화 조사

 

(3) 다중시계열설계(multiple time-series design)

• 비동일통제집단전후비교조사의 확대형

  • 통제집단으로 역사, 측정, 성숙 등을 해결

  • 강력한 유사실험연구형태

• 예: 5일제 근무제 이후 두 직종 간의 생산성 비교 연구

 

(4) 유사실험 설계의 유용성

• 순수 실험만큼 좋지 않지만 원시실험설계보다는 훨씬 우월하다고 할 수 있음.

① 순수실험조사설계의 대안

②무작위 배정, 통제집단 활용이 용이하지 않아 내적 타당도는 낮지만 실험에 대한 통제가 비교적 적어 외적 타당도 확보 용이함

③무작위 배정이 가능하지 않을 때, 참여자 선정과 성숙, 측정 및 역사적 사건 간의 상호작용이 위협 요소가 됨

 

5. 단일사례설계

 

1) 기본개념과 특징

• 시계열분석의 논리를 개입대상이 단일사례인 사회복지실천의 효과성을 평가할 때 적용.

• 주목적은 독립변수 도입의 효과를 과학적으로 입증하는 것.

- 단일사례연구 디자인(single case study design)

- 단일사례실험(single case experiment)

- 단일체계디자인(single system design

 

2) 단일사례설계의 자료해석