측 정
1. 측정의 개념
2. 측정도구
3. 측정의 타당도와 신뢰도
3. 측정의 타당도와 신뢰도
1) 측정의 오류
: 체계적 오류와 무작위적 오류
(1) 체계적 오류
측정하려는 개념이 아닌 다른 내용이 측정되는 경우
자료수집방법이나 수집과정을 통해서 발생됨
측정결과로 얻은 자료가 한쪽으로 치우치거나 변수
간의 관계가 지나치게 높거나 낮으면 체계적 오류가
존재함을 인식해야 함
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(1) 체계적 오류
체계적 오류를 발생시키는 대표적인 경우들
①
태도와 행동
: 태도를 측정하면서 실제로는 행동을
예측하려 한다거나 반대의 경우
.
예
) 길거리에 껌을 뱉는 것은 잘못된 것이다
예
) 길거리에 가끔 검을 뱉은 경험이 있다
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(1) 체계적 오류
②
편향에 따른 오류
첫째
, 고정반응에 의한 편향: 앞서 계속되어온
응답유형에 편향을 두고 그 수준에서 자신의
응답을 결정해 버리는 경향
, 일정한 유형의 설문
문항이 계속될 경우 극단적인 값을 피하고
중도값을 택하려는 경향
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(1) 체계적 오류
②
편향에 따른 오류
둘째
, 사회적 적절성의 편향: 조사자의 의도에 맞추거나
그 사회의 가치 기준에 부합하는 것을 택하려는 경
향
. 예를 들어. 마약에 대한 태도 조사 경우 본인이
경험이 있다 하더라도 솔직히 응답하기 보다 사회가
원하는 가치에 준해서 응답할 가능성이 있음
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(1) 체계적 오류
②
편향에 따른 오류
셋째
, 문화적 차이에 의한 편향: 측정과정에서 문화적
차이나 인구사회학적 차이가 개입하여 발생하는 오류
.
예를 들면
, 성인에 대한 우울척도를 청소년에게
사용한다거나
. 한국인을 대상으로 개발한 측정도구를
결혼 이민자에게 사용하는 경우
체계적 오류는 타당도를 높이면 오류를 상당부분 줄일
수 있음
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(2) 무작위 오류
오류가 발생하는 과정에서 일정한 유형이 존재하지
않는 경우로 오류를 통제하기 어려움
예를 들면
, 측정시의 기압이나 날씨 등과 같은 환경,
측정 당시 사용 용어나 뉘앙스
, 응답자들의 개인적인
컨디션 등에 의해 발생
무작위 오류는 신뢰도가 있는 도구를 사용하면 그
오류를 상당 부분 줄일 수 있음
3. 측정의 타당도와 신뢰도
1) 측정의 오류
(3) 측정에서 오류를 피하는 방법
①
측정도구 작성시 편견 없는 용어를 사용
②
조사자가 질문 내용을 충분히 이해하고 전달하면
응답에 정확성이 높아짐
③
응답자가 응답하는 물리적 환경도 세심하게 고려하여
무작위적 오류를 방지함
④
무엇보다 신뢰도와 타당도가 검증된 측정도구를
사용하는 것이 중요함
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
타당도란 측정하려고 했던 것을 측정했는지를
나타내는 것임
. 즉. 측정의 정확성
측정의 타당도가 높다는 것은 체계적 오류가
적다는 것임
타당도를 확인하는 방법으로는 내용타당도
,
구성타당도
, 기준타당도를 많이 사용함
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
(1) 내용타당도(content validity)
해당 개념을 측정하는데 올바른 질문이나 관찰 항목들이
측정도구에 포함되어 있는지를 연구자의 직관이나 해당분야
전문가의 견해를 빌려 판단하는 것으로 안면타당도라고도 함
내용타당도는 측정의 타당도를 확인하는 가장 기초적인
방법으로
, 타당도를 확보하는 방법으로 적절하지는 않으나
다른 모든 방법이 가능하지 않을 때 최소한 이 방법을 활용함
내용타당도는 측정도구를 평가하는 기본적인 방법으로 다른
타당도들도 일차적으로는 내용타당도의 성립을 전제로 함
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
(2) 구성타당도(construct validity)
개념 타당도라고도 함
. 가장 높은 수준의 타당도임
측정대상 개념이 관련을 맺고 있는 개념들이나 가정을
토대로
, 그 개념의 전반적인 이론적 틀 속에서
측정도구의 타당성을 경험적으로 검증하는 방법
척도가 기대되는 방향이나 노선에 따라 얼마나 잘
구별되느냐에 따라 개념 타당도가 있느냐가 결정됨
수렴 타당도
, 판별 타당도, 요인 타당도가 있음
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
(2) 구성타당도(개념타당도)
①
수렴타당도
(convergent): 이론적으로 관련있는 변수(척도)와
상관관계가 있는것으로 보일 때 수렴타당도가 있다고 함
.
확증타당도라고도 함
. 예로 청소년 비행이 높으면, 가족결속력 낮아야 함
②
판별타당도
(discriminant): 이론(개념)적으로 상관없는 변수(척도)와
서로 연관되지 않는 것으로 나타날때 판별타당도가 있다고 함
. 예로
결혼만족도와 우울증 개념 측정시 상관관계 낮게 나와야 함
③
요인타당도
(factorial): 개념타당도를 검증하는 가장 잘 알려진 방법으로
척도의 개별항목이 통계적으로 서로 연관된 그룹
(즉, 하위요인)을 만듦.
이때 한 그룹의 항목들은 다른 그룹의 항목들보다 더 긴밀한 상관관계를
보일 때 요인타당도가 있다고 함
. 예로 85개항 자아존중감 척도로
요인분석을 하면
, 네가지 하위요인, 즉, 학습자존감, 사회적 자신감,
자신의 외모에 대한 만족
, 적극성으로 구분할 수 있음
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
(3) 기준타당도
가장 널리 쓰이는 타당도로
, 내용타당도 보다 높은 수준의
타당도로 경험적 근거를 통해 타당도를 확인하는 방법
기존의 척도를 기준으로 하여 새로운 척도를 사용하여
측정한 결과가 기존의 척도를 사용한 측정 결과와
상관관계가 높을 때 기준타당도를 갖는 다고 함
검증에 사용되는 비교기준의 시점에 따라 동시타당도와
예측타당도로 나뉘어짐
3. 측정의 타당도와 신뢰도
2) 측정의 타당도
(3) 기준타당도
①
동시타당도
(concurrent): 연구자의 척도가 그 측정집단의
현재 특성을 기대되는 방향으로 구분할 수 있을 때 그 척도는
동시타당도가 있는 것으로 봄
. 현재 상관관계임. 예로 전문가가
내린 우울진단과 우울척도 결과가 같으면 기준타당도가 있음
②
예측타당도
(predictive): 측정결과로 나타난 점수나
척도평가치가 조사 대상자의 사후태도나 행위를 예견할 수
있을때 예측타당도가 있다고 함
. 예로 대학수학능력,
운전면허시험
3. 측정의 타당도와 신뢰도
3) 측정의 신뢰도
측정에서 일관성을 의미하는 것임
. 동일한 대상에 대한
측정 결과들이 일관성 있게 지속적으로 나타나는 경우
신뢰고가 높다고 함
신뢰도의 범위는
0~1로, 1에 가까울수록 신뢰도가
높다고 간주함
. r=.70은 기본적인 신뢰수준이고, 적어도
r=.60을 넘어야 함
신뢰도를 검사하는 방법으로는 상호관찰자기법
, 재검사법,
유사
-양식기법, 이분절기법, 내적일관성분석을 사용함
3. 측정의 타당도와 신뢰도
3) 측정의 신뢰도
①
상호관찰자기법
: 두명 이상의 관찰자들이 관찰 도구를 숙지한 다음 각기
관찰을 하고
, 개별적으로 측정한 관찰값들을 두고서 관찰자들간에
얼마나 일관성이 있는 지를 봄
. 관찰자들간에 측정값의 편차가 적을수록
측정도구의 신뢰도는 높아짐
.
②
재검사법
: 동일한 측정대상자에게 시간간격을 두고 2번 이상 측정을
반복 시행하여 그 결과를 비교함
. 그 결과가 비슷하게 나온다면,
신뢰도가 있는 측정이라고 봄
. 같은 도구를 반복하여 사용하기 때문에
기억의 통제가 어려움
③
유사
-양식기법: 서로 다른 유사한 양식의 두가지 시험을 동시에 한
집단에 실시에 상관관계가 높게 나타나면 신뢰도가 있다고 봄
. 비슷한
측정도구를 찾기 어려움
3. 측정의 타당도와 신뢰도
3) 측정의 신뢰도
④
이분절기법
: 반분법이라고 도 함. 전체 n개의 항목을 가진
측정도구를 반으로 나누어 각기
n/2 문항수를 가진 두 세트의
측정도구를 만들어 동일한 대상에 대해
2세트를 측정하고
측정값들이 서로간에 상관관계가 높으면 신뢰도가 있다고 봄
.
반분된 두개의 측정문항을 동등한 척도로 만들기 어려움
⑤
내적일관성 분석
: 척도의 각 개별항목이 전체 척도와 얼마나 상호
연관되어 있느냐를 나타냄
. 이 경우 모든 문항이 가질 수 있는
모든 반분 신뢰도를 구한 후 그 평균값을 산출하는 방법으로
통계패키지에 의해 분석됨
. 크론바하 알파계수로 나타냄.
알파계수가
. 70이상이면 비교적 신뢰할 만 함
3. 측정의 타당도와 신뢰도
4) 타당도와 신뢰도의 관계(p195)
측정에서 타당도와 신뢰도를 동시에 확보하는 것이 중요함
신뢰도와 타당도의 개념은 서로 분리된 것이라기보다는
복합적으로 상호연계되어 있음
신뢰도와 타당도의 관계를 정리하면 다음과 같음
①
신뢰도와 타당도는 항상 정
(positive)의 관계를 갖는것이 아님
②
신뢰도가 있다 하더라도 타당도는 결여될 수 있음
. 즉, 타당도
없이 신뢰도를 확보할 수 있음
③
타당도가 있다면 일반적으로 적절한 신뢰도가 있다고 볼 수 있음