설문 기반 양적 연구에서 발생하는 측정 문제 대부분은 통계적 문제가 아닙니다. 개념 정의의 문제입니다. 데이터를 수집하고 나서 요인 적재량이 이상하게 나오거나 문항이 예상과 다르게 묶이는 상황은, 대부분 처음부터 구인을 제대로 정의하지 않은 데서 비롯됩니다. 그 시점에서는 분석을 다시 돌려도 고쳐지지 않습니다.
구인 추출은 문항을 쓰기 전에 무엇을 측정할 것인지를 이론적으로 정의하는 과정입니다. 척도 개발 파이프라인 전체의 토대입니다. 문항 생성, 요인 분석, 확인적 타당화까지 이후의 모든 단계는 여기서 내린 결정의 질에 달려 있습니다.
구인 추출이란 무엇인가
구인은 직무 만족, 회복탄력성, 윤리적 리더십처럼 직접 관찰할 수 없는 잠재 변수입니다. 구인 추출은 연구 목적과 이론적 틀에서 측정 대상이 될 핵심 변수(독립, 종속, 매개, 조절)를 식별하고, 각 변수를 측정 가능한 형태로 정의하는 작업입니다.
이 단계에서 빠지기 쉬운 함정이 두 가지 있습니다. 첫째는 구인보다 문항을 먼저 쓰는 것입니다. 직관으로 문항을 작성한 뒤 요인 이름을 나중에 붙이면, 이론적 근거가 없는 척도가 됩니다. 심사 과정에서 "이 요인의 이론적 근거는 무엇인가"라는 질문에 답하기 어렵습니다. 둘째는 선행 문헌에서 구인을 느슨하게 빌려오는 것입니다. 특정 이론적 전통에 명확히 닿아 있지 않은 구인은 심사에서 흔들립니다.
구인은 반드시 선행 문헌에 이론적 뿌리를 두어야 합니다. 조작적 정의는 그 구인을 측정하기에 적합한 문항과 그렇지 않은 문항의 경계를 설정합니다.
요인 구조는 이론이 먼저, 분석이 나중
구인이 추출되면 다음 단계는 요인 구조를 설계하는 것입니다. 각 구인이 단일 차원인지 다차원인지, 다차원이라면 하위 요인이 몇 개이고 서로 어떤 관계인지를 결정합니다.
이것은 이론적 결정이지 경험적 결정이 아닙니다. 탐색적 요인 분석(EFA)과 확인적 요인 분석(CFA)은 가설로 세운 구조가 데이터에 의해 지지되는지를 검증하는 도구입니다. 구조 자체를 대신 만들어 주지 않습니다. EFA가 요인 수를 알려준다고 오해하는 경우가 많은데, EFA는 초기 개발 단계에서 탐색적 참고에 활용할 수 있지만 CFA 검증에 들어가는 구조는 반드시 이론에서 출발해야 합니다.
Path Diagram은 구인 간 경로 구조를 시각화한 것으로, 문항을 쓰기 전에 그려 두어야 합니다. 이 단계에서 모형 식별 가능성도 사전 점검합니다. CFA 모형이 추정 가능하려면 자유도가 0 이상이어야 합니다.
CVR과 CVI로 내용 타당도를 수치화하는 방법
구인과 요인 구조를 정했다면 문항 생성으로 넘어가기 전에 내용 타당도를 검증해야 합니다. 내용 타당도는 측정 도구가 구인의 개념적 영역을 얼마나 충분히 포괄하는지를 나타냅니다. 이를 수치화하는 두 가지 지표가 CVR과 CVI입니다.
CVR(Content Validity Ratio)은 Lawshe(1975)가 제안한 지수입니다. 전문가 패널이 각 요인을 "필수적이다 / 유용하나 필수 아님 / 불필요하다"의 3점 척도로 평정할 때, 필수라고 응답한 비율을 패널 수에 따른 임계값과 비교합니다. 패널이 5인이면 CVR ≥ 0.99가 요구됩니다.
CVI(Content Validity Index)는 Lynn(1986)이 개발한 지수로 두 수준에서 산출됩니다. 문항 수준의 I-CVI는 개별 문항을 평가하고, 척도 전체 수준의 S-CVI/UA는 모든 문항과 모든 패널에 걸친 합의 정도를 반영합니다. S-CVI/UA ≥ 0.78이 전문가 집단 수준의 합의 기준입니다.
| 지표 | 기준값 | 출처 |
|---|---|---|
| CVR (패널 5인) | ≥ 0.99 | Lawshe (1975) |
| S-CVI/UA | ≥ 0.78 | Lynn (1986) |
기준에 미달한 요인은 수정 후 재평가를 거칩니다. 기준을 충족한 요인만 문항 설계 단계로 진행합니다.
개념 설계 단계의 산출물
이 단계가 완료되면 네 가지 산출물이 확보됩니다. 요인 정의서에는 각 구인의 조작적 정의와 이론적 근거를 뒷받침하는 선행 연구 인용이 최소 3편 포함됩니다. Path Diagram은 가설 구조를 시각화하고 모형 식별 가능성을 확인합니다. CVR/CVI 분석 결과표는 전문가 패널 평정 결과를 수치로 정리한 것입니다. 감사 기록에는 요인 확정·수정·삭제에 대한 근거가 모두 기록됩니다.
이 산출물들은 형식적인 절차가 아닙니다. 논문 방법론 절이 직접 근거로 삼는 증거 기반입니다. 심사자들은 내용 타당도 절차가 방법론 절에 명시적으로 보고되기를 점점 더 기대하고 있습니다.
modidoc의 개념 설계 단계
modidoc의 개념 설계 단계는 논문 초록을 입력하면 핵심 구인을 추출하고 조작적 정의 초안을 생성하며 요인 구조를 제안합니다. CVR 평정 시트도 함께 산출되어 전문가 패널 검증을 바로 시작할 수 있습니다. 이 과정은 내부적으로 C1 개념 추출 엔진으로 구현되어 있습니다.
modidoc.com에서 무료로 시작해 보실 수 있습니다.
자주 묻는 질문
설문지 개발의 첫 단계는 무엇인가요
측정하려는 구인을 추출하고 이론에 근거해 조작적으로 정의한 뒤 요인 구조를 설계하는 개념 설계 단계입니다. 문항 작성은 이 단계가 완료되고 내용 타당도 검증까지 끝난 다음에 시작합니다.
CVR과 CVI의 기준값은 얼마인가요
전문가 패널 5인 기준 CVR은 0.99 이상이어야 합니다(Lawshe, 1975). 척도 전체 수준의 내용 타당도는 S-CVI/UA 0.78 이상을 기준으로 합니다(Lynn, 1986). 이 수치는 권고 수준이 아닙니다. 기준에 미달한 요인은 수정 후 재평가를 거쳐야 합니다.
요인 구조는 탐색적 요인 분석으로 결정하면 안 되나요
안 됩니다. 요인 구조는 데이터 수집 전에 이론적으로 결정해야 합니다. EFA는 초기 개발 단계에서 탐색적 참고에 활용할 수 있지만, CFA 검증에 들어가는 구조는 이론에서 출발해야 합니다. 데이터 패턴에서 사후적으로 구조를 도출하는 것은 허용되지 않습니다.
다음 단계
구인과 요인 구조가 정해지고 내용 타당도 검증까지 마쳤다면 이제 실제 측정 문항을 쓸 차례입니다. 다음 글에서는 리커트 척도 문항을 생성하고, 이중 부정·복합 질문·유도 표현 같은 언어적 결함을 걸러내며, 공통방법편의를 설계 단계에서 예방하는 방법을 다룹니다.