CFA를 통과했습니다. CFI도 기준을 넘겼고 AVE와 HTMT도 문제없습니다. 이제 남성과 여성의 평균을 비교하면 되겠다고 생각하는 순간, 리뷰어의 질문이 날아옵니다. "두 집단에서 이 척도가 같은 것을 측정하고 있다는 근거가 있습니까?"
타당도와 신뢰도는 전체 표본에 대한 지표입니다. 표본을 쪼개어 비교하는 순간 다른 전제가 필요해집니다. 측정 동일성 검증이 그 전제를 확인하는 절차입니다.
이 글에서는 측정 동일성이 왜 집단 비교의 조건인지, 네 단계 검증을 어떤 순서로 수행하는지, ΔCFI 기준값을 어떻게 적용하는지, 그리고 완전 동일성이 성립하지 않을 때 부분 동일성으로 어떻게 논문을 쓰는지를 다룹니다.
측정 동일성이란 무엇인가 — 집단 비교의 숨은 전제
측정 동일성(measurement invariance)은 서로 다른 집단에서 같은 측정 도구가 같은 방식으로 작동하는지를 검증하는 절차입니다. 검증 대상은 응답 점수가 아니라 요인 구조, 적재량, 절편 같은 측정 모형의 모수입니다.
왜 이것이 필요한지는 반대 상황을 그려보면 분명해집니다. 조직 몰입을 측정하는 문항 하나가 남성 응답자에게는 정서적 애착을 반영하는데 여성 응답자에게는 조직에 대한 의무감을 건드린다고 해봅시다. 두 집단의 평균 점수 차이는 몰입 수준의 차이일까요, 아니면 문항이 서로 다르게 읽힌 결과일까요. 구분할 방법이 없습니다.
측정 동일성이 확인되지 않은 집단 비교는 집단 차이와 측정 차이를 분리하지 못합니다. KCI, SSCI 등재지에서 집단 비교를 수행하면서 이 절차를 생략하면 리뷰어가 지적하는 이유가 여기에 있습니다.
측정 동일성 검증의 네 단계 — 형태, 측정치, 절편, 엄밀
다집단 CFA(multi-group CFA)로 제약을 하나씩 추가하며 순차적으로 검증합니다. 앞 단계가 성립하지 않으면 다음 단계로 넘어가지 않습니다.
| 단계 | 제약 대상 | 성립하면 가능해지는 것 |
|---|---|---|
| 형태 동일성 (Configural) | 요인 구조만 동일 | 집단별로 같은 구조가 재현됨을 확인 |
| 측정치 동일성 (Metric) | 요인 적재량 | 집단 간 관계의 강도(상관·경로계수) 비교 |
| 절편 동일성 (Scalar) | 적재량 + 문항 절편 | 집단 간 평균 비교 |
| 엄밀 동일성 (Strict) | 적재량 + 절편 + 오차 분산 | 관찰 점수 자체의 직접 비교 |
연구에서 가장 자주 필요한 수준은 절편 동일성입니다. 집단 간 평균 차이를 주장하려면 여기까지 도달해야 합니다. 적재량까지만 성립한 상태에서 평균을 비교하면 앞서 말한 혼동이 그대로 남습니다.
형태 동일성이 깨진다면 문제의 성격이 다릅니다. 집단마다 요인 구조 자체가 다르다는 뜻이므로, 통계적 보정으로 해결할 일이 아니라 개념 설계 단계로 돌아가 구인이 두 집단에서 같은 의미를 갖는지 다시 물어야 합니다.
엄밀 동일성은 선택적입니다. 잠재변수를 다루는 대부분의 연구에서는 절편 동일성까지 확보하면 충분하며, 오차 분산까지 요구하는 학술지는 많지 않습니다.
ΔCFI 기준값은 얼마인가 — 카이제곱 차이 검정의 한계
전통적 판단 기준은 단계 간 카이제곱 차이 검정(Δχ²)입니다. 제약을 추가했을 때 모형 적합도가 유의하게 나빠지면 동일성이 성립하지 않는다고 보는 방식입니다.
문제는 표본 크기입니다. Δχ²는 표본이 커질수록 사소한 차이에도 유의하게 반응합니다. 표본 1,000명 규모의 연구에서 실질적으로 무시할 만한 적재량 차이 때문에 동일성이 기각되는 일이 흔합니다. 이 때문에 적합도 지수의 변화량을 함께 보는 방식이 표준으로 자리 잡았습니다.
| 판단 지표 | 기준값 | 출처 |
|---|---|---|
| ΔCFI | ≤ 0.01 | Cheung & Rensvold(2002) |
| ΔRMSEA | ≤ 0.015 | Chen(2007) |
| Δχ² | p > .05 | 소표본에서 참조 |
두 기준값의 출처가 다르다는 점은 인용할 때 주의가 필요합니다. ΔCFI ≤ 0.01은 Cheung & Rensvold(2002)가 20개 적합도 지수를 시뮬레이션으로 비교해 제안한 값이고, ΔRMSEA ≤ 0.015는 Chen(2007)에서 나온 값입니다. 두 기준을 한 출처로 묶어 인용한 논문이 적지 않은데, 리뷰어가 원전을 확인하면 곤란해집니다.
이 두 기준이 실제 논문에서 어떻게 보고되어 왔는지는 Putnick & Bornstein(2016)이 정리해 두었습니다. 측정 동일성 보고 관행을 검토한 리뷰이며, 방법론 절을 쓸 때 참조하기 좋습니다.
실무에서는 표본이 300을 넘으면 ΔCFI를 주된 판단 근거로 두고 Δχ²는 참고로 보고합니다. 소표본에서는 Δχ²의 검정력 자체가 낮으므로 두 지표를 함께 제시하는 편이 안전합니다.
부분 측정 동일성, 논문에 써도 되는가
씁니다. 완전 절편 동일성이 성립하지 않는 경우가 오히려 더 흔하며, 이때 일부 문항의 제약을 풀어 진행하는 방식이 부분 측정 동일성(partial measurement invariance)입니다. Byrne, Shavelson & Muthén(1989)이 이 접근을 정식화했고 이후 표준 절차로 자리 잡았습니다.
다만 아무 문항이나 풀어도 되는 것은 아닙니다. 수정 지수가 큰 순서대로 제약을 풀어 기준을 맞추는 방식은 데이터에 모형을 끼워 맞추는 일이 됩니다. 제약을 푸는 결정에는 그 문항이 왜 집단마다 다르게 작동하는지에 대한 이론적 설명이 따라야 합니다. 문화적 표현 차이, 직무 맥락의 차이, 연령대별 어휘 해석의 차이처럼 내용으로 말이 되어야 합니다.
풀어도 되는 문항 수에는 관행적 한계가 있습니다. 한 요인에서 비동일 문항이 과반을 넘어가면 그 요인이 두 집단에서 같은 구인을 재고 있다는 주장 자체가 흔들립니다. 이 경우 부분 동일성으로 봉합하기보다 해당 요인의 집단 비교를 포기하거나 문항을 재설계하는 편이 정직합니다. 요인당 최소 두 문항 이상이 동일하게 제약되어야 한다는 조건도 널리 쓰입니다.
논문 방법론 절에 어떻게 보고하는가
보고에 반드시 들어가야 하는 정보는 정해져 있습니다. 검증한 단계와 각 단계의 적합도 지수, 단계 간 ΔCFI와 ΔRMSEA, 적용한 판단 기준과 그 출처, 그리고 부분 동일성으로 진행한 경우 어떤 문항의 제약을 왜 풀었는지입니다.
보고 항목을 빠뜨리지 않았는지 확인하려면 Putnick & Bornstein(2016)의 검토 결과를 대조해 보는 편이 빠릅니다. 실제 논문들이 무엇을 생략해 왔는지가 정리되어 있습니다.
집단별 표본 크기도 함께 밝힙니다. 다집단 CFA는 작은 쪽 집단의 표본에 크게 좌우되므로, 한쪽이 100명 미만이면 결과의 안정성에 제한이 생깁니다. 이 사실을 제한점에 적어두는 것과 리뷰어에게 지적당하는 것은 완전히 다른 상황입니다.
동일성이 기각된 결과도 보고할 가치가 있습니다. 척도가 특정 집단에서 다르게 작동한다는 발견은 후속 연구를 위한 정보이며, 그 자체로 논문의 기여가 되기도 합니다.
집단 공정성 검증 단계에서 modidoc이 지원하는 것
modidoc의 집단 공정성 검증 단계는 집단 변수를 지정하면 다집단 CFA를 형태부터 엄밀 동일성까지 순차적으로 실행하고, 단계별 적합도와 ΔCFI, ΔRMSEA를 기준값과 대조해 제시합니다. 부분 동일성으로 진행할 경우 제약을 푼 문항과 그 이론적 근거를 함께 기록해 방법론 절 초안에 반영합니다. 이 과정은 내부적으로 C6 집단 공정성 검증 엔진으로 구현되어 있습니다.
자주 묻는 질문
측정 동일성 검증은 언제 하나요?
집단 간 비교를 계획한 연구라면 CFA로 전체 표본의 요인 구조를 확정한 다음, 집단 비교 분석에 들어가기 전에 수행합니다. 비교 계획이 없는 연구에서는 필수가 아닙니다. 다만 성별이나 연령대처럼 나중에 비교를 요구받을 가능성이 큰 변수가 있다면 미리 확인해 두는 편이 논문 심사에서 유리합니다.
ΔCFI 기준값 0.01을 넘으면 무조건 실패인가요?
기계적으로 판단하지 않습니다. 0.01은 Cheung & Rensvold(2002)가 제안한 절단값이고, ΔRMSEA(Chen, 2007)와 Δχ², 그리고 어느 문항에서 차이가 발생했는지를 함께 봅니다. ΔCFI가 0.012인데 특정 문항 하나에서만 차이가 나고 그 이유가 내용으로 설명된다면, 그 문항을 자유 추정으로 두는 부분 동일성이 현실적인 선택입니다.
세 집단 이상도 같은 방식으로 검증하나요?
절차는 같지만 해석이 까다로워집니다. 세 집단 이상에서는 어느 집단 쌍에서 동일성이 깨졌는지까지 확인해야 실질적인 판단이 가능합니다. 전체 동일성이 기각되면 집단 쌍별로 나누어 재검증하는 방식이 쓰이며, 집단 수가 많고 표본이 충분하다면 Alignment Optimization처럼 완전 동일성을 요구하지 않는 접근을 검토할 수 있습니다.
다음 편에서는 기준값에 미달했을 때의 판단을 다룹니다. AVE 0.5 미달, 적합도 미달, 부분 동일성처럼 완벽하지 않은 결과를 어떻게 제한점으로 서술하고 논문을 진행할지 살펴봅니다.
이전 글 — CFA 적합도 지수, 기준 미달이면 어떻게 하나요
다음 글 — AVE 0.5 미달이면 논문을 못 쓰나요