AVE 0.48. HTMT 0.87. 절편 동일성 불충족.
분석 결과 창을 열었는데 빨간 숫자가 세 개 떠 있는 상황을 겪어보셨을 겁니다. 몇 달 동안 문항을 다듬고 데이터를 모았는데 기준을 넘지 못했습니다. 처음부터 다시 해야 하는 걸까요.
먼저 분명히 해두면, 기준 미달이 곧 실패는 아닙니다. 다만 아무 미달이나 안고 갈 수 있는 것도 아닙니다. 되돌아가야 하는 미달과 제한점으로 서술하고 진행해도 되는 미달을 가르는 기준이 있습니다.
이 글에서는 미달의 원인을 어느 수준에서 찾아야 하는지, 어떤 경우에 되돌아가고 어떤 경우에 안고 가는지, 그리고 제한점을 어떻게 써야 리뷰어가 받아들이는지를 다룹니다.
기준 미달, 원인의 수준부터 가른다
같은 숫자라도 원인이 어디에 있느냐에 따라 대응이 완전히 달라집니다. 판단을 시작하는 지점은 미달 항목이 아니라 미달이 발생한 층위입니다.
문항 수준의 문제는 특정 문항의 적재량이 낮거나, 그 문항 하나가 여러 지표에서 반복적으로 걸리는 경우입니다. 대개 표현이 모호하거나 두 가지를 동시에 묻는 문항입니다. 해당 문항을 수정하거나 교체하면 해결됩니다.
요인 수준의 문제는 성격이 다릅니다. AVE가 반복적으로 0.5에 못 미치거나 HTMT가 0.85를 넘는다면, 문항 하나가 아니라 요인의 개념적 경계가 흐릿하다는 신호입니다. 두 요인이 이론적으로 구분된다고 설정했지만 응답자에게는 같은 것으로 읽히고 있을 가능성이 큽니다. 문항 교체로는 해결되지 않고 개념 설계로 돌아가야 합니다.
집단 수준의 문제는 측정 동일성이 일부 요인에서만 성립하지 않는 경우입니다. 앞 편에서 다룬 부분 동일성 처리가 적용되는 지점입니다.
AVE 0.5 미달은 무조건 실패인가
아닙니다. AVE ≥ 0.5는 Fornell & Larcker(1981)의 기준이며, 같은 논문의 논의에서 유래한 완화 기준이 널리 쓰입니다. AVE가 0.5에 못 미치더라도 합성신뢰도(CR)가 0.6을 넘으면 수렴 타당도를 수용할 수 있다는 것입니다.
인용할 때 한 가지 주의가 필요합니다. 이 완화 기준은 Fornell & Larcker(1981)로 인용되는 것이 관행이지만, 원문의 어느 대목인지를 두고 이견이 있습니다. 심사가 엄격한 학술지에 제출한다면 원문(Journal of Marketing Research, 18(1), 39-50)을 직접 확인한 뒤 인용하는 편이 안전합니다.
| 지표 | 기준값 | 출처 |
|---|---|---|
| AVE | ≥ 0.5 | Fornell & Larcker(1981) |
| CR | ≥ 0.7 | Hair et al. |
| HTMT | < 0.85 | Henseler et al.(2015) |
| CFI | ≥ 0.90 | Hu & Bentler(1999) |
| RMSEA | ≤ 0.08 | Browne & Cudeck(1993) |
숫자 하나만 보고 판단하지 않는 것이 원칙입니다. AVE 0.48에 CR 0.82이고 문항 내용이 이론적으로 일관된다면, 그 요인을 폐기할 근거로는 약합니다. 반대로 AVE 0.49에 CR 0.61이고 적재량이 전반적으로 낮다면 숫자는 비슷해도 상황은 훨씬 나쁩니다.
되돌아갈 것인가, 안고 갈 것인가
선택지는 둘입니다. 앞 단계로 돌아가 수정하고 이후 절차를 다시 밟거나, 한계를 제한점에 명시하고 현재 결과로 진행하는 것입니다.
후자를 품질에 대한 타협으로 여기는 연구자가 많은데, 그렇지 않습니다. 한계를 인지하고 그 범위 안에서 결론을 제한하는 것은 방법론적으로 정당한 선택입니다. 오히려 위험한 쪽은 기준을 맞추려고 문항을 계속 덜어내다가 척도가 원래 재려던 것을 놓치는 경우입니다.
판단의 무게중심은 미달의 정도와 범위에 있습니다. 미달이 한 요인에 국한되고 기준값에 근접해 있다면 제한점으로 안고 갈 여지가 큽니다. 여러 요인에서 동시에 발생하거나 기준값과의 거리가 크다면 데이터에 무리한 해석을 얹는 셈이 되므로 되돌아가는 편이 낫습니다. 남은 시간과 재수집 가능성도 현실적인 변수입니다.
제한점을 어떻게 써야 리뷰어가 받아들이는가
제한점 서술의 성패는 사실을 적었는지가 아니라 그 사실이 결론에 미치는 영향을 다뤘는지에서 갈립니다.
수치를 구체적으로 밝히는 것이 출발점입니다. "일부 지표가 기준에 다소 미치지 못했다"는 문장은 감추려는 인상을 줍니다. "요인 3의 AVE가 0.47로 권고 기준 0.5에 미치지 못했다"가 낫습니다. 리뷰어는 이미 표를 보고 있습니다.
그다음이 해석 범위의 제한입니다. 그 미달 때문에 어떤 주장을 할 수 없는지를 연구자가 먼저 그어야 합니다. 수렴 타당도가 약한 요인이라면 그 요인을 포함한 경로계수의 해석에 신중해야 한다는 식으로, 결론의 어느 부분이 영향을 받는지 특정합니다.
마지막이 후속 연구로의 연결입니다. 문항을 어떻게 보완하면 되는지, 어떤 표본에서 재검증이 필요한지를 제시하면 한계가 연구의 다음 단계로 읽힙니다.
리뷰어는 완벽한 결과를 기대하지 않습니다. 미달을 아는 연구자와 모르는 연구자를 구분할 뿐입니다.
전략적 판단 단계에서 modidoc이 지원하는 것
modidoc의 전략적 판단 단계는 정밀 타당화와 집단 공정성 검증에서 나온 미달 항목을 모아 문항, 요인, 집단 중 어느 수준의 문제인지 분류하고, 되돌아가는 경로와 제한점으로 진행하는 경로를 비교해 보여줍니다. 미달 문항의 비율과 기준값과의 거리를 기준으로 어느 쪽을 권고할지도 함께 제시합니다. 이 권고 기준은 출판된 표준이 아니라 modidoc이 운영상 정한 판단선이며, 최종 결정은 연구자의 몫입니다. 이 과정은 내부적으로 C7 전략적 판단 엔진으로 구현되어 있습니다.
자주 묻는 질문
AVE 0.5 미달이면 논문을 쓸 수 없나요?
쓸 수 있습니다. AVE ≥ 0.5는 Fornell & Larcker(1981)의 권고 기준이며 절대 조건이 아닙니다. CR이 0.7 이상으로 안정적이고 문항이 이론적으로 일관된다면 제한점에 명시하고 진행하는 사례가 많습니다. 다만 여러 요인에서 동시에 미달하거나 0.4 아래로 내려간다면 요인 구조 자체를 재검토하는 편이 낫습니다.
CFA 적합도가 나쁘면 어떻게 해야 하나요?
수정 지수부터 손대지 않는 것이 먼저입니다. 적재량이 낮은 문항이 있는지, 특정 요인에 문제가 몰려 있는지를 확인하고 원인의 층위를 먼저 가릅니다. 수정 지수를 여러 개 적용해야 겨우 기준을 넘는 모형은 데이터에 맞춰 만든 모형이며, 리뷰어가 수정 횟수를 물으면 답하기 어려워집니다.
논문 제한점은 어느 정도 길이로 쓰나요?
분량보다 구성입니다. 미달 수치, 그것이 제한하는 해석 범위, 후속 연구 제안이 들어가면 서너 문장으로도 충분합니다. 한계를 길게 나열하면서 영향을 다루지 않은 제한점은 길이와 무관하게 약하게 읽힙니다.
다음 편에서는 본조사 전에 구조방정식 분석이 가능한지 미리 확인하는 방법을 다룹니다. 모형 식별, 표본 크기와 검정력, 매개와 조절 효과를 계획 단계에서 점검하는 절차를 살펴봅니다.
이전 글 — 측정 동일성 검증, 집단 비교 전에 반드시
다음 글 — 구조방정식 표본 크기와 모형 식별