출판된 척도를 다시 검증해봤다 — RSES 자아존중감 척도 재현 분석

새 척도를 만들 때 가장 먼저 흔들리는 건 도구가 아니라 자신에 대한 믿음이다. 내가 돌린 분석이 맞게 돌아간 걸까. 이 숫자를 논문에 그대로 써도 되는 걸까. 분석 도구가 내놓은 적합도 지수 하나를 두고 며칠을 고민해 본 연구자라면 이 감각을 안다.

그래서 우리는 우리 도구를 우리가 직접 의심해보기로 했다. modidoc의 분석 엔진이 정말 믿을 만한지 확인하는 가장 정직한 방법은, 이미 수만 편의 논문이 검증해 둔 유명한 척도를 그대로 넣어보고 같은 결과가 나오는지 보는 것이다. 결과를 우리가 정할 수 없는 시험이라는 뜻이다.

대상은 Rosenberg 자아존중감 척도(RSES)로 정했다. 1965년에 발표된 뒤 자기보고식 자아존중감 측정의 표준으로 쓰여 온 10문항 척도다. 데이터는 온라인으로 수집된 공개 응답 1,000명분을 사용했다. 우리가 만든 데이터가 아니라, 누구나 받아볼 수 있는 실제 응답이다.

재현의 첫 관문, 신뢰도는 그대로 나왔는가

먼저 내적 일관성 신뢰도를 봤다. 크론바흐 알파(Cronbach's α)는 문항들이 하나의 개념을 일관되게 측정하는지를 보는 지표로, 일반적으로 α ≥ 0.7을 기준으로 삼는다(Nunnally, 1978).

RSES는 문헌에서 보고된 알파가 표본에 따라 대체로 0.77에서 0.88 사이, 넓게 보면 0.84에서 0.95에 이른다고 알려져 있다. modidoc이 이 공개 데이터로 산출한 알파는 0.911이었다. 알려진 범위 안에 정확히 들어온다.

여기까지가 재현 검증의 첫 관문이다. 같은 척도, 실제 응답 데이터를 넣었을 때 도구가 문헌과 같은 신뢰도를 돌려준다는 것. 분석 엔진이 표준적인 통계 절차를 표준대로 수행하고 있다는 직접적인 증거다.

단일차원성 논쟁이 그대로 재현됐다

흥미로운 장면은 그다음에 나왔다. RSES는 원 설계상 자아존중감이라는 하나의 개념을 측정하는 단일차원 척도다. 그래서 우리는 10문항을 하나의 요인으로 묶어 확인적 요인 분석(CFA)을 돌렸다. 모형이 데이터에 얼마나 잘 맞는지를 적합도 지수로 평가하는 분석이다.

결과는 이렇게 나왔다.

CFI가 기준에 못 미치고 RMSEA가 기준을 크게 넘었다. 단일요인 모형으로는 적합도가 잘 나오지 않는다는 뜻이다.

처음 보면 척도에 문제가 있는 것처럼 읽힌다. 하지만 RSES를 아는 연구자라면 이 결과가 낯설지 않다. RSES의 단일차원성은 60년 동안 이어져 온 방법론 논쟁의 주제다. 긍정적으로 표현된 문항 다섯 개("나는 가치 있는 사람이다")와 부정적으로 표현된 문항 다섯 개("나는 때때로 쓸모없다고 느낀다")가 통계적으로 조금씩 다르게 움직이기 때문이다. 많은 검증 연구에서 이 척도는 긍정 문항과 부정 문항이 두 묶음으로 갈리는 2요인 구조로 나타났고, 이것을 문항 표현 방식에서 생기는 방법 요인(method factor)으로 해석한다.

즉 modidoc이 단일요인 모형에서 적합도 미달을 보고한 것은, 척도를 잘못 분석해서가 아니다. RSES가 원래 안고 있는 단일차원성 논쟁을 도구가 정확히 포착해낸 것이다. 우리가 기대한 재현은 "좋은 결과"가 아니라 "문헌과 같은 결과"였고, 이 논쟁의 재현이야말로 그 증거다.

8번 문항, 같은 자리에서 같은 신호가 잡혔다

문항 수준으로 내려가면 재현은 더 선명해진다. 수정된 문항-총점 상관(CITC)은 한 문항이 나머지 문항들과 얼마나 같은 방향으로 움직이는지를 보는 값으로, 보통 CITC ≥ 0.3을 기준으로 삼는다.

10개 문항 가운데 가장 낮은 값을 받은 문항은 8번, "I wish I could have more respect for myself"였다. CITC는 0.545였고, 이 문항을 빼면 전체 알파가 오히려 0.911로 유지되거나 미세하게 올라갔다. 척도 안에서 가장 겉도는 문항이라는 신호다.

이 문항은 국내외 여러 검증 연구에서 반복적으로 지적돼 온 문항이다. 한국 청소년·대학생 표본을 분석한 연구에서도 이 문항이 다른 문항들과 어긋나는 거동을 보인 바 있다. 우리가 돌린 공개 데이터에서도 같은 문항이 같은 방식으로 지목됐다. 도구가 알려진 문제 문항을 알려진 자리에서 짚어냈다는 뜻이다.

수렴 타당도는 통과, 판별 타당도는 산출되지 않았다

요인 구조 다음으로 본 것은 수렴 타당도다. 한 요인에 묶인 문항들이 그 요인을 충분히 공유하는지를 보는 지표로, 평균분산추출(AVE)과 합성신뢰도(CR)를 함께 본다. 기준은 AVE ≥ 0.5(Fornell & Larcker, 1981), CR ≥ 0.7이다.

재현 결과 AVE는 0.518, CR은 0.914로 두 기준을 모두 통과했다. AVE가 0.5를 살짝 넘는 수준인데, 이는 앞서 본 단일차원성 논쟁과 같은 뿌리에서 나온다. 부정 문항이 만드는 방법 요인 때문에 문항들이 공유하는 분산이 다소 낮아지는 것이다.

판별 타당도는 조금 다른 이야기다. 판별 타당도는 서로 다른 두 요인이 개념적으로 구분되는지를 보는 지표로, HTMT(< 0.85, Henseler et al., 2015)와 Fornell-Larcker 기준을 쓴다. 그런데 이번 분석에서는 HTMT 매트릭스도, Fornell-Larcker 매트릭스도 산출되지 않았다. 자아존중감이라는 단일 요인만 있어 비교할 다른 요인이 없기 때문이다. 판별 타당도는 둘 이상의 요인이 있을 때 의미를 갖는 지표이므로, 단일 요인 척도에서 산출되지 않는 것은 결함이 아니라 구조상 당연한 결과다. modidoc도 이 경우를 위반이 아니라 "비교 대상 없음"으로 처리했다.

검증에서 그치지 않는다 — 연구자의 수고를 더는 지점

여기까지가 "재현이 된다"는 이야기였다. modidoc이 신뢰할 만한 도구라는 근거다. 그런데 재현 과정에서 modidoc이 표준 절차를 넘어 해주는 일이 두 가지 더 있었다.

첫째는 역문항 처리다. 우리가 분석에 넣은 데이터는 역문항을 미리 역코딩하지 않은, 문항 표현 그대로의 원본 방향 데이터였다. 보통은 연구자가 부정 문항을 일일이 찾아 역코딩한 뒤에야 분석을 돌릴 수 있다. modidoc은 역문항을 스스로 식별해 자동으로 역코딩한 뒤 분석을 수행했고, 그 결과 미리 처리된 데이터와 동일한 값을 냈다. 코딩 실수로 신뢰도가 통째로 어긋나는 흔한 사고를 도구가 앞단에서 막아준다.

둘째는 공통방법편의(CMB) 점검이다. 자기보고식 단일 설문은 응답자의 응답 성향 때문에 문항 간 상관이 부풀려질 수 있다. 이 위험을 보는 간단한 방법이 Harman 단일요인 검정으로, 하나의 요인이 전체 분산의 50%를 넘게 설명하면 주의가 필요하다고 본다(Harman, 1976). 이 데이터에서는 단일요인 설명분산이 56.5%로 기준을 넘었고, modidoc은 이 신호를 위험 수준과 함께 표시했다. 검증 결과만 내놓는 데서 멈추지 않고, 무엇을 더 살펴야 하는지까지 함께 알려준다는 뜻이다.

modidoc은 어떻게 이 과정을 지원하는가

modidoc의 정밀 타당화 단계는 실제 응답 데이터를 올리면 확인적 요인 분석과 수렴·판별 타당도, 신뢰도, 공통방법편의 점검을 한 번에 수행합니다. 역문항이 섞인 원본 데이터를 그대로 올려도 시스템이 역문항을 자동으로 식별해 역코딩한 뒤 분석하므로, 코딩 단계에서 생기는 오류를 줄일 수 있습니다. 각 지표는 통과 여부와 함께 판단 근거가 기록되어, 분석 결과가 왜 그렇게 나왔는지를 다시 설명할 수 있습니다. 이 과정은 내부적으로 C5 정밀 타당화 엔진으로 구현되어 있습니다.

이번 재현 검증처럼, 이미 출판된 척도를 다시 돌려 결과를 확인해보고 싶다면 modidoc에서 직접 시도해볼 수 있습니다.

자주 묻는 질문

출판된 척도를 다시 검증하는 게 의미가 있나요?

있습니다. 출판된 척도라도 내 표본, 내 문화권, 내 응답 조건에서 같은 구조가 재현되는지는 따로 확인해야 합니다. 특히 번안 척도를 쓰는 경우 원 척도의 요인 구조가 그대로 유지된다는 보장이 없으므로, 본 분석 전에 신뢰도와 요인 구조를 재확인하는 절차가 권장됩니다.

단일요인 CFA 적합도가 안 나오면 척도가 잘못된 건가요?

반드시 그렇지는 않습니다. RSES처럼 긍정 문항과 부정 문항이 섞인 척도는 단일요인 모형에서 적합도가 낮게 나오는 경우가 많습니다. 이는 문항 표현 방식에서 생기는 방법 요인 때문으로 해석되며, 척도 자체의 결함이라기보다 모형 설정과 척도 구조의 문제로 봅니다. 이런 경우 2요인 모형이나 방법 요인을 반영한 모형을 함께 검토합니다.

역문항은 분석 전에 꼭 역코딩해야 하나요?

네, 역문항을 역코딩하지 않으면 신뢰도와 요인 분석 결과가 왜곡됩니다. 부정적으로 표현된 문항은 점수 방향이 반대이기 때문에, 분석 전에 같은 방향으로 맞춰야 합니다. modidoc은 이 역코딩을 자동으로 처리하지만, 직접 분석하는 경우에는 코드북에 역문항을 명확히 표시하고 역코딩 여부를 반드시 확인해야 합니다.

다음 편 예고

다음 글에서는 단일요인 모형에서 적합도가 낮게 나왔을 때 2요인 모형과 방법 요인 모형을 어떻게 비교하고 판단하는지를 다룹니다. 적합도 미달이라는 한 줄의 결과 뒤에서 실제로 무엇을 결정해야 하는지, 그 판단 기준을 정리합니다. (준비 중)