분석은 끝났습니다. 표도 다 만들었습니다. 그런데 방법론 절 앞에서 며칠씩 멈춰 있게 됩니다.
이유는 대개 하나입니다. 그동안 내린 판단이 머릿속과 여러 파일에 흩어져 있어서, 무엇을 어디까지 써야 하는지 정리되지 않기 때문입니다. 요인을 왜 네 개로 정했는지, 어떤 문항을 왜 뺐는지, 적합도가 미달했을 때 무엇을 근거로 진행하기로 했는지 — 당시에는 분명했지만 몇 달 지나면 흐릿해집니다.
이 글에서는 척도 개발 과정을 어떤 순서로 서술하는지, APA 양식으로 통계 결과를 어떻게 보고하는지, 그리고 AI 도구를 사용했다면 어떻게 기재하는지를 다룹니다.
방법론 절에는 결과가 아니라 판단의 순서가 들어간다
방법론 절을 결과의 요약으로 쓰면 분량은 채워지지만 심사에서 질문이 돌아옵니다. 리뷰어가 확인하려는 것은 숫자가 아니라 그 숫자에 이르기까지의 선택이 정당했는지입니다.
기준값을 예로 들면, "CFI 0.93으로 기준을 충족했다"는 결과 서술입니다. 방법론 절에 필요한 것은 "CFI ≥ 0.90을 수용 기준으로 삼았다(Hu & Bentler, 1999)"처럼 판단의 근거를 먼저 밝히는 문장입니다. 기준을 정하고 결과가 나온 순서여야 하지, 결과를 보고 기준을 맞춘 것처럼 읽히면 안 됩니다.
재현 가능성이 판단의 기준입니다. 다른 연구자가 같은 절차를 밟았을 때 같은 결정을 내릴 수 있을 만큼 적혀 있는지를 보면 됩니다.
척도 개발 과정을 어떤 순서로 서술하는가
개발 순서를 그대로 따라가는 것이 가장 읽기 쉽습니다.
구인을 어떻게 정의했고 그 정의가 어떤 이론에 근거했는지에서 시작합니다. 요인 구조를 몇 개로 설정했는지와 그 근거도 여기에 들어갑니다.
문항 생성 방법이 다음입니다. 몇 개 문항을 만들어 몇 개로 줄였는지, 내용 타당도를 어떻게 검증했는지를 적습니다. 전문가 패널을 운영했다면 인원과 지표, 적용한 기준을 함께 밝힙니다. CVR은 패널 5인 기준 0.99 이상(Lawshe, 1975), I-CVI는 전문가 6인 이상일 때 0.78 이상(Lynn, 1986)이 흔히 쓰이는 기준입니다.
예비조사와 본조사의 표본을 각각 서술합니다. 표본 크기, 수집 기간, 수집 방법, 응답률, 제외 기준을 적습니다. 결측 처리 방식도 이 자리에 들어갑니다.
분석 절차가 마지막입니다. EFA와 CFA를 어떤 표본으로 나누어 수행했는지, 추정 방법은 무엇이었는지, 적용한 적합도 기준과 출처는 무엇인지를 적습니다. 문항을 삭제했다면 삭제 기준과 삭제 후 재분석 여부까지 밝혀야 합니다.
APA 양식으로 CFA 결과를 보고하는 법
APA 양식에서 통계 기호는 이탤릭으로 씁니다. 표본 크기 N, 카이제곱 χ², 자유도 df, 유의확률 p가 해당합니다. CFI, RMSEA, SRMR처럼 약어로 굳은 지수는 이탤릭으로 쓰지 않습니다.
본문 보고는 카이제곱과 자유도를 함께 제시하고 적합도 지수를 이어 붙이는 형태가 표준입니다.
| 보고 항목 | 형식 |
|---|---|
| 카이제곱 | χ²(df) = 값, p = 값 |
| CFI, TLI | 소수점 두 자리 |
| RMSEA | 값과 90% 신뢰구간 |
| SRMR | 소수점 세 자리 |
| 표준화 적재량 | 요인별 범위 또는 전체 표 |
RMSEA는 신뢰구간을 함께 보고하는 것이 원칙입니다. 단일 추정치만으로는 그 값의 불확실성이 드러나지 않습니다. 소수점 앞의 0은 그 값이 1을 넘을 수 없는 지표라면 생략합니다. 상관계수나 신뢰도, p값이 여기 해당합니다.
AI 도구를 사용했다면 논문에 어떻게 기재하는가
밝혀야 합니다. 주요 학술 단체와 출판사는 생성형 AI 도구를 저자로 올릴 수 없다는 입장이며, 사용한 경우 그 사실과 범위를 공개하도록 요구합니다. 저자 자격은 연구 내용에 책임을 질 수 있는 주체에게만 부여되기 때문입니다.
기재 위치는 학술지마다 다릅니다. 방법론 절에 절차의 일부로 적는 곳도 있고, 별도의 고지 항목을 두는 곳도 있습니다. 투고 규정을 먼저 확인하는 편이 확실합니다.
내용은 구체적일수록 좋습니다. 어떤 작업에 사용했는지, 그 결과물을 연구자가 어떻게 검토했는지를 함께 적습니다. 문항 초안 생성에 사용했다면 생성된 문항을 전문가 패널이 검토했다는 사실까지 적어야 절차가 완결됩니다. 도구가 무엇을 했고 사람이 무엇을 판단했는지 구분되어 읽히면 됩니다.
방법론 절 자동 초안 단계에서 modidoc이 지원하는 것
modidoc의 방법론 절 자동 초안 단계는 개발 과정에서 축적된 판단과 통계 결과를 모아 방법론 절 초안을 생성합니다. 적용한 기준값과 출처, 문항 삭제 이력, 미달 항목에 대한 판단 근거가 서술에 함께 반영되며, 통계 결과는 APA 양식 표로 정리됩니다. 초안은 연구자가 검토하고 수정하는 것을 전제로 하며, 실데이터로 산출되지 않은 통계는 초안에 인용하지 않습니다. 이 과정은 내부적으로 AM-1 방법론 절 엔진으로 구현되어 있습니다.
자주 묻는 질문
논문 방법론 절에 설문 개발 과정을 어떻게 쓰나요?
개발 순서를 따라 구인 정의와 이론적 근거, 문항 생성과 내용 타당도 검증, 표본과 수집 절차, 분석 방법과 적용 기준을 차례로 서술합니다. 각 단계에서 내린 판단과 그 근거를 함께 적는 것이 핵심이며, 다른 연구자가 같은 절차로 같은 결정에 이를 수 있을 만큼 구체적이어야 합니다.
APA 양식으로 CFA 결과를 어떻게 보고하나요?
χ²(df) = 값, p = 값을 먼저 제시하고 CFI, TLI, RMSEA, SRMR을 이어 보고합니다. RMSEA는 90% 신뢰구간을 함께 적고, 통계 기호(N, χ², df, p)는 이탤릭으로 씁니다. 1을 넘을 수 없는 값은 소수점 앞 0을 생략합니다. 표준화 적재량과 신뢰도는 별도 표로 정리하는 편이 읽기 좋습니다.
AI 도구를 사용했을 때 논문에 어떻게 기재하나요?
사용 사실과 범위를 밝힙니다. 생성형 AI는 저자가 될 수 없으므로 저자란이 아니라 방법론 절 또는 학술지가 지정한 고지 항목에 적습니다. 어떤 작업에 썼는지와 그 결과를 연구자가 어떻게 검증했는지를 함께 서술하면 절차의 책임 소재가 분명해집니다. 학술지마다 기재 위치와 표현이 다르므로 투고 규정을 먼저 확인하세요.
여기까지가 설문 개발 파이프라인 시리즈입니다. 구인을 정의하는 일에서 시작해 방법론 절을 쓰는 데까지, 각 단계에서 무엇을 판단해야 하는지를 다뤘습니다.
이전 글 — 설문지 배포 전 마지막 점검
시리즈 첫 글 — 구인 추출과 요인 구조화