APA 양식에 따라 척도 개발 논문의 연구방법을 작성할 때는 구성개념을 어떻게 문항으로 구체화했는지, 참여자를 어떻게 모집했는지, 측정모형을 어떻게 검증했는지 설명합니다. CFA 적합도 통계량은 연구결과에 보고합니다. 분석 계획과 그 결과를 구분하면 독자가 각각의 타당성을 검토하기 쉽습니다.
이 글은 보고 항목의 구성, 연구방법과 연구결과의 완성된 예시 문단, CFA 적합도 표를 제시합니다. 예시의 수치는 모두 가상입니다. 구조방정식모형 지침을 포함한 APA의 양적 연구 보고 기준은 이러한 보고의 기본 틀을 제공합니다(Appelbaum et al., 2018).
연구방법과 연구결과에는 각각 무엇을 써야 하나요?
연구방법은 무엇을 계획하고 수행했는지 설명하고, 연구결과는 그 절차를 통해 무엇을 얻었는지 제시합니다. 문항 삭제 기준은 연구방법에, 실제로 삭제한 문항과 그에 따른 변화는 연구결과에 보고합니다. 결과를 검토한 뒤 내린 결정이라면 사전에 계획한 것처럼 서술하지 말고, 결정 시점을 밝혀야 합니다.
| 보고할 내용 | 연구방법 | 연구결과 |
|---|---|---|
| 척도를 어떻게 개발했는가? | 구성개념 정의, 문항의 출처, 전문가 검토, 예비조사 절차 | 각 개발 단계에서 얻은 결과와 그에 따른 수정 |
| 누가 자료를 제공했는가? | 모집, 참여 자격, 자료 수집 시기, 동의, 계획한 표본 크기와 실제 확보한 표본 크기, 제외 및 결측자료 처리 절차 | 참여자 흐름, 실제 적용한 제외 내역, 결측자료 진단 결과 |
| 요인구조를 어떻게 조사했는가? | EFA/CFA 표본, 추정법, 모형 설정, 평가 전략 | 요인구조, 적합도 통계량, 모수 추정치, 진단 결과 |
| 모형을 변경했는가? | 사전에 정한 수정 기준이 있다면 그 기준 | 실제 변경 사항과 근거, 탐색적으로 수행한 분석의 구분 |
이 표는 보고 내용을 구성하는 한 가지 방식이며, 학술지의 구성에 따라 배치는 달라질 수 있습니다. 연구방법에는 표집 계획과 함께 실제 확보한 표본을 설명할 수 있습니다. 자료를 검토하기 전에 내린 결정과 검토 후 이루어진 변경을 구분해야 합니다. 구조방정식모형 보고 권고안도 모형을 언제 설정했는지, 어떤 근거로 수정했는지 밝히도록 요구합니다(Hoyle & Isherwood, 2013).
척도 개발 논문의 연구방법 구성
구성개념과 문항을 작성하고 검토한 과정을 설명합니다. 누가 내용을 검토했고, 무엇을 평가했으며, 그 판단이 수정에 어떻게 반영되었는지 기록합니다. 내용타당도 지수를 실제로 계산했다면 지수의 이름을 밝히고, 해당 전문가 집단과 평가 절차에서 그 값을 어떻게 해석했는지 근거를 제시합니다.
각 표본의 모집 방식과 참여 자격을 기록합니다. 해당되는 경우 동의와 연구윤리 심의를 설명하고, 자료 수집 기간, 표본 크기 계획, 결측자료 처리 절차도 기술합니다. 탐색적 분석 표본과 확인적 분석 표본의 관계를 명확히 밝혀야 합니다. 같은 참여자의 자료를 다시 사용했다면 이를 독립적인 확인으로 표현하지 말고 재사용 사실을 보고합니다.
자료 분석 부분에는 소프트웨어와 버전, 추정법, 문항 응답값의 처리 방식, 모형 설정, 적합도 평가 근거를 제시합니다. 참여자의 응답을 분석했는지, 시뮬레이션 자료를 분석했는지도 밝힙니다(Appelbaum et al., 2018). 앞선 분석 단계에서 필요한 판단은 EFA 분석 가이드와 CFA 적합도 지수 가이드를 참고할 수 있습니다.
연구방법 예시 문단: CFA 분석 절차
가상의 보고 예시입니다. 아래의 연구 내용과 수치는 설명을 위해 만든 것으로, 실제 참여자에게서 얻은 결과나 modidoc 출력이 아닙니다. 자신의 연구에서 확인한 내용과 결과로 바꾸어 사용해야 합니다.
이 예시는 연속형 지표 12개와 서로 상관된 요인 3개로 구성된 척도를 사전에 설정했다고 가정합니다. 요인마다 지표가 4개씩 있습니다. 표본 공분산의 분모는 N − 1이며, 일반 최대우도법을 사용합니다. 순서형 응답이나 강건 추정법을 사용한다면 그 선택에 맞는 분석 설명과 출력이 필요합니다.
별도의 확인 표본 300명을 대상으로 제안한 3요인 구조를 평가하였다. 12개 문항에는 0–100의 시각적 아날로그 응답 척도를 사용하였으며, 이를 연속형 지표로 분석에 투입하였다. 최대우도법으로 공분산 구조를 추정하였다. 각 문항은 지정된 요인에만 부하하도록 설정하고, 모형의 식별을 위해 요인마다 요인부하량 하나를 1로 고정하였으며, 요인 간 공분산은 자유롭게 추정하였다. 교차부하량과 잔차 공분산은 0으로 고정하였다. 적합도를 해석하기 전에 수렴 여부와 추정해의 적절성을 검토하였다. 평가에는 카이제곱 검정, 비교적합지수(CFI), 터커–루이스 지수(TLI), 근사오차평균제곱근(RMSEA)과 그 90% 신뢰구간, 표준화잔차평균제곱근(SRMR), 개별 잔차 검토를 포함하였다. 확인 모형의 수정은 계획하지 않았다.
이 예시는 분석 절차를 설명하는 문단입니다. 연구방법 전체를 대신하지는 않습니다. 투고 원고에는 연구에 해당하는 모집 방식과 표본 크기 산정 근거, 소프트웨어 버전, 추정법 선택을 뒷받침하는 근거, 결측자료 처리 절차, 해석 전략을 뒷받침하는 문헌도 필요합니다. 이러한 내용은 실제 연구 기록에서 확인해 보완합니다.
CFA 결과를 APA 양식으로 보고하는 방법
모형의 이름과 검정 통계량, 자유도, 추정법을 밝힙니다. 선택한 적합도 지수와 RMSEA 신뢰구간을 함께 제시합니다. 모수 추정치와 국소 적합도도 검토해야 합니다. 적합도 표만으로 측정모형에 관한 보고가 완성되지는 않습니다(Hoyle & Isherwood, 2013).
같은 예시에 이어지는 가상의 연구결과 문단입니다.
사전에 설정한 3요인 모형은 부적절한 추정치 없이 수렴하였다. 정확 적합 검정 결과는 χ²(51) = 78.00, p = .009였다. 근사 적합도 추정치는 CFI = .955, TLI = 0.942, RMSEA = 0.042, 90% CI [0.022, 0.060], SRMR = 0.045였다. 삭제한 문항과 추가한 잔차 공분산은 없었다. 카이제곱 검정에서는 정확 적합 가설이 기각되었으므로, 근사 적합도 지수를 척도의 타당성을 입증하는 값으로 간주하기보다 잔차 및 모수 추정치와 함께 검토해야 한다.
표 1
가상의 3요인 CFA 모형의 전반적 적합도
| 모형 | N | χ² | df | p | CFI | TLI | RMSEA | RMSEA의 90% 신뢰구간 | SRMR |
|---|---|---|---|---|---|---|---|---|---|
| 상관된 요인 3개, 지표 12개 | 300 | 78.00 | 51 | .009 | .955 | 0.942 | 0.042 | [0.022, 0.060] | 0.045 |
주. 모든 수치는 가상이다. CFI = 비교적합지수; TLI = 터커–루이스 지수; RMSEA = 근사오차평균제곱근; CI = 신뢰구간; SRMR = 표준화잔차평균제곱근. 이 예시는 일반 최대우도법을 사용하며, 강건 통계량이나 척도 보정 통계량을 사용한 예시가 아니다.
위 문단과 표는 두 가지 제시 방식을 보여줍니다. 원고에 표를 사용한다면 모든 셀의 값을 본문에 반복하기보다 해석에 필요한 결과를 중심으로 문단을 줄입니다. 추정한 요인부하량과 다른 모형 모수, 그 추정의 불확실성은 별도의 모수 표로 제시하고, 표준화 추정치와 비표준화 추정치를 명확히 구분합니다(Appelbaum et al., 2018).
CFA 통계량의 APA 표기법
APA의 숫자와 통계 표기 가이드는 라틴 문자 통계 기호와 그리스 문자를 구분합니다. N, df, p는 이탤릭체로 쓰고, χ²의 그리스 문자 χ는 정자로 씁니다. 적합도 지수의 약어는 처음 사용할 때 정의합니다.
정확한 p 값은 소수점 아래 두 자리 또는 세 자리까지 보고합니다. 다만 .001보다 작은 값은 p < .001로 표기합니다. 소프트웨어에 0.000으로 표시되었다고 해서 확률이 0이라는 뜻은 아닙니다. p 값과 상관계수에서는 소수점 앞의 0을 생략합니다.
반올림할 때는 결과 해석에 필요한 정보가 유지되어야 합니다. 이 예시에서는 가까운 값을 구분할 수 있도록 적합도 지수를 소수점 아래 세 자리까지 제시했습니다. 이는 편집상의 선택이며, APA가 모든 CFA 지수에 동일한 소수 자릿수를 요구한다는 뜻은 아닙니다. 투고할 학술지의 지침을 일관되게 적용합니다.
AI 사용을 공개하는 방법
투고할 학술지의 최신 정책을 확인합니다. APA Journals는 관련 생성형 AI 사용을 공개하고 사용 도구를 밝히도록 요구하며, 내용 검증의 책임을 저자에게 두고 AI 도구를 저자로 인정하지 않습니다. 수행한 활동에 따라 공개 내용을 배치하는 위치가 달라지므로, 모든 용도에 하나의 기재 위치를 적용할 수는 없습니다(APA Journals 정책).
문항 생성에 AI를 사용했다면 도구와 모델 또는 버전, 수행한 작업, 문항 풀에 포함한 출력, 사람이 검토한 과정을 밝혀야 합니다. 이를 뒷받침하는 프롬프트와 출력을 보관합니다. 문장 교정, 분석 코드 생성, 문항 생성은 서로 다른 활동이므로 실제 수행한 내용을 정확히 설명합니다.
modidoc으로 연구방법 초안 작성하기
modidoc의 연구방법 초안 작성 단계는 척도 개발 기록을 연구자가 검토할 수 있는 글로 정리하도록 돕습니다. 시뮬레이션을 통한 사전 점검과 참여자 응답을 이용한 검증은 구분해야 합니다. 실증 분석이 끝나지 않았다면 초안에도 해당 작업이 아직 남아 있음을 밝혀야 합니다. 투고 전에는 보고한 모든 통계량을 분석 출력과 대조하고, 임시 표시를 실제로 확인한 연구 내용으로 바꿉니다.
자주 묻는 질문
척도 개발 과정을 연구방법에 어떻게 보고하나요?
구성개념을 정의한 과정, 문항을 개발하고 검토한 과정, 참여자 모집, 분석 계획을 설명합니다. 독자가 개발 과정을 따라갈 수 있도록 각 단계에서 사용한 자료와 내린 결정을 밝힙니다. 최종 원고를 준비할 때는 연구에 해당하는 JARS 체크리스트를 활용합니다(Appelbaum et al., 2018).
CFA 결과를 APA 양식으로 어떻게 보고하나요?
모형, 추정법, 자유도와 p 값을 포함한 χ², 관련 적합도 지수, RMSEA 신뢰구간을 보고합니다. 모수 추정치와 진단 결과도 연구결과의 다른 부분에 포함합니다. 위의 완성된 예시는 보고 형식을 보여주며, 수치는 모두 가상입니다.
논문에 AI 도구 사용을 어떻게 기재하나요?
학술지의 최신 지침에 따라 도구, 사용 목적, 활용한 출력, 사람의 검증 과정을 설명합니다. 연구의 실질적인 내용에 사용한 경우는 문장 교정과 구분해 공개합니다. 실제로 수행하지 않은 전문가 검토나 통계 검증을 수행했다고 서술해서는 안 됩니다.
참고문헌
American Psychological Association. (2022). APA Style numbers and statistics guide. 2022 edition.
American Psychological Association. (2025, August). APA Journals policy on generative AI: Additional guidance. Publisher policy.
Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191.
Hoyle, R. H., & Isherwood, J. C. (2013). Reporting results from structural equation modeling analyses in Archives of Scientific Psychology. Archives of Scientific Psychology, 1(1), 14–22. https://doi.org/10.1037/arc0000004.
이전 글: 설문 배포 전 최종 점검
시리즈 첫 글: 구성개념 추출과 요인 구조화