타당화까지 끝냈습니다. 이제 설문지를 배포하면 되는데, 이 단계에서 결정하는 것들이 수집될 데이터의 품질을 좌우합니다. 문항을 어떤 순서로 놓을지, 역문항을 어떻게 표시할지, 분석자가 볼 문서를 무엇으로 남길지입니다.
되돌릴 수 없다는 점이 이 단계의 특징입니다. 응답이 들어오기 시작하면 문항 순서를 바꿀 수 없고, 코드북 없이 수집된 데이터는 몇 달 뒤 해석할 수 없는 숫자 뭉치가 됩니다.
문항 배치 순서가 응답에 영향을 미치는가
미칩니다. 앞선 문항이 뒤 문항의 해석 기준을 만드는 현상은 설문 방법론에서 오래 다뤄져 왔습니다. 직무 만족을 묻고 나서 삶의 만족을 물으면, 순서를 바꿨을 때와 응답 분포가 달라집니다.
배치 방식은 두 갈래입니다. 같은 요인의 문항을 묶는 군집 배치는 응답자가 맥락을 유지하기 쉽고 인지 부담이 적습니다. 대신 인접한 문항끼리 인위적으로 상관이 높아져 요인 구조가 실제보다 깔끔하게 나올 수 있습니다. 무작위 배치는 그 인위적 상관을 줄이지만 응답자가 맥락을 계속 전환해야 해서 피로가 커지고 중도 이탈이 늘어납니다.
공통방법편의를 다룬 Podsakoff et al.(2003)은 측정 맥락을 분리하는 절차적 처방을 제시합니다. 독립변수와 종속변수 문항 사이에 거리를 두거나 응답 형식을 달리하는 방식입니다. 어떤 배치를 택했든 그 선택과 이유를 방법론 절에 적어야 합니다. 배치를 밝히지 않은 논문은 요인 구조가 배치 때문에 좋아 보이는 것 아니냐는 질문에 답할 수 없습니다.
역문항 처리 — 응답자용과 분석자용을 분리한다
역문항 표시는 응답자용 설문지에서 빼고 코드북에만 남깁니다. "이 문항은 역문항입니다" 같은 표시가 보이면 응답 방식 자체가 달라지기 때문입니다.
역코딩은 척도 범위를 기준으로 계산합니다. 5점 척도라면 6에서 원점수를 빼고, 7점 척도라면 8에서 뺍니다. 이 규칙을 코드북에 적어두지 않으면 나중에 5점인지 7점인지 헷갈리는 상황이 생깁니다.
역문항 자체가 요인 구조를 흔들 수 있다는 점도 알아둘 필요가 있습니다. 널리 쓰이는 척도에서도 역문항이 별도 요인처럼 묶이는 현상이 보고되어 왔습니다. 이 블로그에서 다룬 RSES 재현 분석에서도 같은 패턴이 나타났습니다. 역문항을 넣기로 했다면 요인 분석에서 그 문항들이 어떻게 움직이는지 별도로 확인하는 편이 안전합니다.
코드북에는 무엇이 들어가야 하는가
코드북은 설문 문항과 데이터 파일의 변수를 잇는 문서입니다. 이것이 없으면 분석자가 원자료를 열었을 때 각 열이 무엇인지 알 수 없습니다.
| 항목 | 내용 |
|---|---|
| 변수명 | 통계 소프트웨어에서 쓸 짧은 식별자 |
| 문항 번호와 원문 | 그 변수가 설문지의 어느 문항인지 |
| 척도와 응답 범위 | 5점 리커트, 1=전혀 아니다 등 |
| 역코딩 지침 | 어떤 문항이 역문항이고 어떻게 변환하는지 |
| 요인 구성과 산출 공식 | 각 요인이 어떤 문항의 평균 또는 합인지 |
| 결측값 코드 | 무응답을 어떤 값으로 기록했는지 |
결측값 코드는 자주 빠뜨리는 항목입니다. 무응답을 99로 기록해두고 코드북에 적지 않으면 평균이 엉뚱하게 계산됩니다. 빈 셀로 두는 방식을 택했다면 그 사실도 명시합니다.
코드북은 본인을 위한 문서이기도 합니다. 심사 과정에서 재분석을 요구받는 시점은 대개 분석을 마치고 몇 달 지난 뒤입니다.
배포 전 최종 확인
배포 직전에 확인할 항목은 몇 가지로 좁혀집니다.
응답 시간을 실제로 측정해보는 것이 첫 번째입니다. 예상 소요 시간이 15분을 넘으면 후반부 문항의 응답 품질이 떨어집니다. 온라인 설문이라면 진행률 표시 여부도 이탈률에 영향을 줍니다.
필수 응답 설정은 신중하게 정합니다. 모든 문항을 필수로 두면 결측은 줄지만 중도 이탈이 늘고, 이탈한 응답자는 아예 데이터에 남지 않습니다. 결측 자체보다 이쪽이 더 큰 편향을 만들 수 있습니다.
문항 번호와 코드북의 변수명이 실제 수집 도구에서 일치하는지도 확인합니다. 설문 플랫폼이 문항을 옮기면서 번호를 자동으로 다시 매기는 경우가 있습니다.
배포 완성 단계에서 modidoc이 지원하는 것
modidoc의 배포 완성 단계는 확정된 문항으로 배치안을 만들고 역코딩 지침과 요인 산출 공식을 포함한 코드북을 자동 생성합니다. 응답자용 설문지에서는 역문항 표시를 제거하고 코드북에만 남기며, 개발 과정에서 쌓인 판단 이력을 함께 정리해 방법론 절 작성에 넘깁니다. 이 과정은 내부적으로 C9 배포 완성 엔진으로 구현되어 있습니다.
자주 묻는 질문
설문지 코드북에는 무엇이 들어가야 하나요?
변수명, 문항 번호와 원문, 척도와 응답 범위, 역코딩 지침, 요인별 산출 공식, 결측값 코드가 기본입니다. 이 여섯 가지가 있으면 원자료만 받은 사람도 분석을 재현할 수 있습니다. 데이터 수집 시점과 표본 특성을 함께 적어두면 나중에 재분석할 때 도움이 됩니다.
역문항 역코딩을 어떻게 처리하나요?
척도 최대값에 1을 더한 수에서 원점수를 뺍니다. 5점 척도는 6에서, 7점 척도는 8에서 빼는 식입니다. 처리 시점은 요인 점수를 계산하기 전이며, 역코딩 전후 값을 모두 남겨두면 나중에 검증하기 쉽습니다. 응답자용 설문지에는 역문항 표시를 넣지 않습니다.
설문 문항 배치 순서가 결과에 영향을 미치나요?
영향을 미칩니다. 앞 문항이 뒤 문항의 판단 기준을 형성하고, 같은 요인 문항을 인접 배치하면 문항 간 상관이 실제보다 높게 나타날 수 있습니다. 배치 방식과 그 이유를 방법론 절에 밝히는 것이 표준이며, 공통방법편의가 우려되는 설계라면 측정 맥락을 분리하는 절차적 처방(Podsakoff et al., 2003)을 함께 적용합니다.
다음 편에서는 지금까지의 개발 과정을 논문 방법론 절로 옮기는 작업을 다룹니다. 어떤 판단을 어떤 순서로 서술해야 하는지, APA 양식으로 통계 결과를 어떻게 보고하는지를 살펴봅니다.
이전 글 — 구조방정식 표본 크기와 모형 식별
다음 글 — 논문 방법론 절 쓰는 법