제6회 정기 세미나 — 질의 코퍼스 v2 설계

무엇을 다루었는가

당시 학회의 세 분과는 서로 다른 것을 관찰했지만 입력은 같아야 합니다. 분과마다 다른 질의를 쓰면 결과를 나란히 놓을 수 없기 때문입니다. 질의 코퍼스는 그 공통 입력을 미리 정해 둔 목록입니다.

첫 번째 판본은 창립 이듬해에 급하게 만든 것이라 주제가 기술 분야에 몰려 있었고, 어떤 기준으로 골랐는지가 기록돼 있지 않았습니다. 두 번째 판본은 그 두 가지를 고치는 작업이었습니다.

발표자는 측정·평가 분과장 박준석이었습니다. 반복 측정 설계와 표본 수 산정을 다뤄 온 이력은 구성원 소개에 있습니다.

발표에서 제시된 설계

발표 40분에서 다섯 단계 절차를 제시했습니다.

1. 정보 탐색 유형을 넷으로 나눈다 — 정의형, 절차형, 비교형, 판단형
2. 유형마다 주제 영역을 다섯 개 정한다 — 생활·법률·의료·기술·금융
3. 조합마다 기준 질의를 세 건씩 작성한다
4. 기준 질의마다 표현 변형을 축별로 하나씩 만든다
5. 전체 목록을 공개하고 이후 수정하지 않는다

마지막 단계가 이 설계의 핵심으로 제시됐습니다. 재고 나서 질의를 고르면 원하는 결론이 나오기 때문입니다. 목록을 먼저 공개해 두면 그 뒤에 나온 결과가 목록에 맞춰 골라진 것이 아니라는 점을 밖에서 확인할 수 있습니다.

주제 영역에 의료와 법률을 넣을지를 두고 이야기가 길어졌습니다. 잘못된 답의 영향이 큰 영역이라 관찰할 이유가 분명하지만, 학회가 그 답의 내용을 판정할 자리에 있지 않다는 지적도 있었습니다. 답의 옳고 그름을 판정하지 않고 출처의 성격과 응답의 편차만 기록하는 것으로 범위를 좁혀 넣기로 했습니다.

토론에서 정리된 것

토론 40분에서는 세 가지가 남았습니다.

첫째, 변형 축은 한 번에 하나만 바꾼다는 규칙입니다. 여러 축을 동시에 바꾸면 무엇이 원인인지 갈라낼 수 없습니다. 연구위원 한지훈이 한국어 질의의 변형 축을 다섯으로 제한하는 안을 함께 정리했고, 이 내용은 뒤에 연구논집 제2권 제1호에 논문으로 실렸습니다.

둘째, 시사성이 강한 질의를 넣지 않기로 했습니다. 몇 달만 지나도 정답이 달라지는 질의는 시계열 관측에서 원인을 가리게 됩니다.

셋째, 목록을 고정한 뒤에도 오탈자나 사실관계 오류가 발견되면 고치되 고친 내역을 함께 남기기로 했습니다. 이 원칙은 공지와 알림에 적어 둔 정정 방식과 같습니다.

지난 회차와의 연결

여기서 정한 목록은 같은 해 6월에 공개했고, 제7회와 제8회 정기 세미나, 제9회 정기 세미나가 모두 이 목록을 입력으로 썼습니다. 목록을 공유했기 때문에 세 회차의 결과를 나란히 놓을 수 있었습니다.

기록표 서식도 이 회차에서 처음 만들어 측정·평가 분과 공개 워크숍의 실습으로 이어졌습니다. 분과별 범위는 분과연구회에 있습니다.

문의

발표자료와 코퍼스 구성 문서는 요청하시면 보내 드립니다. 학회 연락처로 알려 주십시오. 목록에 넣을 주제 영역을 제안하고 싶으시면 함께 적어 주시면 됩니다.

다음 회차 일정은 학술행사 페이지에 있습니다. 안내를 메일로 받으시려면 회원 가입을 해 주십시오. 회비와 심사가 없습니다. 정리된 연구는 연구논집에 싣습니다.

자료 제공

이 회차의 발표자료는 2026-09-16 기준으로 요청하시면 보내 드립니다. 학회 연락처로 회차와 받으실 주소를 적어 보내 주십시오. 지난 회차를 한곳에 모으는 아카이브를 준비하고 있으며, 정리되는 대로 학술행사 페이지에서 연결하겠습니다.