질의 코퍼스 v2 공개

질의 코퍼스가 무엇인가

질의 코퍼스는 학회가 측정에 쓰는 고정된 질문 목록입니다. 무엇을 물을지 미리 정해 두고 그 목록만 반복해 던집니다. 재고 나서 질문을 고르면 원하는 결론에 맞는 질문만 남기 때문입니다.

생성형 검색의 응답은 같은 질의에도 매번 달라집니다. 그래서 질문을 고정하는 것만으로는 부족하고, 같은 질의를 몇 번 반복할지와 어떤 조건을 고정할지까지 함께 정해야 합니다. 코퍼스에 질의만이 아니라 수집 조건 서식을 함께 넣어 둔 이유입니다. 코퍼스 설계는 분과연구회 가운데 측정·평가 분과가 맡고 있습니다.

v2에서 달라진 것

항목	v1	v2
질의 수	240	540
주제 영역	4	6 (생활법률 · 의료 · 금융 · 기술 · 지역 정보 · 시사)
표현 변형	없음	같은 의도를 다르게 쓴 변형쌍을 축별로 포함
질의별 기록	주제 영역만	의도 유형, 시의성, 지역 의존 여부, 작성 시점
판 관리	파일 교체	판을 고정하고 변경 이력을 따로 남김

가장 크게 달라진 것은 표현 변형입니다. 같은 것을 알고 싶을 때도 사람마다 다른 문장으로 묻기 때문에, 문형과 존대, 조사와 어순, 조건의 제시 순서, 어휘를 한 번에 하나씩만 바꾼 변형쌍을 넣었습니다. 이 축들은 연구논집 제2권 제1호에 실린 한국어 질의 표현과 생성형 검색 응답: 체계적 문헌고찰 프로토콜에서 정리한 것을 그대로 따랐습니다.

두 번째는 판 관리입니다. v1은 질의를 고칠 때마다 파일을 바꿔 두었더니, 어느 시점의 목록으로 잰 결과인지 나중에 확인하기 어려웠습니다. v2부터는 판을 고정하고 질의를 지우는 대신 폐기 표시만 남깁니다. v1 질의는 모두 v2 안에 그대로 있으므로 두 판으로 잰 결과를 견주실 수 있습니다.

받는 방법

학회 연락처로 요청하시면 파일을 보내 드립니다. 회원이 아니어도 됩니다. 어디에 쓰실지 밝히지 않으셔도 되고, 쓰신 결과를 학회에 보내 주실 의무도 없습니다.

• 질의 목록 (CSV, 질의별 기록 항목 포함)
• 수집 조건 서식 (계정 상태, 지역, 시점, 질의 순서를 적는 칸)
• 판 변경 이력

내려받기 페이지를 따로 만드는 작업을 진행하고 있습니다. 준비되면 이 페이지에 연결하겠습니다.

이용 조건

출처를 밝히시면 연구와 교육, 그 밖의 용도를 가리지 않고 쓰실 수 있습니다. CC BY 4.0 조건입니다. 인용하실 때는 판 번호와 받으신 날짜를 함께 적어 주십시오. 같은 v2라도 변경 이력이 쌓이면 내용이 조금씩 달라집니다.

고쳐서 쓰시는 것도 제한하지 않습니다. 다만 고친 목록으로 잰 결과를 학회 코퍼스로 잰 결과라고 적지는 말아 주십시오. 어느 목록으로 쟀는지가 달라지면 결과를 견줄 수 없기 때문입니다.

오류 신고와 다음 판

질의에 오류가 있거나 이미 유효하지 않은 질문이 섞여 있으면 알려 주십시오. 확인되면 고치고 변경 이력에 남깁니다. 학회는 공개한 자료의 오류를 조용히 고치지 않으며, 무엇이 어떻게 틀렸는지를 함께 적습니다. 정정 원칙은 공지와 알림에 정리해 두었습니다.

v3은 시사 영역 질의의 유효 기간을 어떻게 다룰지 정리한 뒤에 낼 계획입니다. 일정은 정해지지 않았습니다.

문의

코퍼스 요청과 오류 신고는 학회 연락처로 받습니다.