제8회 정기 세미나 — 표면별 참조 문서 수 비교

무엇을 다루었는가

검색엔진 분과가 올해 상반기에 붙잡고 있던 문제는 단순해 보이는 것이었습니다. 답 하나가 문서를 몇 건 참조했는가입니다. 그런데 이 물음은 세는 규칙을 정하기 전에는 답이 나오지 않습니다.

같은 서비스라도 제품 화면과 API 응답은 답을 다르게 내놓습니다. 화면에는 각주로 표시된 것과 본문 안에 링크로 붙은 것이 섞여 있고, 하단에 별도로 묶인 목록이 또 있습니다. 이 셋을 모두 참조로 셀지, 각주만 셀지에 따라 같은 답의 숫자가 달라집니다. 발표는 이 규칙을 먼저 고정하지 않으면 표면 사이의 비교가 성립하지 않는다는 점에서 출발했습니다.

발표자는 검색엔진 분과장 김태윤이었습니다. 문서 수집과 색인, 질의 처리, 검색 결과 정렬을 다뤄 온 이력은 구성원 소개에 있습니다.

논의된 것

발표 40분과 토론 40분으로 진행했고 토론에서 나온 쟁점은 세 가지였습니다.

첫째, 같은 도메인의 서로 다른 문서를 몇 건으로 셀 것인가입니다. 한 사이트의 하위 문서 셋을 인용한 답과 서로 다른 세 사이트를 인용한 답을 같은 수로 적으면, 출처가 얼마나 퍼져 있는지가 지워집니다. 문서 단위와 도메인 단위를 따로 기록하기로 정리했습니다.

둘째, 답에 표시되지 않았지만 응답 생성에 쓰인 문서를 어떻게 다룰 것인가입니다. 이것은 바깥에서 관찰할 수 없습니다. 관찰할 수 없는 것을 추정해 적지 않고, 기록 항목의 이름을 “참조 문서”가 아니라 “표시된 출처”로 바꾸기로 했습니다.

셋째, 표면 구분을 어디까지 나눌 것인가입니다. 제품 화면과 API를 나누는 것으로는 부족하고 로그인 여부, 모드 선택, 지역 설정까지 기록해야 한다는 지적이 있었습니다. 기록표에 표면 항목을 따로 두는 변경은 여기서 나왔습니다.

수치를 내지 않은 이유

이번 발표에서는 수집한 응답에 대한 집계 수치를 공개하지 않았습니다. 세는 규칙이 발표 도중에도 바뀌고 있었기 때문입니다. 규칙이 움직이는 동안 나온 숫자를 먼저 알리면, 뒤에 규칙이 정리되어도 앞서 나간 숫자가 따라다닙니다.

규칙이 고정되고 같은 절차로 다시 수집한 뒤에 연구논집을 통해 공개하기로 했습니다. 이 순서를 지키는 것이 학회가 자료를 내는 방식입니다.

지난 회차와의 연결

이 회차의 질의 목록은 제6회 정기 세미나에서 고정한 질의 코퍼스 v2를 그대로 썼습니다. 출처를 어떤 성격으로 분류할지에 대한 기준은 제7회 정기 세미나에서 정리한 것을 가져왔습니다.

여기서 나온 기록표 변경은 측정·평가 분과 공개 워크숍의 실습 서식에 반영됐고, 표면별 관측 틀은 11월 연례 심포지엄 세션 1에서 다시 다룹니다. 분과별 연구 범위는 분과연구회에 있습니다.

문의

발표자료는 요청하시면 보내 드립니다. 학회 연락처로 회차와 받으실 메일 주소를 적어 보내 주십시오. 자료 공개 사실은 공지와 알림에도 올려 두었습니다.

다음 회차 일정과 발표 신청 방법은 학술행사 페이지에 있습니다. 행사 안내를 메일로 먼저 받고 싶으시면 회원 가입을 해 주십시오. 회비는 받지 않습니다.