제7회 정기 세미나 — 출처 계층 분포 예비 보고

무엇을 다루었는가

생성형 검색의 답에는 출처가 표시됩니다. 그 출처가 원문인지, 원문을 풀어 쓴 보도인지, 여러 글을 모아 정리한 요약인지에 따라 답의 성격이 달라집니다. 인용·출처 분과는 표시된 출처를 계층으로 나누어 기록하는 작업을 상반기 과제로 잡았습니다.

이 회차는 그 작업의 예비 보고였습니다. 예비라는 말을 붙인 이유는 분포를 보고할 단계가 아니었기 때문입니다. 분포를 내려면 계층을 나누는 기준이 먼저 고정되어야 하는데, 검토자마다 같은 문서를 다른 계층에 넣는 일이 반복됐습니다.

발표자는 분과장 이서진이었습니다. 인용 정확성과 원출처 추적을 다뤄 온 이력은 구성원 소개에 있습니다.

발표에서 나온 것

발표 40분에서는 계층 초안 네 가지와 각 계층에서 판단이 갈린 사례를 함께 놓았습니다.

계층	포함하려던 것	갈린 지점
1차	법령·공식 발표·원 논문	기관이 낸 해설 자료의 위치
2차	보도·해설·리뷰	원문을 그대로 옮긴 기사
3차	요약·집계·목록	개인 정리 글과 집계 사이트의 구분
기타	위 셋에 들지 않는 것	기타가 커지면 분류가 무의미해짐

문제는 기타 항목이었습니다. 실제 수집에서 기타로 들어가는 문서가 계속 늘었고, 분류가 대상을 설명하지 못한다는 뜻이었습니다. 계층을 늘려야 하는지, 기준 자체를 다른 축으로 바꿔야 하는지가 토론의 출발점이 됐습니다.

분류가 갈린 사례도 함께 열어 두었습니다. 기관이 공식 발표를 요약해 올린 보도자료를 1차로 볼지 2차로 볼지, 원문 전문을 그대로 실은 기사를 어디에 넣을지가 대표적이었습니다. 두 사례 모두 검토자 세 사람의 판정이 갈렸고, 이런 사례를 미리 모아 두지 않으면 기준을 고쳐도 같은 자리에서 다시 갈린다는 점을 확인했습니다.

토론에서 정리된 것

토론 40분에서 세 가지를 정리했습니다.

첫째, 계층을 세로로 늘리는 대신 두 축으로 나누기로 했습니다. 원문과의 거리를 한 축으로, 작성 주체를 다른 축으로 둡니다. 기관이 낸 해설 자료처럼 한 축만으로는 자리가 없던 문서가 이렇게 하면 들어갑니다.

둘째, 검토자 두 명이 따로 분류한 뒤 일치 정도를 먼저 확인하고, 일치가 낮으면 분포를 내지 않기로 했습니다. 측정·평가 분과장 박준석이 이 절차를 제안했습니다.

셋째, 이번 회차에서 수집한 자료에 대한 분포 수치는 공개하지 않기로 했습니다. 분류 기준이 바뀌는 중이었으므로 지금 낸 숫자는 뒤에 그대로 쓰이지 못합니다. 기준이 고정된 뒤 다시 수집해 연구논집에 싣기로 했습니다.

지난 회차와의 연결

질의 목록은 제6회 정기 세미나에서 고정한 코퍼스 v2를 썼습니다. 여기서 남은 분류 문제는 2주 뒤 인용·출처 분과 라운드테이블에서 대조 절차와 함께 다시 다뤘습니다.

두 축으로 나눈 분류는 제8회 정기 세미나의 출처 세는 규칙에 반영됐고, 11월 연례 심포지엄 세션 2에서 한 해 작업으로 묶입니다. 분과별 범위는 분과연구회에 있습니다.

문의

발표자료는 요청하시면 보내 드립니다. 학회 연락처로 회차를 적어 보내 주십시오. 다음 회차 일정은 공지와 알림과 학술행사 페이지에 올립니다.

행사 안내를 메일로 받고 싶으시면 회원 가입을 해 주십시오. 회비와 심사가 없습니다.