학회장 인사말

왜 모였는가

검색 시스템을 만들고 고치는 일을 이십 년 가까이 해 왔습니다. 문서를 모으고, 색인을 만들고, 질의를 해석하고, 결과를 정렬하는 일이었습니다. 그 과정에서 배운 것 하나는 검색의 품질은 감으로 판단할 수 없다는 것이었습니다. 무엇을 어떻게 쟀는지 적어 두지 않으면, 좋아졌다는 말과 나빠졌다는 말이 같은 무게로 오갑니다.

생성형 검색이 들어오면서 그 문제가 훨씬 커졌습니다. 이제 이용자가 보는 것은 문서 목록이 아니라 완성된 문장입니다. 그 문장이 어떤 근거에서 나왔는지는 몇 개의 각주로만 보이고, 같은 질문을 다시 던지면 다른 답이 돌아옵니다. 그런데 이 시스템이 실제로 어떻게 동작하는지에 대해 국내에서 공개된 측정은 많지 않습니다.

빈자리를 메워 보자는 것이 이 학회의 출발점입니다.

무엇을 하려 하는가

저희가 하려는 일은 평가가 아니라 관찰입니다. 어떤 엔진이 더 낫다고 말하는 대신, 어떤 엔진이 무엇을 근거로 삼는지를 같은 설계로 반복해 재고 그 결과를 공개합니다.

세 가지를 원칙으로 삼았습니다.

• 질의 목록을 먼저 고정합니다. 재고 나서 질문을 고르면 원하는 결론이 나옵니다.
• 같은 질의를 여러 번 반복합니다. 생성형 검색의 응답은 비결정적입니다. 한 번 물어 얻은 인상은 근거가 되지 못합니다.
• 측정 설계와 한계를 결과보다 먼저 적습니다. 어떻게 쟀는지 모르면 숫자는 아무 의미가 없습니다.

세 번째가 가장 지키기 어렵습니다. 깔끔한 결론이 나왔을 때 그 결론이 표본 부족의 산물일 가능성을 먼저 의심해야 하는데, 사람은 대개 반대로 합니다. 분과 가운데 측정·평가 분과를 따로 둔 이유가 여기 있습니다.

무엇을 하지 않는가

특정 사업자의 입장을 대변하지 않습니다. 회비도 후원금도 받지 않습니다. 운영에 비용이 생기면 그 내역을 공개합니다. 학회의 이름으로 특정 제품을 추천하거나 순위를 매기지 않습니다.

확인하지 못한 것을 확인한 것처럼 쓰지 않습니다. 자료가 없으면 없다고 적습니다. 이 원칙은 회칙 제6조와 제7조에 넣어 두었습니다. 조문으로 박아 두지 않으면 편의에 따라 흔들린다고 보았기 때문입니다.

틀렸을 때는 틀렸다고 적습니다. 공개한 자료에 오류가 확인되면 조용히 고치지 않고 무엇이 어떻게 틀렸는지를 함께 남깁니다.

함께하고 싶은 분

자격 요건을 두지 않았습니다. 학위나 소속을 묻지 않고 가입 심사도 없습니다. 검색을 만들어 본 분, 문서를 다뤄 본 분, 숫자를 재 본 분, 이용자가 화면을 어떻게 읽는지 살펴본 분 — 각자 다른 각도에서 같은 대상을 보고 있습니다.

측정 결과가 예상과 다르게 나왔을 때 그 사실을 그대로 적을 수 있는 분이면 충분합니다. 연구논집 투고와 정기 세미나 발표는 회원이 아니어도 하실 수 있습니다.

읽어 주셔서 고맙습니다.