측정·평가 분과 공개 워크숍

무엇을 다루는가

측정·평가 분과는 학회의 다른 두 분과가 쓰는 공통 기준을 만드는 일을 맡고 있습니다. 표본을 몇 건으로 잡을지, 같은 질의를 몇 번 반복할지, 지역과 계정 조건을 어떻게 고정할지에 대한 기준입니다. 이 기준이 흔들리면 앞의 두 분과가 낸 결과도 함께 흔들립니다.

이 워크숍은 그 기준을 설명하는 자리가 아니라 참석자가 직접 설계를 짜 보는 자리입니다. 생성형 검색의 응답은 같은 질의에도 매번 달라지므로, 한 번 물어 얻은 인상은 근거가 되지 못합니다. 그런데 몇 번을 반복해야 충분한지는 주제마다 다르고, 그 판단을 남이 대신 해 줄 수 없습니다.

진행은 분과장 박준석이 맡고 수집 절차 부분은 연구위원 오현석이 함께 봅니다. 두 사람의 이력은 구성원 소개에 있습니다. 분과가 다루는 범위는 분과연구회 페이지에 정리돼 있습니다.

진행 구성

두 시간을 쓰며 절반을 실습에 둡니다.

시간	내용
19:00–19:30	여는 말 — 관측 설계에서 먼저 정해야 하는 것 (박준석)
19:30–20:10	실습 1 — 주제를 하나 골라 질의 목록과 반복 횟수를 정한다
20:10–20:40	실습 2 — 수집 조건 기록표를 채우고 빠진 항목을 찾는다 (오현석)
20:40–21:00	정리 — 설계를 서로 바꿔 읽고 재현 가능한지 확인한다

실습에는 분과가 쓰는 기록표 서식을 그대로 씁니다. 수집 시각, 접속 지역, 계정 상태, 표면 종류, 재시도 여부를 적는 표이고 미리 내려받아 두실 필요는 없습니다. 당일 화면으로 함께 채웁니다.

마지막 순서에서는 옆 사람의 설계를 읽고 그 설명만으로 같은 측정을 다시 할 수 있는지 확인합니다. 대개 이 단계에서 빠진 조건이 드러납니다.

참석 방법

온라인으로 진행하고 참가비는 받지 않습니다. 사전 신청 없이 참관하실 수 있으며 회원 여부를 묻지 않습니다. 실습에 참여하지 않고 보기만 하셔도 됩니다.

접속 주소는 행사 3일 전에 공지와 알림에 올립니다. 회원께는 메일로도 보내 드립니다. 분과에 계속 참여하고 싶으시면 회원 가입 신청서에 관심 분과를 함께 적어 주십시오. 회비도 심사도 없습니다.

지난 회차와의 연결

분과가 쓰는 기록표는 제6회 정기 세미나에서 질의 코퍼스 v2를 설계하면서 처음 만든 것입니다. 그 뒤 제7회와 제8회 정기 세미나에서 실제 수집에 쓰면서 항목이 몇 차례 늘었습니다.

특히 표면을 나누어 적는 항목은 제8회에서 같은 제품의 화면과 API 응답을 한 칸에 적어 두었다가 나중에 구분이 안 된 일이 생긴 뒤에 추가됐습니다. 이런 사례를 실습에서 같이 봅니다.

여기서 정리된 내용은 11월 연례 심포지엄 세션 3으로 이어집니다. 정리가 끝나면 연구논집에 방법 논문으로 싣습니다.

문의

실습 서식을 미리 보고 싶으시거나 소속 기관에서 단체로 참여하실 계획이면 연락처로 알려 주십시오. 인원이 많으면 실습 조를 미리 나눕니다.

워크숍 자료는 요청하시면 보내 드립니다. 다른 행사 일정은 학술행사 페이지에 모아 두었습니다.