생성형 검색 반복 측정 기록 양식과 사용 안내

어떤 자료를 공개하나요?

질문 원문과 실행 환경, 응답 확보 상태, 브랜드 언급과 출처 URL을 기록하는 빈 양식입니다. 실제 관측값이나 학회의 실험 결과는 들어 있지 않으며, 각 연구자가 자신의 판정 기준을 덧붙여 사용하는 자료입니다.

반복 측정 기록 양식 내려받기

CSV 파일은 표 계산 프로그램에서 열 수 있습니다. 첫 행에 항목 이름만 있고 예시 응답이나 가상의 브랜드 관측은 없습니다. 기록을 시작하기 전에 연구 목적과 질문 선정 기준, 사용할 서비스, 판정 규칙을 별도 문서에 적어 주세요.

어떤 항목을 남겨야 하나요?

질문을 식별하는 이름뿐 아니라 실제 입력한 문장, 실행 시각과 시간대, 서비스와 표시 모델, 언어·지역·로그인 조건을 함께 적습니다. 답변 원문과 판정 기록을 연결해 두면 환경이나 기준의 변경을 나중에 대조할 수 있습니다.

항목	기록할 내용
질문 ID·질문 원문	동일 질문을 식별할 값과 실제 입력 문장
실행 시각·시간대	관측 시각과 시간대
서비스·모델 표시	실제 사용 서비스와 화면에서 확인한 모델 이름
언어·지역·로그인 상태	관측에 영향을 줄 수 있는 사용 조건
응답 상태·실패 사유	응답 확보 여부와 실패하거나 누락된 이유
검색 사용 여부	관측 가능한 검색 표시, 확인 불가이면 그 상태
브랜드 언급·출처 URL	판정한 브랜드 이름과 실제 근거 링크
응답 보관 위치·메모	원문 자료의 위치와 환경·판정 변경 사항

모델 이름처럼 확인할 수 없는 항목은 추측해서 채우지 않습니다. 검색 표시가 관측되지 않았다는 사실과 검색이 사용되지 않았다는 단정도 구분해야 합니다. 개인정보가 들어 있는 질문이나 응답을 외부에 공유할 때는 공개 범위를 별도로 검토해 주세요.

실패한 요청도 미언급으로 적나요?

그렇게 적지 않습니다. 요청이 실패해 답변을 받지 못했다면 응답 상태와 실패 사유를 남깁니다. 정상 답변에 브랜드가 없었던 관측과 판정할 원문이 없는 관측을 구분해야, 유효한 응답 수를 기준으로 결과를 설명할 수 있습니다.

브랜드 언급과 출처 URL도 별개 항목입니다. 답변에 이름이 나오더라도 그 업체의 사이트가 근거로 연결되지 않을 수 있습니다. 반대로 페이지 링크의 존재를 확인했어도 그 링크가 답변의 주장까지 뒷받침하는지는 추가 검토가 필요합니다.

같은 질문을 다시 실행할 때 앞선 원문을 덮어쓰지 않습니다. 매 실행의 기록을 새 행에 남기고 질문이나 환경을 바꾸면 변경 내용을 메모합니다. 결과를 확인한 뒤 불리한 답변만 오류로 제외하는 방식도 피해야 합니다.

반복 횟수를 하나로 정할 수 있나요?

모든 서비스와 연구 목적에 통용되는 횟수를 이 양식에서 정하지는 않습니다. 필요한 정밀도와 질문별 변동을 고려해 반복 계획을 세우고, 횟수와 관측 기간, 누락된 실행을 함께 공개해야 비교의 범위를 설명할 수 있습니다.

Don’t Measure Once는 반복 실행과 시간에 따른 출처·브랜드의 변동을 다룬 연구입니다. 해외 질의와 특정 서비스 환경에서 얻은 관찰이므로 한국어 질의의 결과나 모든 산업의 표본 기준으로 그대로 옮길 수 없습니다.

이번 양식은 응답의 시간적 변동을 다루는 연구 프로토콜을 읽으며 관측 항목을 정리할 때도 활용할 수 있습니다. 측정 결과의 인용 정확도를 검토할 때는 인용 평가 안내를 함께 보세요.