AI 답변 인용 평가, 문장과 출처를 함께 보는 방법

출처 링크가 있으면 답변이 검증됐다고 볼 수 있나요?

링크의 존재만으로는 부족합니다. 답변 문장에 포함된 주장을 나누고 각 주장과 연결된 원문 구절을 대조해야 합니다. 출처가 주장의 일부만 설명하거나 다른 조건을 다룬다면, 전체 문장을 뒷받침하는 근거로 보기는 어렵습니다.

인용 검증 연구는 생성형 검색 답변을 평가할 때 인용 재현율과 인용 정밀도를 구분합니다. 전자는 답변의 주장 가운데 근거가 충분한 것이 얼마나 되는지, 후자는 붙어 있는 인용이 관련 주장을 얼마나 정확히 지원하는지를 살핍니다.

이 연구는 과거 서비스의 응답을 평가한 자료입니다. 그때의 수치를 현재 모델의 정확도나 한국어 답변의 성능으로 읽어서는 안 됩니다. 여기에서는 측정값을 새로 발표하는 대신, 주장과 출처를 서로 다른 단위로 확인하는 평가 개념을 해설합니다.

인용 정밀도와 재현율은 어떻게 다른가요?

재현율은 평가 대상 주장들이 근거를 충분히 갖췄는지 묻고, 정밀도는 각 인용이 연결된 주장을 지원하는지 묻습니다. 링크를 많이 붙이는 것만으로 두 지표를 함께 높일 수 없으며, 주장과 인용의 분모가 다르다는 점을 밝혀야 합니다.

구분	확인할 대상	평가할 질문
인용 재현율	답변에서 검증이 필요한 주장	이 주장에 충분한 근거가 있는가
인용 정밀도	주장에 연결된 개별 인용	이 출처가 해당 주장을 지원하는가
접근 상태	링크된 원문	평가자가 원문을 확보했는가

평가 단위를 문장으로 잡을지, 문장 안의 개별 주장으로 잡을지도 먼저 정해야 합니다. 한 문장에 서로 독립적인 사실이 함께 있으면 단위에 따라 판정이 달라질 수 있습니다. 문장을 나누는 기준과 여러 출처를 함께 인정하는 기준을 공개하면 다른 평가자가 같은 절차를 확인할 수 있습니다.

원문과는 어떤 조건을 대조하나요?

주장의 대상과 범위, 시점, 지역, 수치의 단위를 원문의 조건과 대조합니다. 같은 주제를 다룬 출처라도 다른 집단이나 과거 제도를 설명할 수 있으므로, 핵심 단어가 겹친다는 이유만으로 근거가 충분하다고 판정하지 않습니다.

평가 기록에는 답변의 주장, 연결된 URL, 원문 확인일, 근거 구절의 위치와 판정 이유를 함께 남깁니다. 원문을 통째로 복사해 공개하는 대신 판정에 필요한 짧은 근거와 위치를 기록하고, 자료의 이용 조건을 확인하는 방식으로 공유 범위를 정할 수 있습니다.

출처가 주장 전체를 설명하면 충분한 근거로, 일부 조건만 설명하면 부분적인 근거로, 주장을 지원하지 않거나 모순되면 근거 없음 또는 모순으로 표시할 수 있습니다. 이는 검토를 시작할 때 사용할 설명이며, 정식 지표를 계산할 때는 채택한 연구의 정의를 따라야 합니다.

원문이 열리지 않으면 틀린 인용인가요?

접근 실패만으로 오류라고 단정하지 않습니다. 삭제되거나 접근이 제한된 원문은 확인 불가로 기록하고, 근거가 틀린 인용과 구분합니다. 확인할 수 없던 출처를 계산에 포함하거나 제외한 기준도 결과와 함께 제시해야 합니다.

같은 원문을 여러 평가자가 다르게 읽을 때는 처음 판정을 남긴 뒤 의견 차이를 기록하고 합의 절차를 진행합니다. 확인 불가였던 자료를 나중에 확보하면 재검토한 날짜와 바뀐 판정을 덧붙입니다. 원래 기록을 지우면 평가 결과가 달라진 이유를 설명하기 어렵습니다.

답변을 확보하는 단계의 기록은 반복 측정 양식과 연결할 수 있습니다. 관련 연구의 범위와 자료 추출 설계는 출처 표시와 검증 행동 연구 프로토콜에서도 확인할 수 있습니다.