교육·설문
LLM으로 인터뷰·설문 응답을 코딩할 때 결론이 뒤집힐 위험(LLM hacking)
Baumann 등(2025)은 사회과학 논문 21편의 주석 작업 37건을 되풀이하고 LLM 13개로 만든 1,300만 개 라벨을 분석했다. 최신 LLM에서도 가설의 약 31%에서 잘못된 결론이 나왔고, 프롬프트를 몇 번만 바꿔도 거의 모든 것을 유의하게 보이게 할 수 있었다. 사람이 단 주석이 위양성을 막는 데 중요했다. 논문은 텍스트 주석(라벨링) 실험이며 인터뷰 주제분석은 직접 다루지 않았다.
- 도구
- LLM 텍스트 주석
- 대상
- 고급
- 업무
- 교육·설문
- 확인
- 2026-10-18 · 공식 문서·기관 자료로 확인
단계별 실행 방법 · 프롬프트 전문
기관명과 이메일을 남기면 바로 열립니다. 이 자료의 4단계 실행 방법과 프롬프트 전문이 열리고, 같은 브라우저에서는 다른 자료의 전문도 1년 동안 열립니다.
쓰기 전에 확인할 점
arXiv 사전 공개본이며 동료 심사 여부는 확인하지 못했다. 이 실험은 텍스트 주석 작업이며 인터뷰·설문 코딩에 대한 시사점은 이 자료의 해석이다. 라벨 기반 결과는 사람 주석과 대조해야 한다.