비바리퍼블리카(토스) · 2026.03 – 2026.06
광고 검수 에이전트
+25%p평균 정확도 향상광고 문구 오탈자 정책 파일럿 · 개선용·검증용 세트(광고 36건) 향상폭 평균
01배경 및 목표
- 광고 정책은 한두 줄짜리 메모인데, AI가 검수하려면 판별 기준·경계·예시를 갖춘 검수 문서가 필요했고 이를 정책마다 사람이 써야 했습니다.
- 문서 기준이 실제 검수자 판단보다 엄격하거나 느슨하면 정상 광고를 반려하거나 위반을 놓쳤지만, 어디가 어긋나는지 찾아 고치기 어려웠습니다.
02핵심 과제
- C1 짧은 정책을 검수할 수 있는 기준으로 만들기
- C2 문서 기준과 검수자 판단의 차이를 데이터로 줄이기
- C3 개선에 쓴 데이터에만 맞춰지지 않게 하기
03기여 내용
검수 문서 자동 생성C1
- 정책 원문에서 근거를 찾아, 짧은 정책을 판별 기준·위반/정상 경계·정책 근거를 갖춘 검수 문서로 자동 변환
데이터 기반 고도화C2C3
- AI가 문서 판정과 검수자 판정을 비교해 어긋난 패턴을 찾고 문서를 개정 (예: 광고에서 통용되는 붙여쓰기·금액 단위·광고 말투는 정상으로 명시)
- 개선용과 검증용 데이터를 나눠, 개선 효과가 처음 보는 광고에서도 유지되는지 확인
- 사람은 개정안을 확인하기만 하고 문서를 직접 고치지 않음
04기술 스택
- 프레임워크 · 플랫폼
- LLM, Prompt Engineering
- 방법론
- 데이터 기반 프롬프트 고도화, Holdout 검증
05성과
- 광고 문구 오탈자 정책 파일럿(광고 36건)에서 평균 정확도 25%p 향상
- 개선에 쓰지 않은 검증용 광고에서도 정확도가 함께 올라, 개선 효과가 새 광고에도 유지됨을 확인
- 이 방식이 검수 자동화 플랫폼의 프롬프트 고도화 사이클로 이어짐