프로젝트 기술서

browser-use 기반 심사 에이전트 설계·개발 (과제 1·3)

1. 화면(스크린샷)과 페이지 텍스트를 함께 보고 다음에 확인할 곳을 정하는 탐색 루프(관찰 → 판단 → 행동) 설계
2. 사업자 정보·약관·결제 경로 등 심사 항목별 수집 목표를 두고, 아직 부족한 정보를 근거로 다음 행동 결정
3. 필요한 정보가 모이면 스스로 탐색을 마치고, 수집한 화면과 텍스트를 심사 근거로 함께 남김

외부 서버를 고려한 안전 설계 (과제 2)

1. 공개 페이지만 읽기 전용으로, 가맹점마다 브라우저 하나가 한 페이지씩 순서대로 탐색해 가맹점 서버가 받는 부담을 일반 방문자 한 명 수준으로 유지

AI 기반 고도화 사이클 (과제 1)

1. 실행 기록과 검수 데이터에서 반복되는 형식·근거 오류를 AI가 찾아, 에이전트 구조를 고려한 프롬프트 변경안을 만들고 같은 데이터로 다시 실행해 비교
2. 프롬프트 수정만으로 해결되지 않는 오류는 데이터와 현재 방향성(정책)이 충돌하거나 비어 있는 지점으로 보고, 근거 사례·영향 범위·보완안과 함께 사용자에게 안내
3. 사용자는 방향을 정하고 승인만 하며, 수정·재실행·비교는 AI가 맡아 고도화 사이클을 간편하게 반복

중간 단계를 줄이는 AI 간편 기능 (과제 2)

1. 메신저·문서·시트·담당자 설명처럼 흩어진 자료를 AI가 모아 검수 요구사항 문서를 자동 작성하고, 빠진 내용은 확인할 질문으로 정리
2. 정리된 요구사항을 바탕으로 AI가 필요한 구성 요소와 연결 순서를 제안해 검수 에이전트 초안을 만들고, 만들 수 없는 부분과 빠진 요구를 함께 안내
3. 검수 업무별 프롬프트를 AI가 자동으로 만들고, 버전별 실험으로 프롬프트 버전 간 결과를 비교할 수 있게 지원

플랫폼 구조와 공통 모듈 (과제 2·3)

1. 검수 에이전트는 LangGraph로 실행하고, 요구사항 정리·에이전트 초안·프롬프트 학습·정책 고도화 같은 중간 AI 기능은 Claude Agent SDK 기반 서비스로 구현해 제공
2. 정책·데이터·사례·입출력 형식을 함께 관리하는 기준 정보로 두고, 업무별 에이전트를 개발 → 실행 → 개선 흐름으로 연결
3. 실행 결과를 판정·근거·실행 이력·버전과 함께 남기고, 검수자가 확정·수정·보류한 결과를 다음 개선에 반영

검수 문서 자동 생성 (과제 1)

1. 정책 원문에서 근거를 찾아, 짧은 정책을 판별 기준·위반/정상 경계·정책 근거를 갖춘 검수 문서로 자동 변환

데이터 기반 고도화 (과제 2·3)

1. AI가 문서 판정과 검수자 판정을 비교해 어긋난 패턴을 찾고 문서를 개정 (예: 광고에서 통용되는 붙여쓰기·금액 단위·광고 말투는 정상으로 명시)
2. 개선용과 검증용 데이터를 나눠, 개선 효과가 처음 보는 광고에서도 유지되는지 확인
3. 사람은 개정안을 확인하기만 하고 문서를 직접 고치지 않음

"Plan-and-Execute" 패턴과 "Refine" 단계를 적용한 에이전트 아키텍처 (과제 1)

1. Plan: 사용자의 요청을 하위 작업(Sub-Task)으로 나누고 작업 간 순서를 부여
2. Execute(순차): 순서가 있는 하위 작업은 차례대로 끝까지 실행
3. Execute(병렬): 서로 영향을 주지 않는 하위 작업은 병렬로 실행해 응답 속도 향상
4. Refine: 실행 결과를 바탕으로 재계획(Re-planning)해 작업 정확도 향상

외부 일정·구독 일정 연동 설계 (과제 2)

1. 외부 일정(Outlook, Google Calendar)과 구독 캘린더(혜택·이벤트 일정)를 LLM이 구분해 연동 여부와 조회·변경·삭제 가능 여부를 판단하도록 설계

일정 추출 RAG 설계 (과제 1)

1. 필터링: 일정 관리 주체, 구독 여부, 조회 일자 등으로 후보 일정 도출
2. 병렬 검색: 후보 일정을 N개로 나누고 LLM을 병렬로 호출해 제한 응답 시간 내에 요청한 일정 추출
3. 검증: 추출한 일정이 요청에 해당하는지 판단하고 근거를 함께 추출해 정확도 향상

시간 정보 처리를 위한 프롬프트 엔지니어링 (과제 3)

1. 반복 일정과 알림을 정확히 다루도록, 일정 국제 표준(iCalendar)과 ISO 8601 기간 표기를 쓰게 프롬프트 설계

답변 정확도와 UI/UX 연결을 고려한 에이전트 설계 (과제 1)

1. 유사한 함수를 통폐합해 함수 선택을 단순화
2. 대화 외 앱 정보(재생 중인 목록, UI 화면)를 대화에서 활용하도록 설계
3. 인자 선택 정확도가 낮은 함수는 작업을 나누어 순차적으로 호출하도록 설계

비용과 답변 정확도를 위한 프롬프트 엔지니어링 (과제 1·2)

1. API 비용을 줄이기 위해 프롬프트를 최소화하고 파인튜닝으로 답변 경향성 주입
2. 할루시네이션이 잦은 시간 관련 함수는 인자 추출을 NER 방식으로 설계

모델 파인튜닝과 평가 (과제 3)

1. 학습 데이터 포맷을 정의하고 멀티턴 대화 데이터 생성
2. Azure OpenAI로 GPT 모델 파인튜닝
3. 정량 평가(함수 선택 여부·정확도, 인자 선택·추출 정확도)와 정성 평가(멀티턴 유창성, 함수 결과 안내 정확도, 민감한 질문 답변 적합성, 부적절한 요청 대응)

Slot Filling 에이전트 설계·개발 (과제 1)

1. 대화로 영화 정보를 안내하면서 예매에 필요한 정보를 모으도록 Function Calling 기반 LLM Workflow 설계
2. 사용자 기본 정보(위치, 최근 방문 영화관, 선호 극장)를 반영한 추천 정보 제공
3. 긴 대화에서 수집한 정보(Slot)가 누락되지 않도록 상태 관리 모듈 적용

영화 검색 RAG 설계·개발 (과제 3)

1. 전처리: 영화명 유의어 사전을 저장한 Trie 구조로 요청에서 영화 이름 태깅
2. 키워드 추출: LLM으로 요청에서 영화 관련 메타·키워드 추출
3. 관련 영화 검색: 추출한 메타·키워드로 Vector 검색과 메타 필터링 적용
4. 최종 추천: LLM으로 요청에 맞는 영화 선정

영화 메타 분석 파이프라인 자동화 (과제 3)

1. Airflow로 매일 업데이트된 영화 정보에서 LLM과 전처리 모듈로 키워드·요약·메타 추출
2. 추출한 정보를 Vector로 변환해 Vector DB에 동기화

UI/UX와 LLM Workflow 연동 설계 (과제 2)

1. UI(버튼 등)로 수행한 결과를 LLM Workflow의 프롬프트에 포함해 두 기능이 자연스럽게 이어지도록 설계

로그 기반 데이터 수집과 모델 학습 (과제 3)

1. Function Calling 정확도와 멀티턴 유창성을 높이도록, 서비스 로그에서 학습 데이터를 모아 GPT 모델 파인튜닝 (Azure OpenAI)

콘텐츠 기반 추천 파이프라인 구축 (과제 1)

1. 분류·추출: 질문에서 위치와 카테고리 추출 (BERT 계열 분류·NER 모델)
2. 필터: 위치, 카테고리, 불용어 기준으로 매칭 후보 필터링
3. 변환: 장소 정보를 마스킹하고 임베딩 모델로 벡터 변환
4. 검색: Elasticsearch에서 BM25 + 코사인 유사도로 유사 질문 후보 추출
5. 재순위화: 질문 간 포함 관계와 질문-답변 정합성을 판단해 순위를 매기고 상위 N개 제공

추천 파이프라인에 쓰인 모델 개발 (과제 1)

1. 임베딩 모델: 유사한 문장이 가깝게 놓이도록 Siamese Network 방식으로 BERT 계열 모델 학습
2. 계층형 다중 분류 모델: 계층 구조의 주제 분류 데이터를 만들고 BERT 계열 모델 학습
3. NER 모델: 질문에서 장소·키워드를 추출하도록 BIO 태깅 방식으로 학습

모델 평가 파이프라인 구축 (과제 2)

1. 카테고리가 바뀐 데이터와 전체 중 N개 샘플을 외부 업체에 맡겨 정답(Ground Truth) 라벨링
2. F1·Accuracy 기준으로 평가하고 예측 정확도가 낮은 데이터 추출
3. 재학습 후 Golden Set 평가를 거쳐 배포 결정

신규 데이터 배치 처리 (과제 1)

1. 새로 올라온 질문-답변이 추천 후보에 반영되도록 Airflow 배치로 벡터 변환·저장과 Vector DB 재색인 자동화