← 포트폴리오로

SK텔레콤 · 2024.04 – 2024.12

에이닷 메인 에이전트

역할 · 에이전트 설계, 프롬프트 엔지니어링, 학습 데이터 정의, 모델 파인튜닝

60→80%함수 호출 성공률17개 기능(함수) 기준, 파인튜닝·프롬프트 개선

01배경 및 목표

  • 에이닷의 대표 LLM 에이전트로, 일상 대화와 환율·날씨·시간·길 찾기·뉴스·지하철 혼잡도 등 17가지 기능을 제공합니다.

02핵심 과제

  • C1 함수 호출 정확도와 할루시네이션
  • C2 API 비용과 응답 속도
  • C3 멀티턴 대화 품질

03기여 내용

답변 정확도와 UI/UX 연결을 고려한 에이전트 설계C1
  1. 유사한 함수를 통폐합해 함수 선택을 단순화
  2. 대화 외 앱 정보(재생 중인 목록, UI 화면)를 대화에서 활용하도록 설계
  3. 인자 선택 정확도가 낮은 함수는 작업을 나누어 순차적으로 호출하도록 설계
비용과 답변 정확도를 위한 프롬프트 엔지니어링C1C2
  1. API 비용을 줄이기 위해 프롬프트를 최소화하고 파인튜닝으로 답변 경향성 주입
  2. 할루시네이션이 잦은 시간 관련 함수는 인자 추출을 NER 방식으로 설계
모델 파인튜닝과 평가C3
  1. 학습 데이터 포맷을 정의하고 멀티턴 대화 데이터 생성
  2. Azure OpenAI로 GPT 모델 파인튜닝
  3. 정량 평가(함수 선택 여부·정확도, 인자 선택·추출 정확도)와 정성 평가(멀티턴 유창성, 함수 결과 안내 정확도, 민감한 질문 답변 적합성, 부적절한 요청 대응)

04기술 스택

프레임워크 · 플랫폼
Azure OpenAI
방법론
Prompt Engineering, Function Calling, Fine-tuning, NER

05성과

  • 파인튜닝과 프롬프트 엔지니어링으로 17개 기능(함수) 호출 성공률 60% → 80%
  • 시간 관련 인자를 NER로 추출한 뒤 순차 분석해 할루시네이션 감소·시간 인식 정확도 향상

06참고 자료