고려대학교 (대학원 프로젝트) · 2020.04 – 2020.07
오픈 도메인 한국어 질의응답 시스템
01배경 및 목표
- 검색 엔진을 활용해 오픈 도메인 질문의 답을 찾는 시스템을 개발했습니다.
- 네이버·다음에서 제공하는 문서를 수집해 문단으로 나누고, BERT 기반 언어모델로 문서에서 정답에 해당하는 구간을 찾습니다.
02기여 내용
검색과 기계 독해
- 검색 엔진으로 후보 문서를 수집하고 문단 단위로 분리
- BERT·KoBERT·HanBERT를 파인튜닝해 정답 구간을 추출하고 정량·정성 평가로 최종 모델 선정
웹 데모
- Flask로 웹 데모 페이지를 구축하고 운영
03기술 스택
- 프레임워크 · 플랫폼
- PyTorch, Flask, Transformers
- 방법론
- Machine Reading Comprehension, Span Extraction
04성과
- 웹 데모 운영, 코드 공개