[iOS] 온디바이스 RAG 기반 PDF 챗봇 구현하기 (Embedding + SLM)
·
iOS 🍎 Swift
최근 다양한 서비스에서 문서 기반 질문 응답 시스템이 활용되고 있다. 예를 들면 다음과 같은 기능이다.💬 회사 내부 문서를 기반으로 질문 응답🤖 매뉴얼 문서를 기반으로 고객 지원 챗봇🔍 연구 문서를 기반으로 정보 검색이러한 시스템은 일반적으로 서버 기반 LLM을 사용해 구현된다. 하지만 최근에는 온디바이스에서 실행 가능한 Small Language Model(SLM)을 활용하여 문서 기반 QA 시스템을 구현하는 것도 가능해졌다. 특히 다음과 같은 상황에서는 온디바이스 방식이 유리하다.내부 문서를 외부 서버로 전송할 수 없는 경우네트워크 연결 없이 동작해야 하는 경우서버 비용을 최소화해야 하는 경우 이번 글에서는 PDF 문서를 기반으로 질문에 답변하는 Grounded QA 시스템을 온디바이스 환경에서..