인공지능(AI) 개발 및 클라우드 관리 소프트웨어 전문기업 에이프리카(대표 이규정, 강선근)는 프라이빗 LLM 시장 공략을 시작한다고 28일 밝혔다.

업무 특성상 폐쇄형 환경에서 시스템을 운영해야 하는 공공기관과 민간기업은 데이터 유출 문제 및 할루시네이션(환각현상) 문제로 인하여, 발전하고 있는 LLM기술을 현업에 적용하는데 어려움이 있다. 현재 초거대 AI를 공공 서비스 전반에 활용하려는 디지털플랫폼정부 정책이 확대되고 있음에도 이런 문제들은 업무 현장에서 넘어야 하는 큰 장애물이었다.

이 문제를 해결하기 위해 에이프리카는 폐쇄형 환경에서 보안에 안전하고 환각현상이 없는 LLM서비스가 가능하도록 프라이빗 LLM 구축 서비스를 시작한다. 공공기관이나 민간에서는 업무 특성상, 개별 산업과 관계된 법령, 법규를 참고해야 하는 일이 많다. 예를 들어 플랜트 압력용기를 설계할 때는 산업안전보건법, 에너지이용합리화법, 고압가스안전관리법에 의하여 검사를 받게 되며, 저장탱크의 경우 소방방제청 위험물안전관리법의 검사를 받게 된다.

에이프리카는 우선 이런 법령, 법규를 전문적으로 훈련한 자체 개발한 LLM모델, 가젤(Gazellm)을 출시한다. 가젤(Gazellm)은 LLM에서 일반적으로 발생하는 할루시네이션을 바로잡고, 정확한 답변을 제공하기 위해서 검색 증강 생성 기술인 RAG(Retrieval-Augmented Generation) 적용한다.

특히 임베딩 모델과 프라이빗 LLM을 파인튜닝하여, 매우 높은 검색 정확도와 정확한 답변을 생성하여 사용자들이 신뢰할 수 있는 내부지식에 기반한 생성형 답변을 제공한다. 에이프리카의 인공지능 연구소에서 프라이빗 LLM 컨설팅부터, MLOps 플랫폼 치타를 기반으로 LLM시스템 구축까지 원스톱 서비스를 제공할 예정이다. 또한 각 산업군 별로 도메인 특화 엔진 개발이 가능하도록 학습데이터 구축부터 파인 튜닝까지 전과정을 지원할 예정이다.

이와 함께 에이프리카는 인공지능 개발 플랫폼(MLOps) 치타에 LLM특화 기능을 개발하여, 2024년 상반기 LLMOps 제품을 출시할 예정이다. 현재는 언어모델을 산업현장에 적용하기 위해서는 데이터 사이언티스트가 데이터를 분석하고, 복잡한 파인튜닝 과정을 거쳐야 하며, 학습할 데이터가 새로 생성되거나 증가하면 사람이 개입하여 모델 업데이트를 지속해야 한다. 향후 출시할 LLMOps에서는 사용자가 문서 데이터만 입력하면 LLM모델을 재훈련하고 자동 배포되는 RAG 파이프라인의 전 과정을 자동화하는 LLMOps 체계를 제공할 예정이다.

에이프리카의 이규정 대표는 “공공기관, 금융기관 등 폐쇄형 환경에서 LLM 기술을 적용하려는 시도가 크게 늘고 있다”며, “인공지능 개발 플랫폼 치타는 다양한 공공기관, 민간기관에서 전문적으로 인공지능 전문가들이 AI를 개발하는데 활용되고 있으며, 에이프리카는 생산기술연구원, 경찰청, 광주과학기술원, 현대글로비스 등 기존 고객을 중심으로 RAG기반의 프라이빗 LLM을 구축하고, 이를 전 산업분야로 확대해 나가겠다”고 전했다.

한편, 에이프리카는 11월 29일부터 12월 1일까지 운영되는 2023년 대한민국 소프트웨어대전에서 모회사인 브레인즈컴퍼니와 대형부스를 운영할 계획이다. 부스에서는 에이프리카와 브레인즈의 다양한 제품을 전시하고 제공하며, 부스 내에서 운영하는 세미나를 통하여, 프라이빗 LLM 구축전략을 소개하고 및 LLM 데모 시연을 할 계획이다.