LlamaIndex는 대규모 언어 모델에 개인 데이터를 추가합니다.

지난 가을, GPT-4의 전신인 OpenAI의 GPT-3 텍스트 생성 AI 모델을 시험해 본 후 전직 Uber 연구 과학자인 Jerry Liu는 개인 데이터를 다루는 모델의 능력에 대해 자신이 설명하는 "한계"를 발견했습니다(예: 개인 파일). 이 문제를 해결하기 위해 그는 GPT-3 및 GPT-4와 같은 대규모 언어 모델(LLM)의 기능과 사용 사례를 잠금 해제하도록 설계된 오픈 소스 프로젝트인 LlamaIndex를 시작했습니다.

Liu는 이메일 인터뷰에서 TechCrunch에 "LLM은 지식 추출 및 추론을 위한 놀라운 기능을 제공합니다. 질문 답변, 요약 및 통찰력 추출을 수행할 수 있으며 외부 환경과의 순차적 의사결정까지 수행할 수 있습니다"라고 말했습니다. "하지만 LLM에는 한계가 있습니다."

프로젝트의 인기가 높아짐에 따라(월 다운로드 수 200,000건) Liu는 Uber의 옛 동료 중 한 명인 Simon Suo와 힘을 합쳐 LlamaIndex를 본격적인 회사로 만들었습니다. 현재 LlamaIndex(회사)는 개발자가 개인 또는 조직 데이터 외에 LLM의 기능을 활용할 수 있도록 지원하는 프레임워크를 제공합니다.

"LlamaIndex는 개발자가 LLM 응용 프로그램의 데이터를 관리하는 데 [도움이 됩니다]"라고 Liu는 말했습니다. "우리 툴킷에는 이 측면에 대한 가장 깊이 있는 내용이 포함되어 있으며 개발자가 사용하는 다른 도구와 쉽게 통합할 수 있습니다."

이미지 크레딧:라마인덱스

LlamaIndex 프레임워크를 사용하면 개발자는 PDF, PowerPoint와 같은 파일, Notion 및 Slack과 같은 앱, Postgres 및 MongoDB와 같은 데이터베이스의 데이터를 LLM에 연결할 수 있습니다. 프레임워크에는 데이터 소스 및 데이터 형식을 수집하는 커넥터는 물론 LLM과 함께 쉽게 사용할 수 있도록 데이터를 구조화하는 방법이 포함되어 있습니다.

또한 LlamaIndex는 개발자가 LLM 입력 프롬프트를 입력하여 Liu가 설명했듯이 "컨텍스트 및 지식이 강화된" 출력을 되돌릴 수 있는 데이터 검색 및 쿼리 인터페이스를 제공합니다.

Liu는 "LLM 애플리케이션과 에이전트를 위한 기본 빌딩 블록을 제공하는 다른 LLM 애플리케이션 프레임워크가 있습니다"라고 말했습니다. "LlamaIndex의 특별한 점은 데이터 소스를 LLM과 연결하는 데 중점을 두고 있으며 LLM 애플리케이션과 관련된 데이터 수집, 데이터 관리, 인덱싱 및 데이터 검색에 대한 광범위한 도구를 갖추고 있다는 것입니다."

이러한 방식으로 LLM을 확대할 전망은 최근 종료된 시드 자금 조달 라운드에서 LlamaIndex에 850만 달러를 약속한 투자자들의 관심을 끌었습니다. Greylock은 Jack Altman, Lenny Rachitsky 및 Charles Xie를 포함한 엔젤 투자자들의 참여로 주도했습니다.

그렇다면 LlamaIndex는 어디에 돈을 쓸까요? Liu는 이것이 올해 말 출시 예정인 오픈 소스 LlamaIndex 프로젝트 위에 "엔터프라이즈 솔루션"을 구축하는 데 사용될 것이라고 말했습니다. 한 가지 기능을 통해 고객은 "보호 등급" 데이터 커넥터를 사용하여 대량의 데이터를 구문 분석하고 전송할 수 있으며, 다른 관련 기능을 통해 "도메인별" 데이터를 색인화할 수 있습니다.

"LlamaIndex는 특정 기술에 묶여 있지 않으므로 기술이 발전함에 따라 LLM과 함께 계속 사용할 수 있습니다."라고 Liu는 말했습니다. "AI 산업은 매우 빠르게 움직이고 있기 때문에 새로 등장하는 초기 스택은 앞으로 몇 달 내에 변경될 가능성이 높습니다."