그들은 오늘날 소프트웨어 세계에서 매우 인기가 있습니다.그들은 새로운 기사, 블로그 게시물, 코스 및 우리 산업의 선도적 인 회사의 모델을 소개합니다.Meta, Huggingface, Microsoft 등, 우리는 새로운 기술을 밀접하게 따라야합니다. 우리는 이러한 주제를 소개하고 최신 기술에 대해 최신 상태를 유지하기 위해 몇 가지 짧고 유익한 기사를 작성하기로 결정했습니다.The first topic we will cover will be RAG (Retrieval-Augmented Generation). 우리는 우리가 결정한 주제에 관한 일련의 기사를 만들 것이며, 서로 유용하고 보완되는 세 가지 다른 기사가 있습니다.이 기사는 RAG 모델의 정의와 기본 정보로 시리즈를 시작합니다. 대형 언어 모델은 우리의 삶의 모든 측면에 들어 왔습니다. 우리는 그들이 분야를 혁명했다고 말할 수 있습니다. 그러나, 그들은 우리가 그들을 부르는 것처럼 완벽한 도구가 아닙니다. 그것은 또한 주요 단점이 있습니다 : 그것은 훈련에 충실합니다. 그것은 훈련 된 데이터에 충실합니다. 그들은 이것에서 벗어날 수 없습니다. 2022 년 11 월 훈련을 완료 한 모델은 2023 년 1 월에 나타난 뉴스, 법률, 기술 개발 등을 마스터 할 수 없습니다. 예를 들어, 훈련을 완료하고 2021 년에 봉사 한 LLM 모델은 2022 년 2 월 24 일에 시작된 러시아 - 우크라이나 전쟁에 관한 질문에 대답 할 수 없습니다. 이것은 그 날짜 이전에 개발이 완료되었기 때문입니다. 당연히이 문제는 해결되지 않았고 새로운 제품, 새로운 시스템이 도입되었습니다. RAG (Retrieval-Augmented Generation) 시스템은 당신이 그것을 필요로 할 때마다 최신 정보를 제공하기 위해 나타났습니다. 우리 기사의 나머지 부분에서 LLM 모델과 RAG 시스템으로 만들어진 시스템을 하나씩 자세히 살펴보자. LLM 모델에 대한 정보 접근 큰 언어 모델의 작동 원리는 훈련 중에 가르쳐진 데이터, 즉 정적 지식에 근거합니다. 그들은 어떤 수단을 통해 외부 데이터를 추출 할 수있는 능력이 없습니다. 예를 들어, 아이를 고려하십시오.이 아이의 외부 통신을 끊고 영어 만 가르치면 그들로부터 한 마디의 중국어를 들을 수 없습니다. 이것은 우리가 중국어가 아닌 영어로 유통하는 아이를 키웠기 때문입니다.외부 세계와의 연결을 끊어 외부 소스에서 배울 수있는 능력을 제한했습니다.이 아이와 마찬가지로 LLM 모델도 기본 지식으로 주입되지만 외부 데이터로 폐쇄됩니다. LLM 모델의 또 다른 특징은 그들이 블랙박스라는 것입니다.이 모델은 그들이 수행하는 작업을 수행하는 이유를 완전히 인식하지 않습니다. 그들은 계산을 수학적 작업에만 기초합니다. 어떤 LLM 모델을 묻는다면, "왜 그 대답을 주었습니까?"당신은 아마도 그를 너무 열심히 밀고 있습니다.그들은 추론이나 연구를 통해 질문에 대답하지 않습니다.여기에 열쇠 단어는 "왜?"우리는 또한 LLM 모델에서 버그라고 생각할 수 있습니다. 이 구조를 더 잘 이해하려면 건강 관리 분야의 예를 들어 봅시다. 사용자가 "내 얼굴과 눈에 통증이 있고 지속적인 콧수염이 있습니다. 무엇을해야합니까?", LLM 모델은 "내 얼굴과 눈의 통증과 콧수염의 징후가 될 수 있습니다. 의사와 상담하십시오. 급성 콧수염은 항생제로 치료됩니다. 약물 외에도 콧수염을 진정시키기 위해 바다 물이나 소금과 같은 코 스프레이를 사용할 수 있습니다." 이 시점까지 모든 것이 정상처럼 보일 수 있습니다. 그러나 우리가 모델에게 "왜 그 대답을 주었습니까?"라고 묻는다면,이 대답 후 상황은 복잡해집니다.이 대답을 제공 한 모델의 이유는 "면 통증"과 "노스 드롭"라는 단어가 훈련 데이터에서 "당뇨병"이라는 단어와 함께 자주 나타났기 때문입니다.이 모델은 통계적 패턴으로 기억에 정보를 저장하는 것을 선호합니다.수학적 표현은 LLM 모델에 중요합니다. 그것은 출처를 기반으로 메모리에 정보를 저장하는 것을 선호하지 않기 때문에, 그것은 질문에 대답하고 대부분의 사람들을 즉시 만족하지만, 더 수사적 인 성격을 가진 사람들이 모델에 물을 때, "왜 당신은이 대답을했다?", 모델은 설명적인 대답을 생산하지 못한다. RAG : LLM을 Retrieval Systems와 결합 RAG 시스템은 순수한 LLM 모델에 구축 된 시스템에 비해 혁신을 제공합니다. 이들 중 하나는 LLM 모델과 같은 정적 정보가 아닌 동적 정보로 작동하는 것입니다. 다른 말로하면, 그들은 또한 그들이 훈련받은 데이터에 한정되지 않고 외부 소스를 스캔합니다. RAG의 첫 번째 "r"는 검색을 의미합니다. 생성기는 두 번째 주요 구성 요소이며, 이 문서에서는 RAG의 작동 원칙을 간략하게 다루겠습니다 : Retrieval은 외부 소스에서 정보를 스캔하고 "chunks"라고 불리는 작은 조각으로 분해함으로써 사용자의 질문에 관련된 문서를 검색합니다. 그것은 이러한 조각과 사용자의 질문을 벡터화하고, 그들 사이의 적합성을 검사함으로써 가장 효율적인 대답을 생성합니다. 대답을 생성하는이 작업은 "세대"에 의해 수행됩니다. 우리는이 시리즈의 다음 기사에서 자세히 논의 할 것입니다. RAG 시스템을 구성하는 이러한 기본 구성 요소는 강한 구조를 만듭니다. 그들은 순수한 LLM 모델과 같은 정적 정보에 갇혀 있지 않도록 방지합니다. RAG 시스템은 특히 최신 정보를 필요로하는 많은 분야에서 상당한 이점을 제공합니다. 예를 들어, 의학 분야에서 의사의 모델을 만들고 싶을 수도 있습니다. 귀하의 모델이 중요한 영역을 제공하기 때문에 오래된 또는 불완전한 정보가 없을 것입니다. IT 분야와 마찬가지로 의료 세계는 매일 발전하고 있으며 새로운 연구가 진행되고 있습니다. 그러므로 귀하의 모델은 최신 연구조차 마스터 할 것으로 예상됩니다. 그렇지 않으면 오류 모델로 인한 인간의 생명을 위협 할 위험이 있습니다. RAG 시스템과 LLM 모델 사이의 근본적인 차이점은 RAG의 핵심 철학입니다 : "정보를 저장하지 말고 필요할 때 액세스하십시오!"그러나 순수한 대형 언어 모델은 기억에 정보를 저장하고 훈련 후에 답변을 생산하는 반면, RAG 시스템은 필요할 때마다 외부를 검색하고 스캔하여 정보에 액세스합니다. 인터넷을 검색하는 인간과 마찬가지로, 이것은 순수한 LLM 모델의 가장 중요한 단점 중 하나를 극복합니다 : 메모리 의존성. 
 
 
 
 
 
 시나리오 : 사용자: "2024년 12월 미국의 인플레이션 비율은 무엇입니까?" LLM : "12 월 2022 데이터에 따르면 6.5%였습니다." (현재 응답이 없습니다) 라그 : 
 
 
 Retrieves December 2024 data from a reliable source or database (World Bank, Trading Economics, etc.). LLM uses this data and responds, "According to Trading Economics, inflation in the United States for December 2024 is announced as 2.9%." Scenario: User: "What is the United States' December 2024 inflation rate?" LLM: "According to December 2022 data, it was 6.5%." (Not an up-to-date answer) RAG: 
 
 
 신뢰할 수 있는 소스 또는 데이터베이스(세계 은행, 무역 경제 등)에서 2024년 12월 데이터를 가져옵니다. LLM은이 데이터를 사용하여 "무역 경제학에 따르면 2024 년 12 월 미국의 인플레이션은 2.9%로 발표됩니다."라고 응답합니다. 지금까지 우리가 논의 한 것을 간략하게 비교하고 아래 표에 제시합시다. 
 
 
 
 
 
 
 
 
 
 Features 
 LLM (static model) 
 RAG (retrieval-augmented generation) 
 
 
 
 
 Information 
 Limited to training data 
 Can pull real-time information from external sources 
 
 
 
 
 Current Level 
 Low 
 High 
 
 
 
 
 Transparency 
 The source of the decision cannot be disclosed (black box) 
 The source can be cited 정보 교육 데이터에 한정 외부 소스에서 실시간 정보를 추출할 수 있습니다. 현재 수준 낮은 높은 투명성 결정의 원인을 공개할 수 없습니다 (블랙박스) 출처를 인용할 수 있다 결론적으로, LLM 모델은 그들이 훈련받은 데이터에 한정되어 있지만, RAG 시스템은 특정 LLM 모델에 구축되어 기본 지식을 가지고있을뿐만 아니라 외부 소스에서 실시간 정보를 그릴 수있는 능력을 가지고 있습니다.이 장점은 항상 최신 상태를 보장합니다. 이것은 시리즈의 첫 번째 기사를 마무리합니다. 다음 기사에서 우리는 더 많은 기술적 인 측면을 탐구 할 것입니다.이 작업의 실습에 액세스하거나 검토하고자하는 친구를 위해 기사의 끝에 내 GitHub 계정에서 Python과 관련된 라이브러리에 대한 링크를 찾을 수 있습니다. 시리즈의 다음 기사에서 여러분을 만나길 바랍니다. 더 읽기 “우리는 또한 Facebook AI의 2020 RAG 논문의 기초적 기여를 인정하고 싶습니다.이 논문의 관점에 상당한 정보를 제공했습니다.” GitHub에 대하여 다중 모델 RAG Chatbot Project PDF RAG 채팅봇 프로젝트

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

이 오디오는 이야기의 원래 언어로 제작되었습니다!

RAG 시스템은 언어 모델의 장벽을 깨고 있습니다 : 여기에 어떻게

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

볼츠만 뇌 이론에 대한 간략한 소개

사용자 중심의 암호화 제품 만들기: 고객 피드백의 중요성

포럼에서 피드까지: 소셜 미디어 알고리즘이 디지털 상호작용을 형성하는 방식

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

볼츠만 뇌 이론에 대한 간략한 소개

사용자 중심의 암호화 제품 만들기: 고객 피드백의 중요성

포럼에서 피드까지: 소셜 미디어 알고리즘이 디지털 상호작용을 형성하는 방식

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps