🟣 AI & ML18 검색증강생성(RAG) - Ragas를 이용한 RAG 파이프라인 평가 2023.11.01 - [🔵 AI & ML] - 검색증강생성(RAG) 이해하기 - 01. 벡터 DB 기초 개념 TL;DR 이전 포스트에서 벡터 DB와 검색 증강 생성(RAG)에 대한 간단한 개념을 알아보았다. 그럼, 벡터 DB를 이용해 구축한 RAG 파이프라인을 어떻게 평가할 수 있을까? 언어 모델 자체의 평가에 있어서는 여러 지표가 알려져 있지만, 최근 주목받기 시작한 RAG 분야에 특화된 평가 지표는 확립되어 있지 않은 것 같다. 이 포스트에서는, RAG 파이프라인 평가 프레임워크인 Ragas를 참고하여 RAG의 평가 방법을 알아본다. * 이해를 돕기 위한 의역이 포함될 수 있습니다. Ragas Ragas(Retrieval-Augmented Generation Assessment)는 RAG 파이프라인.. 2024. 1. 27. LLM 이해하기 - LLM의 기초 개념 TL;DR ChatGPT가 불러온 LLM과 AI의 시대는 아직도 계속되고 있으며, LLM은 계속 진화하고 있다. 이제 SF 창작물에서만 보던 AGI(Artificial General Intelligence) 시대가 점점 다가오고 있는 것 같다. 이 시리즈는 LLM을 기초부터 시작하여 다양한 시각에서 관찰해 나가며 이해하는 것을 목적으로 한다. 이 포스트는 Andrej Karpathy와 정형원 님, 고우영 님의 교육 자료를 주로 참고했고, 그 외 다양한 자료를 참고하여 작성되었음을 미리 밝힌다. Andrej Karpathy(OpenAI, Tesla)의 'Intro to Large Language Models' 영상 링크: https://www.youtube.com/watch?v=zjkBMFhNj_g 정형원.. 2024. 1. 14. Microsoft, 2.7B의 경량 규모 언어 모델 출시: Phi-2 TL;DR Microsoft에서 Phi-1.5의 후속 모델을 출시했다. 이미 Orca라는 비교적 작은 사이즈의(7B, 13B) 언어 모델을 출시했었지만 이번엔 그보다 더욱 작은 2.7B 사이즈의 모델이다. 이는 개인이나 작은 사업체에서도 충분히 운용 가능한 사이즈로 볼 수 있다. AI 모델 운용 인프라 보유 능력이 비대칭적으로 변해가면서 경량화 LLM 모델의 수요가 높아지고 있는 가운데, Phi-2 모델이 경량화 LLM에서 주도적인 입지를 가질 수 있을 지 기대된다. Phi-2: The surprising power of small language models Phi-2: 작은 언어 모델의 놀라운 힘 By Mojan Javaheripi , Senior Researcher Sébastien Bubeck ,.. 2024. 1. 10. 경량화 LLM을 이용한 SQL 생성기를 만들어보자 TL;DR 최근 양자화(Quantization) 등의 방법으로 LLM 경량화가 이루어지면서, 일반 사용자들이 LLM을 이용한 서비스를 구축하기가 한결 수월해졌다. 이 포스트에서는 양자화한 7B 수준의 LLM을 기반으로, 자연어 질의를 SQL로 변환해주는 생성기를 만들어 본다. 본 튜토리얼은 Colab Pro(또는 Pro Plus)의 T4 GPU 및 고용량 RAM 환경에서 수행되었다. 구글 Colab(이하 코랩)은 기본적으로 임시 디렉토리에 파일을 저장하므로, 만약 작업 중 파일을 저장하거나 불러올 때는 구글 드라이브 경로를 지정해주어야 합니다. 드라이브 마운트 후 cd 명령어를 이용해 경로를 설정해줍니다. 필요한 경우에만 실행하면 됩니다. from google.colab import drive drive.. 2024. 1. 6. 애플, 거대 멀티모달 모델(Large Multi-modal Model, LMM) 'Ferret' 공개 Apple's 'Ferret' is a new open-source machine learning model by Malcolm Owen, Product Comparison Expert Source: Apple Insider(Link) TL;DR 뜬금없이 크리스마스 이브날에 애플이 새로운 LMM(Large Multi-modal Model)을 공개했다고 기사가 떴다. 사실 공개는 진작에 했는데 기사화를 크리스마스 기념으로 이번에 한 듯 함. 생각해보니 의외로 애플 정도의 회사가 아직 ChatGPT나 LLaMA와 경쟁할 모델을 내놓지 않았었다. 그나저나 요즘 모델에 동물 이름 붙이는 게 유행인듯 한데(라마, 알파카, 오르카..), 이번엔 페럿이다. 귀엽네.. Researchers working for App.. 2023. 12. 27. Objective Function 이해하기 - 01. Probability와 Likelihood의 차이 'Probability(확률)'와 'Likelihood(가능도 또는 우도)'는 비슷한 개념처럼 보이지만 서로 다른 의미를 가짐. Probability는 어떤 사건이 발생할 가능성의 정도로, 일반적으로 0과 1 사이의 값으로 표현됨. 확률이 0이면 사건이 전혀 발생하지 않을 것을, 확률이 1이면 사건이 반드시 발생할 것을 의미함. 확률은 특정 조건이나 주어진 정보에 기반하여 계산됨. 이에 비해, Likelihood는 주어진 데이터(또는 결과값)에 대한 특정 통계 모델, 또는 매개변수 집합의 적합성을 측정함. Likelihood는 주어진 데이터가 관찰되었을 때, 그 데이터가 어느 정도나 특정 모델 또는 매개변수 값으로부터 '가능한가'를 나타냄. Likelihood는 확률과 달리 확률 분포의 일부가 아니며, .. 2023. 12. 19. 검색증강생성(RAG): 벡터 DB 기초 TL; DR 우리가 어떤 목적이나 데이터에 특화된 customized LLM 앱을 만들고 싶다고 해 보자. 그러면 사용자가 가진 데이터(예: 책, 대화 기록, 기술 문서 등)을 모델에게 추가로 학습시켜야 하는데, LLM을 학습시키는 것은 상당히 높은 컴퓨팅 자원을 요구한다. 그 뿐 아니라, LLM에 맞게 데이터셋과 코드를 별도로 구축해야 하는 번거로움이 있다. 이 때 하나의 대안이 되는 방법이 검색 증강 생성(RAG)이며, 벡터 DB는 RAG 프레임워크의 주요 구성 요소이다. 이 포스트에서는 먼저 RAG와 벡터 DB의 기초 개념과 그 활용 양상에 대해 간단히 살펴본다. 벡터 벡터는 길이와 방향을 가진 수학적 객체를 말한다. 이는 $n$차원 벡터 공간에서의 위치를 나타내며, 이 위치는 길이가 $n$인 1차.. 2023. 11. 1. Meta, OpenAI·구글과 경쟁할 오픈소스 상용 AI 모델 출시 Meta to release open-source commercial AI model to compete with OpenAI and Google Meta, OpenAI·구글과 경쟁할 오픈소스 상용 AI 모델 출시 Developers could use the open-source LLM to build generative AI applications, like ChatGPT, for startups or established businesses. 개발자들은 오픈 소스 LLM을 사용하여 스타트업이나 기성 기업을 위한 ChatGPT와 같은 생성적 AI 애플리케이션을 구축할 수 있습니다. by Maria Diaz, Staff Writer Source: https://www.zdnet.com/article/me.. 2023. 7. 16. 이전 1 2 3 다음
