🟣 AI & ML35 Google의 Gemma 2 모델 Mac Silicon 환경에서 구동하기 기존의 LLM 모델들은 CUDA 외의 다른 GPU 환경 지원을 잘 하지 않았지만, Mac의 Silicon 프로세서가 대중화되면서 Mac에서도 LLM을 사용할 수 있도록 환경이 많이 개선되었습니다. 이번 포스트에서는 Google의 Gemma 모델 중 크기가 가장 작은 2b 모델을 Mac 환경에서 구동해보고, 답변이 잘 출력되는지 간단히 테스트해보겠습니다. 먼저, 프로젝트 폴더 구성은 다음과 같이 설정할 것입니다. models 폴더 안에 모델명으로 폴더가 생성되고, 이 안에 모델 파일들이 내려받아지게 됩니다..env 파일은 보안이 필요한 Huggingface 토큰을 저장하는 용도이며, gemma-2b-it.ipynb 노트북에서 모델을 불러와 추론을 수행합니다. myllm└───models│ └───ge.. 2024. 9. 22. OpenAI, 복잡한 작업의 추론에 특화된 'OpenAI o1' 모델 미리보기 공개 TL;DROpenAI에서 오늘 추론 특화 모델 'OpenAI o1'을 공개했습니다. 현재의 거대 언어 모델(LLM)들은 방대한 분야의 일반 지식을 학습하다보니 특정 분야의 깊이 있는 사고가 필요한 문제 해결에는 어려움을 겪는 모습을 보였습니다. OpenAI는 이러한 문제를 인식하고, 생각 사슬(Chain of thought)과 같은 알고리즘 등을 활용해 추론 능력을 특화시킨 모델을 별도의 제품 라인으로 출시했습니다. 특히, 소개 영상 중 Korean Cipher 라는 이름의 영상에서는 암호처럼 변형된 한국어를 해석해내는 재밌는 능력을 볼 수 있습니다. LLM 강의 영상에서도 보았던 OpenAI의 정형원 연구원님의 한국어 관련 영상이 보이는 것이 반갑습니다. 원문 링크:https://openai.com.. 2024. 9. 13. Stability AI API의 Inpaint 기능으로 그림의 일부 파트만 생성하기 뛰어난 이미지 생성 성능으로 잘 알려진 diffusion 기반 이미지 생성 모델 stable diffusion은 오픈 소스로 공개되어 있기도 하지만, 모델을 운용할 인프라가 부족하다면 Stability AI 사의 API 서비스로 이용할 수 있기도 합니다. Stability AI API 서비스 페이지 API 서비스는 비용이 부과되지만, 간편하게 앱을 구축할 수 있다는 장점이 있습니다. 비용은 크레딧(credit)을 충전하는 형태이며, 10$에 1,000 크레딧을 구매할 수 있습니다. Pricing 메뉴에서 task 별 소모되는 크레딧을 볼 수 있는데, 업스케일이나 영상 생성 같은 무거운 작업이 아니라면 한 번에 4-8 크레딧 정도가 소모되는 것 같습니다. 1,000 크레딧 정도면 개인 프로젝트용으로는 충분.. 2024. 9. 9. LangServe를 이용해 LangChain 앱을 API로 이용하기 LangChain 으로 LLM 기반 Chain 객체를 만들면, 이를 API로 구성하여 앱에서 이용하거나 원격으로 접근하여 공용으로 사용하게 할 수 있습니다. Python 기반 백엔드를 API로 구성하려면 Flask, FastAPI로 직접 구성할 수 있겠지만 LangChain에서는 이미 LangServe라고 하여 간편히 배포할 수 있는 도구를 제공합니다. LangServe 문서 LangServe는 이미 FastAPI 및 uvicorn을 기반으로 만들어져 있으므로, FastAPI에 익숙하다면 유사한 인터페이스로 이용할 수 있습니다. 본 예제에서는 OpenAI 언어 모델을 LangChain 객체로 변환한 간단한 구조의 API를 구성해볼 것입니다. 다음과 같이 langserve_server.py 라는 이름의 파.. 2024. 9. 7. Pytorch, 온디바이스 LLM 구동이 가능한 torchchat 소개 TL;DRPytorch에서 torchchat이라는 LLM 프레임워크를 소개했다.이미 LLM을 연동하는 서비스는 많은데 왜?라는 생각이 들었는데, torchchat은 로컬이나 온디바이스에서의 효율적인 추론에 초점을 맞춘 것 같다.Github에서도 llama.c, 양자화와 같은 LLM 경량화 프로젝트에 영향을 많이 받았음을 언급하고 있다.본 포스트에서는 torchchat을 사용해보기 전에 Pytorch가 소개한 아티클을 살펴보도록 한다. 출처:https://pytorch.org/blog/torchchat-local-llm-inference Introducing torchchat: Accelerating Local LLM Inference on Laptop, Desktop and MobileToday, we.. 2024. 7. 31. Google DeepMind, AI로 국제 수학 올림피아드(IMO) 은메달 수준 달성 TL; DRLLM을 이용하여 각종 정보를 요약하다보면, 가장 난관에 부딪치는 부분이 수식 파트이다. 특히 논문 정보를 요약하고자 할 때, 수식 파트에 대한 깊이 있는 해석을 얻기 힘들다.Neuro-symbolic 시스템은 이러한 수식들을 잘 이해하고, 이를 바탕으로 수학적 추론이 가능하게 학습된 모델이다. 본문에 등장하는 Goolgle DeepMind(Alphago로 유명한)의 AlphaGeometry 및 AlphaProof가 여기에 속한다.본 포스트에서는 Google DeepMind가 AlphaGeometry 및 AlphaProof로 이루어낸 최근 성과를 요약하여 소개해 본다. * 가독성을 위해 그림 크기를 최소화 했습니다. 클릭 시 확대됩니다.출처: https://deepmind.google/dis.. 2024. 7. 26. Mistral, 새로운 플래그십 모델 Mistral Large 2 출시 TL; DRLlama 3.1이 출시된 지 하루만에 소형 모델의 강자인 프랑스 기업 Mistral에서도 새 모델 Large 2를 발표했다. Google I/O 하루 전날 OpenAI에서 GPT-4o를 공개했던 것이 생각나는데, AI 기업 간의 신경전이 치열해 보인다.Mistral의 새 모델은 Llama의 플래그십 모델만큼 크지는 않지만, 충분히 강력하고 실용적으로 보인다. 무엇보다, 한국어를 지원하는 것이 반갑다.공식 홈페이지의 릴리즈 노트를 먼저 살펴보자. * 가독성을 위해 그림 크기를 최소화 했습니다. 클릭 시 확대됩니다.출처: https://mistral.ai/news/mistral-large-2407/ Large EnoughToday, we are announcing Mistral Large 2.. 2024. 7. 25. 405B 사이즈 모델을 포함한 Llama 3.1 버전 릴리즈 노트 살펴보기 TL;DRLlama 3 초기 버전 출시 후 예고되었던 405B 모델이 출시되었다. 이런 저런 업데이트를 포함하여, Llama 3.1로 발표가 되었다. 405B 모델의 성능은 공개 모델만큼 강력해보이지만, 높은 인프라 수준을 요구할 것으로 보인다. 이 외에도 각종 개발 편의성이나 안정성이 개선된 것으로 보인다. 모델을 사용해보기 전에, 먼저 공식 홈페이지의 릴리즈 노트를 살펴보자. * 가독성을 위해 그림 크기를 최소화했습니다. 클릭 시 확대됩니다.출처: https://ai.meta.com/blog/meta-llama-3-1/ Introducing Llama 3.1: Our most capable models to dateFor this release, we evaluated performance on o.. 2024. 7. 25. 이전 1 2 3 4 5 다음
