나름개발블로그

정신없이 지나다가 정리하는게 늦어 졌다. 간단하게 랭체인을 챗봇을 만들어보려고 한다. 튜토리얼에 있는 내용을 직접해보면서 내가 느낀점을 정리한다. llm 은 간단하게 ollama를 이용해 llama3 7b를 이용 하겠다. 다른 llm api를 이용해서 사용해도 무관 하다.아래 예제는 기존 대화를 심플하게 넣어줘서 응답을 받는 형식의 예제다.from langchain_community.llms import Ollamafrom langchain_core.messages import HumanMessagefrom langchain_core.messages import AIMessagellm = Ollama(temperature=0, model="llama3")response = llm.invoke( [ ..

오늘은 간단하게 RAG를 구성해 볼 예정이다. 여기에 나온 소스를 조금만 응용하면 다양한 것들을 만들 수 있다. 물론 llm 성능이 중요하긴 하지만 말이다.RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 대규모 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 학습되며 수십억 개의 매개 변수를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성과 같은 작업에 대한 독창적인 결과를 생성합니다. RAG는 이미 강력한 LLM의 기능을 특정 도메인이나 조직의 내부 지식 기반으로 확장하므로 모델을 다시 교육할 필요가 없습니다. 이는 LLM 결과를 개..

오늘은 간단하게 로컬에서 llm을 돌려보는 것을 해볼 예정이다. 잘모르는 초보 개발자를 대상으로 생각하고 진행 할예정이다. 사실 쓰다보면서 대상을 누구로 하냐에 따라서 난이도가 확 달라질것 같았다. 아에 개발이나 컴퓨터를 모르지 않는 대상이 봤으면 괜찮겠다 싶었다.  1. LM Studio 2. Ollama 1. LM Studio https://lmstudio.ai/?utm_source=pytorchkr 👾 LM Studio - Discover and run local LLMsFind, download, and experiment with local LLMslmstudio.ai여기에서 LM Studio 를 다운받는다. 각자의 환경에 맞는 버전을 다운 받는다. 나 같은 경우에는 m1 맥북을 사용 하고 ..