LLM - intro

 

LLM 이란 Large Language Modle로 언어 모델중에서 파라미터의 개수가 많은 모델 을 뜻한다. 기본적으로 언어 모델이란 입력값을 기반으로 출력값을 통계적으로 답변하는 모델이다. 기술의 발전으로 인해서 거대한 언어 모델을 운영 개발 할 수 있게 되었고 현재 AI 분야에서 매우 핫한 곳이다. 특히 23년도에 open ai에서 발표한 chat gpt로 인해 대중에게 좀 더 다가왔고 현재는 많은 곳에서 llm을 이용한 비즈니스를 진행하고 있고 , 더 발전시키기 위해서 노력하고 있다. 

 

 

llm 을 개인이 직접 개발하는 것은 현실적으로 많은 어려움이 존재 한다. 일반적으로 학습하는데 많은 gpu 자원이 필요 할 뿐아니라 시간 , 데이터도 필요 하다. 그래서 기존에 공개된 모델을 이용해서 fine tuning을 하던지 rag 를 구성 해서 한다던지 자신에게 맞는 방식으로 바꿔서 사용 하고 있다. 

가장 유명한 것중 하나는 openai에서 chat-gpt 가 있고 현재 무료 버전과 유료버전을 나눠서 사용하고 있다. 개인적으로 나는 단순 질문을 하는 것들은 무료버전을 사용 하고 있지만 좀 더 복잡한 작업을 하거나 개발에 슬때는 유료버전을 사용한다. 이 외에도 open으로 풀린 언어모델들도 존재하고, 허깅페이스에서 찾아서 볼 수있다. 유명한것들은 meta에 llama , google gemini , bing copliot등이있다.

단순하게  사용할 때는 gpt-4 가 가장 성능이 좋았고 쓸만했다. 무료로 gpt-4를 사용하는 방법이 있는데 ,  bing에서 copliot을 사용 하면 된다. 기본적으로 bing 에서 검색해서 결과를 정리하거나 만들어주는 식으로 작동한다. 

 

https://www.bing.com/chat?q=Microsoft+Copilot&FORM=hpcodx

Microsoft - Bing

https://chat.openai.com/

https://huggingface.co/

Hugging Face – The AI community building the future.

 

 

그래서 난 무엇을 할 것 이냐? 이미 익숙한 것도 있고 익숙하지 않는 것들이 있는데 하나씩 정리해 나갈 예정이다. 머신러닝 엔지니어로서 봐야할 부분과, 비즈니스영역에서 봐야 할 것들이 무엇이 있는 지 확인하고 찾아 볼 예정이다. 우선 langchain에 관해서 딥하게 해보고 정리를 할예정이다. 중간중간 필요한, 새로나온 지식 들이나 새로운 툴등을 사용해 보고 리뷰? 같은 것들도 작성할 예정이다. 단순하게 이 페이지를 적고 있어도 다양하게 적을 만한 주제들이 넘처나지만, 다 적기에는 내가 개인적으로 부족? 해서 하나씩 진행해서 블로그를 채울 예정이다.