나름개발블로그

LLM 이란 Large Language Modle로 언어 모델중에서 파라미터의 개수가 많은 모델 을 뜻한다. 기본적으로 언어 모델이란 입력값을 기반으로 출력값을 통계적으로 답변하는 모델이다. 기술의 발전으로 인해서 거대한 언어 모델을 운영 개발 할 수 있게 되었고 현재 AI 분야에서 매우 핫한 곳이다. 특히 23년도에 open ai에서 발표한 chat gpt로 인해 대중에게 좀 더 다가왔고 현재는 많은 곳에서 llm을 이용한 비즈니스를 진행하고 있고 , 더 발전시키기 위해서 노력하고 있다.   llm 을 개인이 직접 개발하는 것은 현실적으로 많은 어려움이 존재 한다. 일반적으로 학습하는데 많은 gpu 자원이 필요 할 뿐아니라 시간 , 데이터도 필요 하다. 그래서 기존에 공개된 모델을 이용해서 fine t..