Ollama

"맥북에서 LLM을 실행해보자! (Llama2, Ollama)"글의 다음편 입니다. https://w-storage.tistory.com/53 맥북에서 LLM을 실행해보자! (Llama2, Ollama) 1. 개요 바야흐로 LLM(Large language model) 전성시대이다. 하루가 멀다하고 여러 LLM이 등장하고 있으며 이를 통해 생산성이 크게 향상되고 있다. 유명한 LLM으로는 GPT, Gemini, Claude등이 있는데, 이런 서 w-storage.tistory.com 1. 개요 지난번 local LLM을 설치해보고, 실행해 보았다. 이번엔 Llama2모델을 VSCode와 연동해서 Copilot처럼 실행해보는 방법을 알아보았다. 2. VSCode 확장 프로그램 설치 여러 프로그램이 있지만 ..

1. 개요 바야흐로 LLM(Large language model) 전성시대이다. 하루가 멀다하고 여러 LLM이 등장하고 있으며 이를 통해 생산성이 크게 향상되고 있다. 유명한 LLM으로는 GPT, Gemini, Claude등이 있는데, 이런 서비스들은 성능도 좋고 여러가지 편의기능도 제공되지만 대화 내역이 각 회사의 서버에 저장되며, 분석용으로 쓰인다는 보안적 문제가 있다. 이런 문제 때문에 민감한 코드, 데이터를 입력하기 꺼려질 때가 있는데 이런 문제를 해결하기 위해 local LLM(on device LLM)과 간단한 사용법, 성능을 알아보았다. 2. 프로그램 설치 우선 아래 사이트에서 Ollama를 다운로드한다. Ollama는 여러가지 LLM모델들을 쉽게 사용할 수 있게 도와주는 도구이다. htt..