많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
하나의 뛰어난 LLM이 다양한 문제를 해결 할 수 있겠지만 모든 문제를 해결책이 되기는 매우 어려울 것이다. 결국 여러 LLM을 검토 해야 하는데, 다양한 LLM 제공자의 API를 통합하는게 중요하다. LiteLLM을 이용하면 다양한 LLM API를 OpenAI API를 통해서 표준화하여 통합할 수 있다....
여기에서는 Llama3 8b 를 기본 모델로 하여 한글 프리트레이닝된 모델을 ollama를 이용해서 로컬 PC에서 실행 및 테스트 해보려 한다. 특정 도메인에서는 온-프레미스에 오픈소스 LLM을 실행하고 RAG 등을 이용해서 비용효율적인 시스템을 구성하기를 원할 것이다. 이런 목적으로 사용 할 수 있을지 검토하는게 목적이다....
RAG(Retrieval Augmented Generation) 은 생성 기반 모델과 검색 기반 모델의 장점을 결합하여 고품질의 응답을 생성하는 기술이다. RAG의 주요 목표는 전문 도메인 정보를 기반으로 기존의 LLM이 응답하기 힘든 고품질의 텍스트 응답을 생성하는 것이다....
27 POSTS HERE
Llama3와 MySQL을 이용한 Text2SQL
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
Llama3.1 설치한 김에 Few-Shot 프롬프팅
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
Llama3.1 설치 및 프롬프트 테스트
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
신뢰할 수 있는 AI 앱을 설계하기 위한 LLM 개발원칙
LLM(대규모 언어 모델)은 엄청난 잠재력을 가지고 있지만 신뢰할 수 있는 프로덕션 등급 애플리케이션을 개발하는 것은 여전히 어려운 일이다. 신뢰 할 수 있는 프로덕션 등급 LLM 애플리케이션을 개발하기 위한 원칙들을 소개한다....
LiteLLM을 이용하여 OpenAI API로 멀티 LLM 통합
하나의 뛰어난 LLM이 다양한 문제를 해결 할 수 있겠지만 모든 문제를 해결책이 되기는 매우 어려울 것이다. 결국 여러 LLM을 검토 해야 하는데, 다양한 LLM 제공자의 API를 통합하는게 중요하다. LiteLLM을 이용하면 다양한 LLM API를 OpenAI API를 통해서 표준화하여 통합할 수 있다....
Ollama - Llama 3 한글 모델 테스트
여기에서는 Llama3 8b 를 기본 모델로 하여 한글 프리트레이닝된 모델을 ollama를 이용해서 로컬 PC에서 실행 및 테스트 해보려 한다. 특정 도메인에서는 온-프레미스에 오픈소스 LLM을 실행하고 RAG 등을 이용해서 비용효율적인 시스템을 구성하기를 원할 것이다. 이런 목적으로 사용 할 수 있을지 검토하는게 목적이다....
Llama3와 cromadb를 이용한 RAG 개념 검증
RAG(Retrieval Augmented Generation) 은 생성 기반 모델과 검색 기반 모델의 장점을 결합하여 고품질의 응답을 생성하는 기술이다. RAG의 주요 목표는 전문 도메인 정보를 기반으로 기존의 LLM이 응답하기 힘든 고품질의 텍스트 응답을 생성하는 것이다....