많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
여기에서는 Llama3 8b 를 기본 모델로 하여 한글 프리트레이닝된 모델을 ollama를 이용해서 로컬 PC에서 실행 및 테스트 해보려 한다. 특정 도메인에서는 온-프레미스에 오픈소스 LLM을 실행하고 RAG 등을 이용해서 비용효율적인 시스템을 구성하기를 원할 것이다. 이런 목적으로 사용 할 수 있을지 검토하는게 목적이다....
RAG(Retrieval Augmented Generation) 은 생성 기반 모델과 검색 기반 모델의 장점을 결합하여 고품질의 응답을 생성하는 기술이다. RAG의 주요 목표는 전문 도메인 정보를 기반으로 기존의 LLM이 응답하기 힘든 고품질의 텍스트 응답을 생성하는 것이다....
LangChain은 자연어 처리(NLP)와 관련된 애플리케이션을 개발하기 위한 파이썬 기반의 프레임워크다. 특히 GPT-3, GPT-4등의 언어 모델을 활용하여 자연어 기반으로 다양한 작업을 수행 할 수 있다. 이 문서에서는 LangChain의 특징과 사용 사례를 소개한다....
22 POSTS HERE
프롬프트 엔지니어링 101
LLM은 거대 언어 모델이라는 이름에서 알 수 있듯이, 인간의 언어를 다양한 방법으로 학습하고 학습된 언어정보를 기반으로 작업을 수행한다. 프롬프트 엔지니어링(prompt engineering)은 LLM과 효과적으로 대화하기 위한 방법을 찾는 방법이다....
Llama3와 MySQL을 이용한 Text2SQL
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
Llama3.1 설치한 김에 Few-Shot 프롬프팅
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
Llama3.1 설치 및 프롬프트 테스트
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
신뢰할 수 있는 AI 앱을 설계하기 위한 LLM 개발원칙
LLM(대규모 언어 모델)은 엄청난 잠재력을 가지고 있지만 신뢰할 수 있는 프로덕션 등급 애플리케이션을 개발하는 것은 여전히 어려운 일이다. 신뢰 할 수 있는 프로덕션 등급 LLM 애플리케이션을 개발하기 위한 원칙들을 소개한다....
Prompt engineering
프롬프트 엔지니어링(Prompt engineering)이란 자연어 처리 모델과 상호 작용 할 때 원하는 결과를 얻기 위해 질문이나 명령을 구성하는 기술이다. LLM 품질의 최전선에 있는 프롬프트 엔지니어링에 대해서 살펴보자....
Ollama - Llama 3 한글 모델 테스트
여기에서는 Llama3 8b 를 기본 모델로 하여 한글 프리트레이닝된 모델을 ollama를 이용해서 로컬 PC에서 실행 및 테스트 해보려 한다. 특정 도메인에서는 온-프레미스에 오픈소스 LLM을 실행하고 RAG 등을 이용해서 비용효율적인 시스템을 구성하기를 원할 것이다. 이런 목적으로 사용 할 수 있을지 검토하는게 목적이다....
Llama3와 cromadb를 이용한 RAG 개념 검증
RAG(Retrieval Augmented Generation) 은 생성 기반 모델과 검색 기반 모델의 장점을 결합하여 고품질의 응답을 생성하는 기술이다. RAG의 주요 목표는 전문 도메인 정보를 기반으로 기존의 LLM이 응답하기 힘든 고품질의 텍스트 응답을 생성하는 것이다....
Joinc와 함께하는 LLM - LangChain & OpenAI 기반 RAG 구성
LangChain과 OpenAI API를 사용해서 RAG 시스템을 구현해 볼 것이다. 이 문서의 내용을 따라하기 위해서는 OpenAI API를 가지고 있어야 하며, Python을 사용할 줄 알아야 한다....
Joinc와 함께하는 LLM - LangChain을 이용한 RAG
LangChain은 자연어 처리(NLP)와 관련된 애플리케이션을 개발하기 위한 파이썬 기반의 프레임워크다. 특히 GPT-3, GPT-4등의 언어 모델을 활용하여 자연어 기반으로 다양한 작업을 수행 할 수 있다. 이 문서에서는 LangChain의 특징과 사용 사례를 소개한다....