RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
16 POSTS HERE
GPT를 이용한 Reranker 테스트
RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
5분만에 만들어보는 Streamlit 챗봇
Streamlit 은 데이터 애플리케이션을 빠르고 쉽게 만들 수 있도록 도와주는 오픈소스 프레임워크다. 데이터 사이언티스트, 머신 러닝 엔지니어들이 모델을 시각화 하기 위해서 널리 사용한다. streamlit 을 이용해서 chatgpt를 이용한 챗봇을 만들어보자....
AI / LLM에 대한 친절한 소개
하루가 멀다하고 AI 관련 새로운 뉴스들이 올라고 있다. 한편 AI, 머신러닝, 딥러닝, LLM, 생성-AI, 트랜스포머 등 다양하고 새로운 언어들이 등장하면서 혼란스럽기도 하다. 여기에서는 대규모 언어 모델 관점에서 주요 기술들과 용어들에 대해서 살펴볼 것이다....
Gemini를 이용한 E-commerce 제품 설명서 생성
생성 AI는 구체적인 사례나 경험으로 부터 일반적인 법칙이나 원리를 도출하는 귀납적 작업을 잘 수행한다. 이커머스에서 제품 설명서를 만들기 위해서는 많은 시간이 들어간다. Google Gemini 를 이용해서 제품설명서를 만들어보자....
프롬프트 엔지니어링 101
LLM은 거대 언어 모델이라는 이름에서 알 수 있듯이, 인간의 언어를 다양한 방법으로 학습하고 학습된 언어정보를 기반으로 작업을 수행한다. 프롬프트 엔지니어링(prompt engineering)은 LLM과 효과적으로 대화하기 위한 방법을 찾는 방법이다....
Llama3와 MySQL을 이용한 Text2SQL
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
Llama3.1 설치한 김에 Few-Shot 프롬프팅
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
Llama3.1 설치 및 프롬프트 테스트
🎉2024년 7월 23일 메타(Meta)는 오픈 LLM인 Llama3.1을 공개했다. 이 모델은 컨텍스트의 길이를 128K로 확장하고 8개의 언어에 대한 지원을 추가했다. 로컬 PC에 ollama와 LLama3.1을 설치하고 Zero-shot 프롬프팅으로 기본 성능을 테스트해보았다....
신뢰할 수 있는 AI 앱을 설계하기 위한 LLM 개발원칙
LLM(대규모 언어 모델)은 엄청난 잠재력을 가지고 있지만 신뢰할 수 있는 프로덕션 등급 애플리케이션을 개발하는 것은 여전히 어려운 일이다. 신뢰 할 수 있는 프로덕션 등급 LLM 애플리케이션을 개발하기 위한 원칙들을 소개한다....
Prompt engineering
프롬프트 엔지니어링(Prompt engineering)이란 자연어 처리 모델과 상호 작용 할 때 원하는 결과를 얻기 위해 질문이나 명령을 구성하는 기술이다. LLM 품질의 최전선에 있는 프롬프트 엔지니어링에 대해서 살펴보자....