RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
이미지 업스케일링은 저해상도 이미지를 고해상도로 변환하여 품질을 개선하는 기술입니다. Upscayl은 이러한 이미지 업스케일링 작업을 위한 오픈소스 애플리케이션으로, 다양한 딥러닝 모델을 활용해 고품질의 이미지를 빠르고 효율적으로 생성할 수 있습니다. 특히 REAL-ESRGAN, FastReal-ESRGAN 등의 최신 모델을 지원하여 실생활에서 다양한 이미...
생성 이미지 AI의 대표적인 모델인 스테이블 디퓨전(Stable diffusion)를 설치하는 방법을 살펴봅니다. 그리고 모델 체크포인트의 역할과 설치 및 사용법을 통해서 첫번째 생성 이미지를 만들어 봅니다. 이 글을 통해서 스테이블 디퓨전의 개념을 이해하고 생성 이미지를 학습 및 테스트 할 수 있는 기본 지식을 익히게 됩니다....
Generative ai를 하려면 GPU가 필요하기 마련이다. 리눅스 운영체제는 생성 AI를 위한 최고의 운영체제이긴 하지만 GPU 환경을 만들기는 여전히 어려울 것 같은 느낌이 있다. 하지만 GPU 제조사들도 리눅스를 중요 운영체제로 보고 있기 때문에, 지금은 간단하게 설치 할 수 있다. 우분투 리눅스에 GPU 드라이브럴 인스톨해보자....
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....
19 POSTS HERE
GPT를 이용한 Reranker 테스트
RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
5분만에 만들어보는 Streamlit 챗봇
Streamlit 은 데이터 애플리케이션을 빠르고 쉽게 만들 수 있도록 도와주는 오픈소스 프레임워크다. 데이터 사이언티스트, 머신 러닝 엔지니어들이 모델을 시각화 하기 위해서 널리 사용한다. streamlit 을 이용해서 chatgpt를 이용한 챗봇을 만들어보자....
Upscayl을 이용한 이미지 업스케일링
이미지 업스케일링은 저해상도 이미지를 고해상도로 변환하여 품질을 개선하는 기술입니다. Upscayl은 이러한 이미지 업스케일링 작업을 위한 오픈소스 애플리케이션으로, 다양한 딥러닝 모델을 활용해 고품질의 이미지를 빠르고 효율적으로 생성할 수 있습니다. 특히 REAL-ESRGAN, FastReal-ESRGAN 등의 최신 모델을 지원하여 실생활에서 다양한 이미...
스테이블 디퓨전 설치 및 사용해보기
생성 이미지 AI의 대표적인 모델인 스테이블 디퓨전(Stable diffusion)를 설치하는 방법을 살펴봅니다. 그리고 모델 체크포인트의 역할과 설치 및 사용법을 통해서 첫번째 생성 이미지를 만들어 봅니다. 이 글을 통해서 스테이블 디퓨전의 개념을 이해하고 생성 이미지를 학습 및 테스트 할 수 있는 기본 지식을 익히게 됩니다....
AI / LLM에 대한 친절한 소개
하루가 멀다하고 AI 관련 새로운 뉴스들이 올라고 있다. 한편 AI, 머신러닝, 딥러닝, LLM, 생성-AI, 트랜스포머 등 다양하고 새로운 언어들이 등장하면서 혼란스럽기도 하다. 여기에서는 대규모 언어 모델 관점에서 주요 기술들과 용어들에 대해서 살펴볼 것이다....
Ubuntu Linux에 NVIDIA 드라이버 설치
Generative ai를 하려면 GPU가 필요하기 마련이다. 리눅스 운영체제는 생성 AI를 위한 최고의 운영체제이긴 하지만 GPU 환경을 만들기는 여전히 어려울 것 같은 느낌이 있다. 하지만 GPU 제조사들도 리눅스를 중요 운영체제로 보고 있기 때문에, 지금은 간단하게 설치 할 수 있다. 우분투 리눅스에 GPU 드라이브럴 인스톨해보자....
Gemini를 이용한 E-commerce 제품 설명서 생성
생성 AI는 구체적인 사례나 경험으로 부터 일반적인 법칙이나 원리를 도출하는 귀납적 작업을 잘 수행한다. 이커머스에서 제품 설명서를 만들기 위해서는 많은 시간이 들어간다. Google Gemini 를 이용해서 제품설명서를 만들어보자....
프롬프트 엔지니어링 101
LLM은 거대 언어 모델이라는 이름에서 알 수 있듯이, 인간의 언어를 다양한 방법으로 학습하고 학습된 언어정보를 기반으로 작업을 수행한다. 프롬프트 엔지니어링(prompt engineering)은 LLM과 효과적으로 대화하기 위한 방법을 찾는 방법이다....
Llama3와 MySQL을 이용한 Text2SQL
많은 기업들이 RDBMS, 웨어하우스, 데이터 마트를 이용해서 데이터를 분석하여 데이터 기반 의사결정을 위한 시스템을 구축하고 있다. 하지만 데이터에서 필요한 정보/인사이트를 얻기 위해서는 복잡한 과정을 거쳐야 하는데 데이터 기반 의사결정 환경을 만들기 위한 장애물로 작동하고 있다. LLM을 이용해서 자연어로 부터 SQL query를 만들어 보자....
Llama3.1 설치한 김에 Few-Shot 프롬프팅
제로샷(Zero-shot)은 특정 작업에 대한 예제를 보지 않고도 모델이 직접 작업을 수행 할 수 있도록 하는 기술이다. 골치 아프게 예제를 제시하지 않아도 되기 때문에 편하고 빠르게 사용 할 수 있지만 여러 한계를 가지고 있다. Llama3.1 8b 모델 설치 한 김에 Few-shot 프롬프팅도 테스트 했다....