Education*
Devops
Architecture
F/B End
B.Chain
Basic
Others
CLOSE
Search For:
Search
BY TAGS
linux
HTTP
golang
flutter
java
fintech
개발환경
kubernetes
network
Docker
devops
database
tutorial
cli
분산시스템
www
블록체인
AWS
system admin
bigdata
보안
금융
msa
mysql
redis
Linux command
dns
javascript
CICD
VPC
FILESYSTEM
S3
NGINX
TCP/IP
ZOOKEEPER
NOSQL
IAC
CLOUD
TERRAFORM
logging
IT용어
Kafka
docker-compose
Dart
Ubuntu Linux에 NVIDIA 드라이버 설치
Recommanded
Free
YOUTUBE Lecture:
<% selectedImage[1] %>
yundream
2024-09-07
2024-09-06
161
# Ubuntu 리눅스를 사용하는 이유 ![Gen AI 개발자](https://docs.google.com/drawings/d/1w-CGOlhhjhdDWyuj8hrtq91wb0QVW6PYUjQoGwlcNIA/pub?w=480&h=360) 나는 데이터 혹은 AI 사이언티스트가 아니다. **Gen-AI / LLM** 기반의 애플리케이션을 개발하는 개발자다. 혹은 AI 엔지니어라고 해야 하려나 ? 그러다 보니 애플리케이션 개발과 배포까지를 신경써야한다. 애플리케이션은 온-프레미스 / 클라우드를 막론하고 100%라고 할 정도로 리눅스 환경이다. 그래서 리눅스를 사용한다. # NVIDIA Driver Install 생성 이미지 및 LLM을 위해서 구입한 GPU는 **NVIDIA GeForce RTX 4060 Ti 16G** 다. NVIDIA 드라이버는 UDA(Unified Driver Architecture)와 ERC(Enterprise Ready Drivers) 두 가지 종류가 있다. 데스크탑에 설치하는게 목표이므로 **UDA** 드라이버를 설치한다. # Ubuntu-drivers를 이용한 설치 Ubuntu-driver는 우분투에서 사용 가능한 드라이버를 자동으로 검색하고 설치하는 툴이다. 주로 GPU 드라이버와 같은 하드웨어 드라이버를 설치/업데이트 할 때 사용한다. 이 툴을 이용해서 **간단하게** 드라이버를 설치 할 수 있다. 먼저 사용 가능한 드라이버를 확인한다. ``` sudo ubuntu-drivers list ``` 아래와 같은 목록이 출력 된다. ``` nvidia-driver-560, (kernel modules provided by nvidia-dkms-560) nvidia-driver-535, (kernel modules provided by linux-modules-nvidia-535-generic) nvidia-driver-535-server, (kernel modules provided by linux-modules-nvidia-535-server-generic) nvidia-driver-535-server-open, (kernel modules provided by linux-modules-nvidia-535-server-open-generic) nvidia-driver-560-open, (kernel modules provided by nvidia-dkms-560-open) nvidia-driver-545, (kernel modules provided by nvidia-dkms-545) nvidia-driver-545-open, (kernel modules provided by nvidia-dkms-545-open) nvidia-driver-535-open, (kernel modules provided by linux-modules-nvidia-535-open-generic) nvidia-driver-550, (kernel modules provided by linux-modules-nvidia-550-generic) nvidia-driver-555-open, (kernel modules provided by nvidia-dkms-555-open) nvidia-driver-550-open, (kernel modules provided by linux-modules-nvidia-550-open-generic) nvidia-driver-555, (kernel modules provided by nvidia-dkms-555) ``` 원하는 드라이버를 설치하면 된다. 24년 8월 현재 최신 버전은 560 이다. 왠지 너무 최신 버전을 설치하면 안될 것 같아서 550 버전을 설치했다. ``` sudo ubuntu-drivers install nvidia:550 ``` 추가적인 유틸리티도 함께 설치한다. ``` sudo apt install nvidia-utils-535-server ``` nvidia-utils를 설치하면 **nvidia-settings** 와 **nvidia-smi** 같은 관리/모니터링 툴, CUDA/CuDNN과 같은 NVIDIA의 GPU 가속 라이브러리, OpenGL, Vulkan 그래픽 API와 관련된 툴을 설치한다. nvidia-smi 프로그램을 실행해서 gpu 상태를 모니터링 할 수 있다. ``` nvidia-smi Mon Aug 26 21:43:48 2024 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 550.107.02 Driver Version: 550.107.02 CUDA Version: 12.4 | |-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA GeForce RTX 4060 Ti Off | 00000000:0B:00.0 On | N/A | | 0% 52C P8 20W / 165W | 548MiB / 16380MiB | 13% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | 0 N/A N/A 1791 G /usr/lib/xorg/Xorg 260MiB | | 0 N/A N/A 2845 G /usr/bin/kwalletd5 2MiB | ``` # apt를 이용한 설치 apt를 이용하면, 더 최신의 패키지를 설치 할 수 있다. 그래픽 드라이버 저장소를 등록한다. ``` sudo add-apt-repository ppa:graphics-drivers/ppa ``` 원하는 버전의 패키지를 설치한다. ``` sudo apt install nvidia-driver-550 ``` # 기타 유틸리티 **nvtop** ![nvtop](https://docs.google.com/drawings/d/12_V0kx2l616wN7AqGvAv5GmMxqbnjJd8uR5ZL2MknjQ/pub?w=480&h=360) nvtop을 이용하면 CPU와 GPU 메모리 사용량을 모니터링 할 수 있다. **nvidia-settings** ![nvidia-settings](https://docs.google.com/drawings/d/1vh4hsdTjO5P_hmfUH7PYZpJV78tZohiFbL3Wms696AM/pub?w=960&h=720) 그래픽카드의 상태를 모니터링하고 각종 설정을 변경할 수 있다.
Recent Posts
GPT를 이용한 Reranker 테스트
5분만에 만들어보는 Streamlit 챗봇
Let's encrypt로 SSL 인증서 관리하기
Upscayl을 이용한 이미지 업스케일링
스테이블 디퓨전 설치 및 사용해보기
Elasticsearch 설치
AI / LLM에 대한 친절한 소개
SLA 다운타임 계산기
Docker로 GitLab 설치하기
Ubuntu Linux에 NVIDIA 드라이버 설치
Archive Posts
Tags
AI
linux
Copyrights © -
Joinc
, All Rights Reserved.
Inherited From -
Yundream
Rebranded By -
Joonphil
Recent Posts
Archive Posts
Tags