GPU 사용 환경 만들기

openai에서 공개한 whisper를 학습 시킬 수 있는지에 대해서 알아보라는 임무가 떨어졌다. 앞으로 Sass 서비스에는 다른 STT 업체를 사용하지 않고 whisper를 사용할 계획이라고한다..갑자기 Java 웹개발자에게...이런 어려운 일을 시키다니..ㅎ 저는 파이썬도 할 줄 모르구요ㅠㅠ 

그래도 어찌저찌 whisper를 실행시키고 학습까지 시켰는데! GPU를 이용하지 않고 CPU를 사용하고 있는것을 알게되었다. 어쩐지 너무 느리더라..🥹

 

인공지능과...무관한 나... 나는 당연히 GPU 가 있으면 GPU 가 사용되는 거라고 알았다ㅎㅎ

근데 그게 아니더라...ㅎ...

드라이버와 cuda를 설치해줘야한다.. cuda가 뭔데....진짜 아무런 개념이 1도 없어서 너무 어려웠다.

 

 

1. NVIDA 드라이버 다운로드

1) 설치

https://www.nvidia.co.kr/Download/index.aspx?lang=kr

Download the latest official NVIDIA drivers

위 홈페이지에서 본인의 GPU 모델과 맞는 드라이버를 설치해준다. 설치된 GPU를 자동으로 인식하는것 같지만 내 경우에는 잘못된 제품이 인식되었다.

나는 아래처럼 4090이 인식 되었으나 실제 모델은 GeForce MX550였다. 그냥 당연히 잘 인식해줫겠지..라는 생각으로 다운받았다가.. 재설치를 했다🥹 꼭 확인 후 설치하기!

 

---

👉👉👉 내 GPU 확인 방법

- 장치 관리자에서 확인 할 수 있다.

1. Window + R 입력

2. devmgmt.msc 를 입력 후 확인 버튼을 누르면 장치관리자가 열린다.

3. 디스플레이 어댑터 확인

---

2) 설치 확인

- 명령프롬프트 를 열어 아래와 같이 입력하여 그림같은 내용이 나오면 정상 설치가 된거다.

nvidia-smi

 

2. CUDA Toolkit설치하기

저는 cuda가 뭔지도 모릅니다...설치하라고 하니 설치합시다^^!

https://developer.nvidia.com/cuda-toolkit-archive

CUDA Toolkit Archive

 

CUDA Version 12.3은 설치된 드라이브에 추천되는 CUDA 버전이라 꼭 12.3을 설치 할 필요는 없다.

 

난 처음에 12.3을 설치 했는데(최신이 좋은거겠지라는 마음으로..!) torch에서 gpu 인식을 계속 못했다ㅠㅠ

import torch
torch.cuda.is_available()

 

True가 나와야하는데 계속 False가 나옴ㅠㅠㅠ 그래서 찾아보니

torch에서는 12.1까지 밖에 지원을 해주지 않는다고 하더라.. 그래서 12.1로 다시 설치했다.

 

두번 설치한 흔적..ㅎ..12버전을 사용할 거면 v12.1 을 설치하자~!

 

3. Cudnn 설치하기

https://developer.nvidia.com/rdp/cudnn-archive

cuDNN Archive

 

이것도...무슨 역할인지는 모르지만..설치! 위에서 설치한 CUDA 버전과 동일한 것을 설치해주면 된다. 나는 CUDA 12.1을 설치 했으므로 Cudnn은 for CUDA12.x를 설치했다.

 

엔비디아에 회원가입을 해야 다운받을 수 있으므로 회원가입 후 다운로드 받는다. 다운로드 받은 후 압축을 풀면 include, lib, bin 폴더가 생기는데 이 폴더들을 위에서 설치한 CUDA에 붙여넣기 해줘야한다.

* 설치 경로는 다를 수 있으므로 참고만 하자. 

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1

이미 있는 lib, include, bin을 덮어쓰기 하자!

 

그리고 환경변수를 확인해보면 아래처럼 CUDA_PATH 가 생긴 걸 확인 할 수 있다

 

4. 설치 확인

1) cuda 설치 확인

- 3번까지 완료되었으면 컴퓨터를 재시작 한 후 명령프롬프트에 아래처럼 입력해보자

nvcc -V

 정상적으로 설치가 되었다면 아래와 같이 보일 것이다.

 

2) torch에서 인식 할 수 있는지 확인

- 아래와 같이 True가 나온다면 성공이다! 🥳🎉🎊

import torch
torch.cuda.is_available()

 

 

추가++

혹시라도 정상적으로 설치 한 것 같은데도 계속 False가 나온다면 pytorch를 재설치 해보기를 추천한다.

1. pytoch 제거

pip uninstall pytoch

 

2. 재설치

- 아래 페이지에서 맞는 버전을 확인 후 설치

https://pytorch.org/

PyTorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121