본문 바로가기

데이터분석/Pytorch7

unsloth 을 활용한 llama 모델 동작 시키기. import transformersfrom transformers import AutoTokenizer# 모델 초기화model_id = "unsloth/llama-3-8b-Instruct-bnb-4bit"tokenizer = AutoTokenizer.from_pretrained(model_id)# Create pipelinepipeline = transformers.pipeline( "text-generation", model=model_id, tokenizer=tokenizer, device_map="auto")# 문제 불러오기english_1 = """빈칸에 알맞는 것을 고르시오.The founding population of our direct ancestors is notth.. 2025. 2. 25.
tensor 생략없이 import torchtorch.set_printoptions(profile="full") 2024. 5. 3.
모델 학습 GPU 병행처리(nn.DataParallel) 두 개이상의 GPU가 있다면 여러개의 GPU 사용이 가능하다. import torch import torch.nn as nn if torch.cuda.is_available(): device = "cuda" else: device = "cpu" "사용할 모델" = 미리 구성 if torch.cuda.device_count() > 1: model = nn.DataParallel("사용할 모델").to(device) 2024. 3. 13.
[Pytorch] 파이토치로 GPU 사용 print("GPU 가용여부 ", torch.cuda.is_available()) print("GPU 갯수 ", torch.cuda.device_count()) print("GPU 이름 ", torch.cuda.get_device_name(0)) device = "cuda:0" if torch.cuda.is_available() else "cpu" print(device) # 결과 값 GPU 가용여부 True GPU 갯수 2 GPU 이름 NVIDIA GeForce RTX 3080 Ti cuda:0 2022. 11. 28.
[Pytorch] Tensor CPU, GPU 변경 sample_tensor.is_cuda # gpu 텐서 확인 리턴값 bool sample_tensor.to(device) # 설정한 디바이스로 텐서 타입 변경 sample_tensor.cuda() # 다른 방식 1 sample_tensor = sample_tensor.to(device. dtype=torch.float64) # 다른방식 2 sample_tensor = torch.as_tensor(sample_tensor, dtype=torch.float32, device='gpu') # 다른방식 3 sample_tensor.cpu() # CPU로 옮길 때 2022. 11. 28.
[Pytorch] Tensor(텐서) 오류 해결 모음 RuntimeError : expected scalar type Double but found Float Pytorch는 Tensor연산시 Float32으로 진행 해결 : Float32로 바꿔주기. EX) sample_tensor.to(device, dtype=torch.float32) Expected all tensors to be on the same device, but found at least two devices 사용하는 텐서가 두종류(CPU,GPU)가 충돌한다는 의미 해결 : sample_tensor.CPU(), sample_tensor.GPU()를 사용하여 텐서의 흐름을 통일 시켜주기 2022. 11. 28.
728x90