学習後にモデルを使用する

text-generation-inferenceなどのライブラリを使用して、学習済みモデルで推論サーバーを実行する必要がある場合は、そちらを参照してください。

読み込みと生成

モデルをPEFTを使わずに完全にファインチューニングした場合は、transformers内の他の言語モデルと同様に、そのまま読み込むことができます。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
device = torch.accelerator.current_accelerator() if torch.accelerator.is_available() else "cpu"

model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

inputs = tokenizer.encode("This movie was really", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

代わりに、pipelineを使用することもできます。

from transformers import pipeline

model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
pipe = pipeline("text-generation", model=model_name_or_path)
print(pipe("This movie was really")[0]["generated_text"])

Adapters PEFTを使用する

from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model_name = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
adapter_model_name = "path/to/my/adapter"

model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)

tokenizer = AutoTokenizer.from_pretrained(base_model_name)

アダプターをベースモデルにマージして、通常のTransformersモデルとして使用することもできますが、その場合、チェックポイントのサイズは大幅に大きくなります。

model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)

model = model.merge_and_unload()
model.save_pretrained("merged_adapters")

モデルを読み込み、アダプタをマージするか、または個別に上部に保持した状態で、上記で説明した通常のモデルと同様に生成を実行できます。

Update on GitHub

TRL

学習後にモデルを使用する

読み込みと生成

Adapters PEFTを使用する