LLMのファインチューニング方法：手法、フレームワーク＆ステップバイステップのコード [2026年版]

LLMのファインチューニングとは、事前学習済みモデルを取得し、特定のデータで追加学習を行うことで、プロンプトエンジニアリングだけでは達成できないタスク性能を実現する手法です。参入障壁は劇的に低下しており、現在ではQLoRAとUnslothを組みわせることで、12GBのコンシューマー向けGPUを用いて80億パラメータ（8B）のモデルを、クラウドコスト1ドル未満でファインチューニングできるようになりました。

本ガイドでは、ファインチューニングを実施すべきタイミング（RAGやプロンプトエンジニアリングとの比較）、手法とフレームワークの選定基準、データセットの準備方法、コピー＆ペーストで使えるLlama 3の実践例、実際のコスト試算、そしてデプロイまでの全工程を網羅しています。

ファインチューニングの概要

着手する前に、全体像を把握しておきましょう。

次に、ファインチューニングがあなたのプロジェクトにとって本当に正しい選択かどうかを見極めましょう。

LLMをファインチューニングすべき時は？（RAGおよびプロンプトエンジニアリングとの比較）

多くの開発者がこの質問を飛ばしてしまい、その結果、数週間もの無駄な労力を費やすことになります。ファインチューニングは強力ですが、常に最適なツールであるとは限りません。以下は意思決定のためのフレームワークです。

判断の鍵は、「何を変更したいか」にあります。具体的なシナリオを見てみましょう。

SaaS向けの適切なAIスタックを選択する際にも、この意思決定フレームワークが第一歩となります。多くのチームは、500件のサンプルでファインチューニングを行えば、より低いレイテンシで一貫した結果が得られるにもかかわらず、複雑なRAGパイプラインを構築してしまいます。

結論：モデルに異なることを「知らせる」のではなく、一貫して異なる「振る舞い」をさせたい場合にファインチューニングを行ってください。 新しい知識だけが必要なら、RAGの方が安価で維持も容易です。両方が必要なら、ハイブリッド構成を採用しましょう。

LLMファインチューニングの仕組み：フルファインチューニング vs LoRA vs QLoRA

主に3つのアプローチがあり、ハードウェア要件、コスト、品質において大きな違いがあります。トレードオフを理解することで、過剰投資や期待外れの結果を防ぐことができます。

フルファインチューニング（予算無制限の場合）

フルファインチューニングは、モデル内のすべてのパラメータを更新します。可能な限り最高の結果を生み出しますが、莫大なリソースを必要とし、7Bモデルでも約100GB以上のVRAMが必要です（モデル、オプティマイザ状態、勾配を同時に保存する必要があるため）。これはH100クラスター級の領域です。資金豊富な研究所でない限り、この方法は避けるべきです。

LoRA：PEFT革命

LoRA (Low-Rank Adaptation) は、ベースモデルを凍結し、アダプターと呼ばれる小さな学習可能な行列を追加します。巨大な重み行列Wを直接更新する代わりに、LoRAは更新部分を2つの小さな行列AとBに分解します。ここでランクrはモデル次元よりもはるかに小さくなります。その結果、元のパラメータの約1〜2%のみを学習しながら、フルファインチューニング品質の98〜99%を維持できます。

Hugging Face peft ライブラリ が標準的な実装です。LoRAアダプターは通常50〜200MBであり、フルモデルと比較すると非常に小さいサイズです。

QLoRA：誰もが利用できるファインチューニング

QLoRA は、LoRAをさらに一歩進めたものです。NormalFloat4 (NF4) と呼ばれる特殊なデータ型を使用してベースモデルを4ビット精度で読み込み、その上にLoRAアダプターを適用します。4ビット量子化により、標準的なLoRAと比較してVRAM使用量をさらに約25%削減しつつ、ほぼ同等の品質を維持します。

これこそが、ファインチューニングを身近なものにした要因です。フルファインチューニングに100GB以上を必要とする7Bモデルが、QLoRAであれば12GBで収まります。

結論：開発者の90%にとって、QLoRAが正解です。 ほとんどのタスクにおいて、フルファインチューニングとの品質差は無視できるレベルであり、ハードウェアのコスト削減効果は絶大です。まずはここから始め、評価指標がそれを要求する場合のみスケールアップしましょう。

2026年に使用するべきファインチューニングフレームワークは？

フレームワークの選択は、多くの人が考える以上に重要です。適切なものを選べば、セットアップ時間を大幅に短縮し、学習速度を显著提升させることができます。主要な4つのオプションを比較します。

簡単な推奨事項は以下の通りです。

• 初めてのファインチューニング？ Unsloth を使用してください。学習が最速で、セットアップも最も簡単です。すぐに始められる無料のColabノートブックもあります。
• コードなしでWeb UIが必要？ LLaMA-Factory を使用してください。LLaMA-Board GUIにより、ブラウザから設定して学習を開始できます。
• アライメント（RLHF、DPO、GRPO）を実施？ TRL を使用してください。これは選好ベースの学習におけるHugging Faceの標準であり、v0.15.0（2026年3月）ではネイティブなGRPOサポートが追加されました。
• マルチGPUで本番パイプラインを実行？ Axolotl を使用してください。YAMLベースの設定により、実験の再現性と監査可能性が確保されます。

有用なテクニックとして、Unsloth と LLaMA-Factory を組み合わせることができます。LLaMA-FactoryはUnslothを学習バックエンドとしてサポートしており、GUIの利便性とUnslothの速度最適化の両方を享受できます。ファインチューニングされたモデルを使用するAIエージェントを構築するチームは、迅速な反復のためにUnslothから始め、本番環境での再現性のためにAxolotlへ移行することがよくあります。

ファインチューニング用データセットをどのように準備するか？

データの品質は、ファインチューニング成功における最大の要因です。適切にキュレーションされた500件のデータセットは、ノイズの多い10,000件のデータセットをほぼ常に上回ります。

データセット形式

支配的な2つの形式は、チャット形式（OpenAI互換）と指示形式（Alpacaスタイル）です。JSONL形式でのそれぞれの例を以下に示します。

チャット形式（ほとんどのユースケースで推奨）：

{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "I ordered a laptop 3 days ago (order #4821) and it still says processing."}, {"role": "assistant", "content": "I can see order #4821 is currently in our warehouse being prepared for shipment. Laptops typically ship within 3-5 business days. You should receive a tracking number by tomorrow. Would you like me to flag this for priority processing?"}]}
{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "Can I return my keyboard? Order #3019, bought it last week."}, {"role": "assistant", "content": "Absolutely! Order #3019 is within our 30-day return window. I'll email you a prepaid return label right now. Once we receive the keyboard, your refund will process within 2-3 business days."}]}
{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "My monitor arrived cracked. Order #5573."}, {"role": "assistant", "content": "I'm sorry about that! For order #5573, I'm initiating an immediate replacement shipment -- no need to return the damaged unit. The new monitor will ship today with express delivery. You'll get a tracking email within the hour."}]}

指示形式（Alpacaスタイル）：

{"instruction": "Summarize the following customer complaint in one sentence.", "input": "I've been waiting 2 weeks for my refund and nobody responds to my emails. This is the worst customer service I've ever experienced.", "output": "Customer is frustrated by a 2-week delay in receiving their refund and lack of email response from support."}
{"instruction": "Classify the sentiment of this review.", "input": "The product works fine but shipping took forever.", "output": "Mixed (positive product, negative shipping)"}

データセットサイズのガイドライン

実際にどれくらいのデータが必要でしょうか？ それはタスクの複雑さによります。

1. 50〜100件: 概念実証（PoC）。ファインチューニングが役立つかテストするのに十分です。
2. 500〜1,000件: ほとんどの単一タスク（分類、抽出、フォーマット）に有用です。
3. 5,000〜10,000件: 複雑なタスクに対する本番環境レベルの結果をもたらします。
4. 10,000件以上: タスクの変動性が非常に高い場合を除き、収穫逓減となります。

データ品質チェックリスト

学習前に、以下の基準に対してデータセットを検証してください。

• すべての例で一貫したフォーマット（同じシステムプロンプト、同じ出力構造）
• エッジケースや失敗モードをカバーする多様な例
• 矛盾がないこと（同じ入力パターンに対して「はい」と「いいえ」の両方を教えない）
• 出力タイプのバランスの取れた分布（分類の場合、1つのクラスに例の90%が偏っていないこと）
• 重複またはほぼ重複しているエントリの削除

プロのヒント: GPT-4やClaudeを使用して初期の合成学習データを生成し、その後人間によるレビューで精製します。500件の高品質な合成例は、5,000件のノイズの多い実例よりも優れた結果を出すことがよくあります。Metaのファインチューニングガイドでも、データセットのブートストラップにこのアプローチを推奨しています。

ステップバイステップ：QLoRAとUnslothでLlama 3 8Bをファインチューニング

完全なウォークスルーです。すべてのコードブロックはコピー＆ペースト可能で、無料のGoogle Colabノートブックまたは12GB以上のVRAMを搭載した任意のマシンで実行できます。

ステップ1: Unslothのインストール

pip install unsloth

これだけです。Unslothがすべての依存関係（transformers, peft, trl, bitsandbytes）を自動的に処理します。

ステップ2: 4ビットでベースモデルを読み込む

from unsloth import FastLanguageModel

# Load Llama 3.1 8B in 4-bit quantization
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

これにより、4ビット量子化モデル（約4GB）がダウンロードされ、GPUメモリに読み込まれます。RTX 3060（12GB）であれば、学習のために十分な余裕があります。

ステップ3: LoRAアダプターの設定

# Add LoRA adapters to the model
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                # LoRA rank -- 16 is the sweet spot for most tasks
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                     "gate_proj", "up_proj", "down_proj"],
    lora_alpha=16,       # Scaling factor (usually equal to r)
    lora_dropout=0,      # Unsloth optimizes for 0 dropout
    bias="none",
)

r=16の場合、80億個中約4,000万個のパラメータ、つまりモデルの0.5%未満を学習することになります。これがLoRAの魔法です。

ステップ4: データセットの読み込み

from datasets import load_dataset

# Load your JSONL dataset from Hugging Face Hub or local file
dataset = load_dataset("json", data_files="train.jsonl", split="train")

# Format into chat template
def format_chat(example):
    text = tokenizer.apply_chat_template(
        example["messages"],
        tokenize=False,
        add_generation_prompt=False,
    )
    return {"text": text}

dataset = dataset.map(format_chat)

前のセクションのJSONLチャット形式を取得し、Llama 3のチャットテンプレートを適用します。トークナイザーがすべての特殊トークン（<|begin_of_text|>、<|eot_id|>など）を処理します。

ステップ5: 学習の設定と実行

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=2048,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,    # Effective batch size = 8
        warmup_steps=5,
        max_steps=60,                     # Adjust based on dataset size
        learning_rate=2e-4,               # Standard for QLoRA
        fp16=not is_bfloat16_supported(),
        bf16=is_bfloat16_supported(),
        logging_steps=1,
        output_dir="outputs",
        seed=42,
    ),
)

# Start training
trainer.train()

理解すべき主要なハイパーパラメータ：

• 学習率 (2e-4): QLoRAの標準値です。モデルが一般的な能力を忘れている様子が見られた場合は、より低い値（2e-5）に下げます。
• バッチサイズ (2) x 勾配蓄積 (4): 実効バッチサイズは8です。GPUのメモリ不足が発生した場合は、勾配蓄積を増やします。
• max_steps (60): 500件のサンプルの場合、これは約1エポックに相当します。1〜3エポックから始め、検証損失を観察します。
• ランク r (16): 単純なタスクには低い値（4-8）、複雑なタスクには高い値（32-64）を使用します。16は安全なデフォルト値です。

ステップ6: 保存とテスト

# Save the LoRA adapters (small -- ~50-200 MB)
model.save_pretrained("my-fine-tuned-model")
tokenizer.save_pretrained("my-fine-tuned-model")

# Quick inference test
FastLanguageModel.for_inference(model)
inputs = tokenizer(
    [tokenizer.apply_chat_template(
        [{"role": "user", "content": "I need to return order #7742"}],
        tokenize=False,
        add_generation_prompt=True,
    )],
    return_tensors="pt",
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

これがパイプラインの全容です。Unslothを使用したRTX 4090では、500件のサンプルの学習に約15〜30分かかります。無料のColab T4では、1〜2時間程度かかります。

APIベースのファインチューニングについては？（OpenAI, Google, Mistral）

GPUの管理を望まない人もいます。APIプロバイダーは、シンプルなアップロード＆トレーニングワークフローを通じてファインチューニングを提供しています。自分で実行する場合との比較を以下に示します。

APIファインチューニングが意味のある場合: 迅速な反復が必要、データセットが小規模、インフラ管理をしたくない、またはGPT-4oのようなクローズドモデルを特に必要としている場合。

ローカルファインチューニングが優位な場合: データプライバシーが重要（医療、金融、法務）、頻繁に学習を行う、重みを所有しエクスポートしたい、または大規模なコスト最適化を図りたい場合。

結論：APIファインチューニングは概念実証への最速ルートです。ローカルファインチューニングは本番環境への最安ルートです。 多くのチームはAPIでプロトタイピングを行い、アプローチが妥当であると確認できた時点でローカルのUnslothに移行します。

LLMのファインチューニングにかかる費用は？

「ファインチューニングは高額」という認識は2023年で止まっています。現在の実際のコストは以下の通りです。

コスト曲線は急速に平坦化します。RunPod上で8Bモデルをファインチューニングするスタートアップは、コーヒー1杯分以下の費用で学習を行います。70Bの本番シナリオでも30ドル未満です。これは、ジュニア開発者の1ヶ月分の昼食予算に相当します。

比較すべきクラウドGPUプロバイダー：RunPod（最良のスポットプライシング）、Lambda（信頼性の高いオンデマンドH100）、Vast.ai（最安だが品質は変動）、およびModal（サーバーレス、秒単位課金）。

上記のチャートは、QLoRAがいかにゲームチェンジャーであるかを示しています。フルファインチューニングにマルチGPUクラスターを必要とした7Bモデルが、今やノートPCのGPUで動作します。70Bモデルも「クラウド限定」から単一のA100で実行可能になりました。

結論：本番環境レベルの8Bモデルを1ドル未満でファインチューニングできます。 ファインチューニングのコスト障壁は消滅しました。真のコストは、データセットの準備時間です。

ファインチューニングされたモデルをどのように評価するか？

学習は仕事の一部に過ぎません。適切な評価なしでは、ファインチューニングされたモデルが実際に改善されたのか、単に学習データを暗記したに過ぎないのかを判別できません。

自動メトリクス

学習中および学習後に以下を追跡します。

• 学習損失 / パープレキシティ: 着実に減少し、その後横ばいになるはずです。ほぼゼロまで低下した場合、過学習しています。
• タスク固有のメトリクス: 精度（分類）、BLEU/ROUGE（要約）、完全一致（抽出）、F1（マルチラベル）。タスクに適したメトリクスを選択します。

人間による評価

数値だけではすべてを捉えられません。生成タスクの場合：

• A/Bテスト: ベースモデルとファインチューニング後の出力を並べて表示します。3〜5人の評価者に、50件以上の例の中からより良い回答を選んでもらいます。勝率を追跡します。
• リカート尺度評価: 関連性（1-5）、正確性（1-5）、トーン（1-5）について出力を評価します。ベースモデルからの平均改善度を計算します。

破滅的忘却のチェック

多くの開発者が省略してしまう重要な点です。ファインチューニング後、MMLUやHellaSwagなどの一般ベンチマークでモデルを実行します。スコアが2〜3ポイント以上低下した場合、モデルは一般的な知識を失いすぎています。対策：学習率を下げる、エポック数を減らす、またはLoRA（ベース重みを凍結）に切り替える。

実践的なルール: データセットの10〜20%を常にテストセットとして保留しておきます。学習データで評価しても、実世界での性能については何も分かりません。

ファインチューニングされたモデルをどのようにデプロイするか？

学習が完了しました。次は提供（サービング）です。多くのガイドはこの部分を完全に省略しています。

ステップ1: LoRAアダプターのマージ

LoRAまたはQLoRAを使用した場合、推論のためにアダプターをベースモデルに戻してマージします。

# Merge adapters into base model
model.merge_and_unload()
model.save_pretrained("merged-model")
tokenizer.save_pretrained("merged-model")

ステップ2: デプロイパスの選択

ローカル開発およびテスト、Ollama:

# Convert to GGUF format (Ollama's native format)
python llama.cpp/convert_hf_to_gguf.py merged-model --outfile model.gguf --outtype q4_k_m

# Create an Ollama model
ollama create my-fine-tuned-model -f Modelfile
ollama run my-fine-tuned-model

本番環境サービング、vLLM:

# Start an OpenAI-compatible API server
python -m vllm.entrypoints.openai.api_server \
    --model merged-model \
    --host 0.0.0.0 \
    --port 8000

サーバーレス（インフラゼロ）: モデルをTogether AI、Fireworks、またはModalにアップロードします。サーバーを管理せずにAPIエンドポイントを得られます。コストは使用量に応じて変動します。

応用：マルチアダプターサービング

より多くのチームが採用すべきパターンがあります。メモリに1つのベースモデルを読み込んだまま、リクエストごとにLoRAアダプターを入れ替えます。単一のGPUから、カスタマーサポート用、コードレビュー用、要約用の各アダプターを提供できます。vLLMは --enable-lora フラグでこれをネイティブにサポートしています。

実装の準備はできましたか？ デプロイオプションの詳細な比較については、近日公開予定のベストLLMファインチューニングツール＆プラットフォームをご覧ください。

ファインチューニングで最もよくある間違いは？

数十のファインチューニング実行のデバッグ支援を通じて、繰り返し発生する間違いを特定しました。

1. 小規模データセットでの過学習。 200件のサンプルで10エポック学習させ、学習損失がほぼゼロになり、モデルが学習データをそのままオウム返しにする。対策：最大1〜3エポック、検証セットを使用し、学習損失と評価損失のギャップを観察する。

2. 破滅的忘却。 モデルは特定のタスクは完璧にこなすが、基本的な会話すらできなくなる。対策：LoRA/QLoRAを使用（ベース重みを凍結）、学習率を低く保つ（フルファインチューニングでは2e-5、QLoRAでは2e-4）、デプロイ前に一般ベンチマークで評価する。

3. データ品質の低さ。 フォーマットの一貫性の欠如、例間の矛盾、重複。モデルはノイズを学習します。対策：学習前にデータをクリーニングする。必ず。ハイパーパラメータの調整よりもデータキュレーションに時間をかける。

4. 大きすぎるモデルから始める。 「大きいほど良い」と考えて70Bに飛びつき、GPUコストを支払えなくなる。対策：8Bから始める。良いデータを持った8Bでタスクを解決できないなら、同じデータを持った70Bでもおそらく解決できない。まずデータの質を高め、次にモデルサイズを拡大する。

5. 評価パイプラインの欠如。 保留されたテストセットなしで学習し、感覚に基づいてデプロイする。対策：開始前にデータを80/10/10（学習/検証/テスト）に分割する。すべてのテスト例でベースモデルと比較する。

6. 学習率が高すぎる。 最初の数ステップで事前学習された知識を破壊する。モデルが無意味な出力をする。対策：QLoRAでは2e-4、フルファインチューニングでは2e-5から始める。出力が悪化する場合、さらに下げる。

TechsyがLLMファインチューニングに取り組む方法

Techsyでは、すべてのAIプロジェクトに対して厳格なエスカレーションパスに従っています。まずプロンプトエンジニアリング、次にRAG、データが必要であることを証明できた場合のみファインチューニングです。大多数のクライアントプロジェクトでは実際にはファインチューニングを必要とせず、巧みに作成されたプロンプトやRAGパイプラインで、より低いコストと複雑さで問題を解決します。

ファインチューニングが正解である場合、私たちのプロセスは以下の通りです。

1. データセット監査: クライアントのデータの品質、カバレッジ、フォーマットを確認します。サンプルが不足している場合は、人間によるレビューを経てGPT-4やClaudeを使用して合成データセットの構築を支援します。
2. フレームワーク選定: スタートアッププロジェクトの90%にはUnsloth + QLoRAを使用。再現性のあるマルチGPU本番パイプラインが必要なクライアントにはAxolotlを使用。
3. 学習と評価: 常に保留されたテストセットで学習し、ベースモデルに対してベンチマークを行います。ファインチューニングされたモデルが目標メトリクスを測定可能なほど改善しない場合、デプロイしません。
4. デプロイ: 本番サービングにはvLLMを使用。クライアントが単一GPUから複数の特化モデルを必要とする場合は、マルチアダプターパターンを採用。

私たちは、エンタープライズ級のGPU予算を持てないスタートアップ向けにファインチューニングモデルを出荷してきました。RunPod上のQLoRAにより、70Bモデルでもコストを30ドル未満に抑えています。

ユースケースに応じたLLMのファインチューニングでお困りですか？ 私たちは、生データからデプロイ済みのモデルに至るまでチームを支援します。無料相談を受ける

LLMファインチューニングに関するよくある質問

LLMファインチューニングとは何ですか？

LLMファインチューニングは、事前学習済み言語モデルを独自のタスク固有データで学習させ、そのタスクの性能を向上させるプロセスです。本質的に、一般的なプロンプティングでは確実に達成できない新しい動作、フォーマット、またはドメイン専門知識をモデルに教え込むことです。

ファインチューニングとRAG、どちらを使うべきですか？

モデルに異なる「振る舞い」を一貫した出力フォーマット、ドメイン固有の言語、特定のトーンでさせたい場合はファインチューニングを行います。モデルに異なることを「知らせ」たい場合、特にその知識が頻繁に変化する場合はRAGを使用します。多くの本番システムでは、ハイブリッドアプローチが最善です。

LLMのファインチューニングにはいくらかかりますか？

規模に応じて0ドルから540ドルまでさまざまです。ほとんどの個人開発者は、RunPodのRTX 4090（0.34ドル/時間）でQLoRAを使用し、1ドル未満で済ませています。A100上の70B本番モデルは17〜27ドルです。H100クラスターでのフルファインチューニングは270〜540ドルです。APIファインチューニング（OpenAI）は、1,000件のサンプルで3〜25ドルです。

ノートパソコンでLLMをファインチューニングできますか？

はい、ノートパソコンに12GB以上のVRAMを持つGPUがあれば可能です。RTX 3060ノートパソコンGPUは、QLoRAを使用した8Bモデルを処理できます。16GB以上のユニファイドメモリを持つApple Silicon Macも、MLX経由でファインチューニング可能ですが、CUDAより低速です。より大きなモデルにはクラウドGPUが必要です。

LoRAとQLoRAの違いは何ですか？

どちらもベースモデルを凍結しながら、小さな学習可能なアダプター層を追加します。違いは、QLoRAがベースモデルを4ビット精度（NF4データ型）に量子化し、標準的なLoRAと比較してVRAM使用量を約25%削減することです。品質はほぼ同一で、QLoRAはフルファインチューニング品質の97〜99%を達成します。

学習サンプルはどれだけ必要ですか？

タスクの複雑さによります。50〜100件のサンプルで概念実証には十分です。500〜1,000件のサンプルで、ほとんどの単一タスクに有用な結果が得られます。5,000〜10,000件のサンプルで、複雑なタスクの本番品質が実現します。10,000件を超えると、タスクの変動性が極めて高い場合を除き、収穫逓減となります。

2026年にどのベースモデルをファインチューニングすべきですか？

汎用タスクにはLlama 3.x（最高の総合的な品質/サイズ比）。ヨーロッパ言語と効率的な推論にはMistral。多言語およびコードタスクにはQwen 2.5。最小のフットプリントが必要な場合はPhi-4。Googleエコシステム統合にはGemma 2。

GRPOとは何で、なぜ重要ですか？

GRPO (Group Relative Policy Optimization) は、DeepSeekによって導入された、アライメント学習におけるRLHFの後継技術です。主な利点は、別の報酬モデルを訓練する必要がないため、計算コストが約半分に削減されることです。TRL v0.15.0はGRPOをネイティブにサポートしており、Hugging Faceエコシステムを使用する誰でも利用可能になっています。

破滅的忘却を防ぐにはどうすればよいですか？

フルファインチューニングではなくLoRAまたはQLoRAを使用します。これらはベースモデルの重みを凍結するため、一般的な知識を保持します。学習率を低く保ちます（QLoRAでは2e-4、フルでは2e-5）。必要な最小限のエポック数で学習します（通常1〜3で十分）。学習後、一般ベンチマーク（MMLU、HellaSwag）でモデルを実行し、退行していないことを確認します。

ファインチューニングとRAGを併用できますか？

もちろん可能で、多くの本番システムでまさにそうしています。動作とフォーマットの一貫性のためにファインチューニングを行い、最新の知識検索のためにRAGを接続します。ファインチューニングされたモデルは、ドメインの言語と出力要件を理解しているため、取得したコンテキストをより効果的に活用できます。

ファインチューニングにはどのくらい時間がかかりますか？

ほとんどのプロジェクトで30分から8時間です。Unsloth + RTX 4090上の500件のサンプルを持つ8Bモデルは15〜30分で完了します。同じジョブを無料のColab T4で行うと1〜2時間かかります。A100上の70Bモデルは5〜8時間かかります。マルチGPUセットアップでのフルファインチューニングは20〜40時間かかることがあります。

OpenAIのファインチューニングAPIは価値がありますか？

迅速なプロトタイピングには是的です。JSONLファイルをアップロードし、GPUセットアップなしで30分以内にファインチューニングされたGPT-4o-miniを得られます。本番環境では、ローカルファインチューニングの方が通常優れています。重みを所有でき、データプライバシーを制御でき、大規模なコストが低くなるためです。多くのチームは、アプローチを検証するためにAPIから始め、その後ローカルに移行します。

結論

LLMのファインチューニングは、2年前のような黒魔術ではありません。主要な要点は以下の通りです。

1. QLoRA + Unslothから始める: コンシューマーハードウェアでユースケースの90%を処理します
2. 良いデータは大きなモデルに勝る: 常に。GPUのアップグレードではなく、データセットの品質に努力を注ぎます。
3. コスト障壁は消滅: クラウドGPUで8Bモデルを1ドル未満でファインチューニング可能
4. デプロイ前に必ずベースモデルと比較評価: 測定可能な改善がない場合は出荷しない
5. まずRAGを検討: モデルに異なることを「知らせる」だけでなく、「異なる振る舞い」をさせたい場合のみファインチューニング

実装の準備はできましたか？ 訓練フレームワークとデプロイオプションの詳細な比較については、近日公開予定のベストLLMファインチューニングツール＆プラットフォームをご覧ください。

このガイドが役に立った場合は、AI駆動製品に関するより広範なアーキテクチャ決定のための適切なAIスタックの選択に関するウォークスルーもご覧ください。

ソース

• Unsloth GitHub リポジトリ、2-5倍の速度改善を実現するファインチューニングフレームワーク
• Hugging Face TRL ドキュメント、SFTTrainer、DPO、およびGRPOの実装
• Hugging Face PEFT ドキュメント、LoRAおよびパラメータ効率的ファインチューニング
• QLoRA論文 (Dettmers et al., 2023) -- 4ビットNormalFloat量子化研究
• LoRA論文 (Hu et al., 2021)、大規模言語モデルの低ランク適応
• OpenAI ファインチューニングAPI ドキュメント、APIベースのファインチューニングワークフロー
• RunPod GPU Cloud 価格、クラウドGPUコスト参照
• vLLM ドキュメント、本番LLMサービング
• Meta Llama ファインチューニングガイド、公式Llama訓練推奨事項
• DeepSeekMath論文 (GRPO)、グループ相対ポリシー最適化