Cách tinh chỉnh LLM: Phương pháp, Framework & Code từng bước [2026]

Tinh chỉnh một LLM nghĩa là lấy một mô hình đã được huấn luyện trước và tiếp tục huấn luyện nó trên dữ liệu cụ thể của bạn, giúp mô hình thực hiện nhiệm vụ tốt hơn so với bất kỳ kỹ thuật prompt nào có thể đạt được. Rào cản gia nhập đã sụp đổ: QLoRA + Unsloth hiện cho phép bạn tinh chỉnh mô hình 8 tỷ tham số (8B) trên GPU phổ thông 12 GB với chi phí đám mây dưới 1 USD.

Hướng dẫn này bao gồm toàn bộ hành trình: khi nào nên tinh chỉnh (so với RAG hoặc kỹ thuật prompt), cách chọn phương pháp và framework, cách chuẩn bị dataset, hướng dẫn sao chép-dán cho Llama 3, các kịch bản chi phí thực tế và cách triển khai.

Tổng quan về Tinh chỉnh

Trước khi cam kết với bất cứ điều gì, đây là bức tranh tổng quan nhanh:

Bây giờ, hãy cùng xác định xem việc tinh chỉnh có thực sự là lựa chọn đúng đắn cho dự án của bạn hay không.

Khi nào nên tinh chỉnh LLM? (So với RAG và Prompt Engineering)

Đây là câu hỏi mà hầu hết các nhà phát triển thường bỏ qua, khiến họ lãng phí hàng tuần nỗ lực vô ích. Tinh chỉnh rất mạnh mẽ, nhưng không phải lúc nào cũng là công cụ phù hợp. Dưới đây là khung quyết định để bạn tham khảo.

Quyết định cuối cùng phụ thuộc vào những gì bạn đang cố gắng thay đổi. Dưới đây là các kịch bản thực tế:

Nếu bạn đang chọn stack AI phù hợp cho SaaS của mình, khung quyết định này là bước đầu tiên. Nhiều đội ngũ xây dựng các pipeline RAG phức tạp trong khi việc tinh chỉnh với 500 mẫu có thể mang lại kết quả nhất quán hơn với độ trễ thấp hơn.

Kết luận: Hãy tinh chỉnh khi bạn cần mô hình hành xử khác đi một cách nhất quán, chứ không chỉ biết những điều khác. Nếu bạn chỉ cần kiến thức mới, RAG rẻ hơn và dễ bảo trì hơn. Nếu cần cả hai, hãy dùng phương pháp lai (hybrid).

Cơ chế hoạt động của tinh chỉnh LLM? Full vs. LoRA vs. QLoRA

Có ba cách tiếp cận chính, và chúng khác nhau đáng kể về yêu cầu phần cứng, chi phí và chất lượng. Hiểu rõ sự đánh đổi sẽ giúp bạn tránh đầu tư quá mức hoặc không đáp ứng được yêu cầu.

Full Fine-Tuning (Khi ngân sách không thành vấn đề)

Full fine-tuning cập nhật mọi tham số trong mô hình. Nó tạo ra kết quả tốt nhất có thể nhưng đòi hỏi tài nguyên khổng lồ, khoảng 100+ GB VRAM cho mô hình 7B (bạn cần lưu trữ đồng thời mô hình, trạng thái optimizer và gradients). Đây là lãnh địa của các cụm H100. Trừ khi bạn đang ở một phòng thí nghiệm được tài trợ dồi dào, hãy bỏ qua cách này.

LoRA: Cuộc cách mạng PEFT

LoRA (Low-Rank Adaptation) đóng băng mô hình nền tảng và thêm các ma trận nhỏ có thể huấn luyện gọi là adapters. Thay vì cập nhật trực tiếp ma trận trọng số khổng lồ W, LoRA phân tách bản cập nhật thành hai ma trận nhỏ A và B, trong đó hạng r nhỏ hơn nhiều so với kích thước mô hình. Kết quả: bạn chỉ huấn luyện khoảng 1-2% số tham số gốc trong khi vẫn giữ được 98-99% chất lượng của full fine-tuning.

Thư viện peft của Hugging Face là triển khai tiêu chuẩn. Các adapter LoRA thường chỉ nặng 50-200 MB, rất nhỏ so với mô hình đầy đủ.

QLoRA: Tinh chỉnh cho tất cả mọi người

QLoRA đưa LoRA đi xa hơn một bước. Nó tải mô hình nền tảng ở độ chính xác 4-bit bằng cách sử dụng kiểu dữ liệu đặc biệt gọi là NormalFloat4 (NF4), sau đó áp dụng các adapter LoRA lên trên. Việc lượng tử hóa 4-bit giảm thêm ~25% mức sử dụng VRAM so với LoRA tiêu chuẩn trong khi vẫn giữ nguyên chất lượng gần như tương đương.

Đây là yếu tố làm cho việc tinh chỉnh trở nên dễ tiếp cận. Một mô hình 7B cần 100+ GB cho full fine-tuning nay có thể chạy trong 12 GB với QLoRA.

Kết luận: Đối với 90% nhà phát triển, QLoRA là lựa chọn đúng. Sự khác biệt về chất lượng so với full fine-tuning là không đáng kể đối với hầu hết các tác vụ, và tiết kiệm phần cứng là rất lớn. Hãy bắt đầu từ đó và chỉ mở rộng quy mô nếu các chỉ số đánh giá của bạn yêu cầu.

Nên chọn Framework tinh chỉnh nào trong năm 2026?

Việc chọn framework quan trọng hơn nhiều người nghĩ. Framework phù hợp giúp tiết kiệm hàng giờ thiết lập và tăng tốc đáng kể quá trình huấn luyện. Dưới đây là so sánh bốn tùy chọn chính.

Dưới đây là khuyến nghị nhanh:

• Lần đầu tinh chỉnh? Dùng Unsloth. Huấn luyện nhanh nhất, thiết lập dễ nhất, có sẵn notebook Colab miễn phí để bắt đầu ngay.
• Cần web UI không cần code? Dùng LLaMA-Factory. Giao diện LLaMA-Board cho phép bạn cấu hình và khởi chạy huấn luyện từ trình duyệt.
• Đang thực hiện căn chỉnh (RLHF, DPO, GRPO)? Dùng TRL. Đây là tiêu chuẩn của Hugging Face cho huấn luyện dựa trên sở thích, và v0.15.0 (tháng 3/2026) đã thêm hỗ trợ GRPO native.
• Chạy pipeline production trên multi-GPU? Dùng Axolotl. Cấu hình dựa trên YAML giúp các thử nghiệm có thể tái lập và kiểm toán được.

Một mẹo hữu ích: Unsloth và LLaMA-Factory có thể kết hợp. LLaMA-Factory hỗ trợ Unsloth làm backend huấn luyện, mang lại sự tiện lợi của GUI với tối ưu hóa tốc độ của Unsloth. Các đội ngũ xây dựng AI agents sử dụng mô hình đã tinh chỉnh thường bắt đầu với Unsloth để lặp lại nhanh, sau đó chuyển sang Axolotl cho khả năng tái lập trong production.

Chuẩn bị Dataset cho tinh chỉnh như thế nào?

Chất lượng dữ liệu là yếu tố quan trọng nhất quyết định thành công của việc tinh chỉnh. Một dataset 500 mẫu được tuyển chọn kỹ lưỡng sẽ vượt trội hơn một dataset 10.000 mẫu nhiễu loạn hầu như mọi lúc.

Định dạng Dataset

Hai định dạng phổ biến là chat (tương thích OpenAI) và instruction (kiểu Alpaca). Dưới đây là ví dụ cho mỗi loại ở định dạng JSONL:

Định dạng chat (khuyến nghị cho hầu hết các trường hợp):

{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "I ordered a laptop 3 days ago (order #4821) and it still says processing."}, {"role": "assistant", "content": "I can see order #4821 is currently in our warehouse being prepared for shipment. Laptops typically ship within 3-5 business days. You should receive a tracking number by tomorrow. Would you like me to flag this for priority processing?"}]}
{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "Can I return my keyboard? Order #3019, bought it last week."}, {"role": "assistant", "content": "Absolutely! Order #3019 is within our 30-day return window. I'll email you a prepaid return label right now. Once we receive the keyboard, your refund will process within 2-3 business days."}]}
{"messages": [{"role": "system", "content": "You are a customer support agent for Acme Inc. Be helpful, concise, and always reference the user's order number."}, {"role": "user", "content": "My monitor arrived cracked. Order #5573."}, {"role": "assistant", "content": "I'm sorry about that! For order #5573, I'm initiating an immediate replacement shipment -- no need to return the damaged unit. The new monitor will ship today with express delivery. You'll get a tracking email within the hour."}]}

Định dạng instruction (kiểu Alpaca):

{"instruction": "Summarize the following customer complaint in one sentence.", "input": "I've been waiting 2 weeks for my refund and nobody responds to my emails. This is the worst customer service I've ever experienced.", "output": "Customer is frustrated by a 2-week delay in receiving their refund and lack of email response from support."}
{"instruction": "Classify the sentiment of this review.", "input": "The product works fine but shipping took forever.", "output": "Mixed (positive product, negative shipping)"}

Hướng dẫn kích thước Dataset

Bạn thực sự cần bao nhiêu dữ liệu? Điều này phụ thuộc vào độ phức tạp của tác vụ:

1. 50-100 mẫu, bằng chứng khái niệm (proof of concept), đủ để kiểm tra xem tinh chỉnh có giúp ích không
2. 500-1.000 mẫu, hữu ích cho hầu hết các tác vụ đơn lẻ (phân loại, trích xuất, định dạng)
3. 5.000-10.000 mẫu, kết quả chất lượng production cho các tác vụ phức tạp
4. 10.000+ mẫu, lợi ích giảm dần trừ khi tác vụ của bạn có độ biến thiên cao

Danh sách kiểm tra chất lượng dữ liệu

Trước khi huấn luyện, hãy xác thực dataset của bạn dựa trên các tiêu chí sau:

• Định dạng nhất quán trên tất cả các mẫu (cùng system prompt, cùng cấu trúc đầu ra)
• Các mẫu đa dạng bao phủ các trường hợp biên và lỗi tiềm ẩn
• Không có mâu thuẫn (đừng dạy mô hình nói cả "có" và "không" cho cùng một mẫu đầu vào)
• Phân phối cân bằng của các loại đầu ra (nếu làm phân loại, đừng để 90% mẫu thuộc một lớp)
• Loại bỏ các mục trùng lặp hoặc gần trùng lặp

Mẹo chuyên gia: Sử dụng GPT-4 hoặc Claude để tạo dữ liệu huấn luyện tổng hợp ban đầu, sau đó tinh chỉnh với sự xem xét của con người. 500 mẫu tổng hợp chất lượng cao thường vượt trội hơn 5.000 mẫu thực tế nhiễu loạn. Hướng dẫn tinh chỉnh của Meta khuyến nghị cách tiếp cận này để khởi tạo dataset.

Từng bước: Tinh chỉnh Llama 3 8B với QLoRA và Unsloth

Dưới đây là hướng dẫn hoàn chỉnh. Mọi khối code đều sẵn sàng để sao chép-dán, bạn có thể chạy trong Google Colab notebook miễn phí hoặc trên bất kỳ máy nào có 12+ GB VRAM.

Bước 1: Cài đặt Unsloth

pip install unsloth

Chỉ vậy thôi. Unsloth tự động xử lý tất cả các dependencies (transformers, peft, trl, bitsandbytes).

Bước 2: Tải mô hình nền tảng ở chế độ 4-bit

from unsloth import FastLanguageModel

# Load Llama 3.1 8B in 4-bit quantization
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

Điều này tải xuống mô hình đã lượng tử hóa 4-bit (~4 GB) và nạp vào bộ nhớ GPU. Trên RTX 3060 (12 GB), bạn sẽ có dư địa ample cho việc huấn luyện.

Bước 3: Cấu hình LoRA Adapters

# Add LoRA adapters to the model
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                # LoRA rank -- 16 is the sweet spot for most tasks
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                     "gate_proj", "up_proj", "down_proj"],
    lora_alpha=16,       # Scaling factor (usually equal to r)
    lora_dropout=0,      # Unsloth optimizes for 0 dropout
    bias="none",
)

Với r=16, bạn đang huấn luyện khoảng 40 triệu tham số trên tổng số 8 tỷ, ít hơn 0.5% mô hình. Đó là phép màu của LoRA.

Bước 4: Tải Dataset của bạn

from datasets import load_dataset

# Load your JSONL dataset from Hugging Face Hub or local file
dataset = load_dataset("json", data_files="train.jsonl", split="train")

# Format into chat template
def format_chat(example):
    text = tokenizer.apply_chat_template(
        example["messages"],
        tokenize=False,
        add_generation_prompt=False,
    )
    return {"text": text}

dataset = dataset.map(format_chat)

Điều này lấy định dạng chat JSONL từ phần trước và áp dụng template chat của Llama 3. Tokenizer xử lý tất cả các token đặc biệt (<|begin_of_text|>, <|eot_id|>, v.v.).

Bước 5: Cấu hình và chạy huấn luyện

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=2048,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,    # Effective batch size = 8
        warmup_steps=5,
        max_steps=60,                     # Adjust based on dataset size
        learning_rate=2e-4,               # Standard for QLoRA
        fp16=not is_bfloat16_supported(),
        bf16=is_bfloat16_supported(),
        logging_steps=1,
        output_dir="outputs",
        seed=42,
    ),
)

# Start training
trainer.train()

Các siêu tham số chính cần hiểu:

• Learning rate (2e-4): Tiêu chuẩn cho QLoRA. Giảm xuống (2e-5) nếu bạn thấy mô hình quên các khả năng chung.
• Batch size (2) x gradient accumulation (4): Kích thước batch hiệu dụng là 8. Tăng gradient_accumulation nếu GPU hết bộ nhớ.
• max_steps (60): Với 500 mẫu, đây là khoảng 1 epoch. Bắt đầu với 1-3 epochs và theo dõi validation loss.
• Rank r (16): Thấp hơn (4-8) cho tác vụ đơn giản, cao hơn (32-64) cho tác vụ phức tạp. 16 là mặc định an toàn.

Bước 6: Lưu và kiểm tra

# Save the LoRA adapters (small -- ~50-200 MB)
model.save_pretrained("my-fine-tuned-model")
tokenizer.save_pretrained("my-fine-tuned-model")

# Quick inference test
FastLanguageModel.for_inference(model)
inputs = tokenizer(
    [tokenizer.apply_chat_template(
        [{"role": "user", "content": "I need to return order #7742"}],
        tokenize=False,
        add_generation_prompt=True,
    )],
    return_tensors="pt",
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Đó là toàn bộ pipeline. Trên RTX 4090 với Unsloth, việc huấn luyện 500 mẫu mất khoảng 15-30 phút. Trên Colab T4 miễn phí, dự kiến 1-2 giờ.

Còn về tinh chỉnh dựa trên API thì sao? (OpenAI, Google, Mistral)

Không phải ai cũng muốn quản lý GPU. Các nhà cung cấp API cho phép bạn tinh chỉnh thông qua quy trình upload-and-train đơn giản. Dưới đây là so sánh với việc tự chạy.

Khi nào tinh chỉnh API phù hợp: Bạn cần lặp lại nhanh, dataset nhỏ, không muốn quản lý hạ tầng, hoặc cụ thể cần mô hình đóng như GPT-4o.

Khi nào tinh chỉnh local thắng thế: Quyền riêng tư dữ liệu quan trọng (y tế, tài chính, pháp lý), bạn huấn luyện thường xuyên, muốn sở hữu và xuất trọng số, hoặc tối ưu chi phí ở quy mô lớn.

Kết luận: Tinh chỉnh API là con đường nhanh nhất để có bằng chứng khái niệm. Tinh chỉnh local là con đường rẻ nhất để đưa vào production. Hầu hết các đội ngũ tạo mẫu trên API, sau đó chuyển sang Unsloth local khi đã xác nhận cách tiếp cận.

Chi phí tinh chỉnh LLM là bao nhiêu?

Câu chuyện "tinh chỉnh đắt đỏ" đã thuộc về năm 2023. Dưới đây là chi phí thực tế ngày nay.

Đường cong chi phí phẳng rất nhanh. Một startup tinh chỉnh mô hình 8B trên RunPod chi tiêu cho việc huấn luyện còn ít hơn một ly cà phê. Ngay cả kịch bản production 70B cũng dưới $30 -- tương đương ngân sách ăn trưa hàng ngày của một developer junior trong một tháng.

Các nhà cung cấp GPU cloud đáng so sánh: RunPod (giá spot tốt nhất), Lambda (H100 on-demand đáng tin cậy), Vast.ai (rẻ nhất nhưng chất lượng thay đổi), và Modal (serverless, trả tiền theo giây).

Biểu đồ trên cho thấy lý do tại sao QLoRA đã thay đổi cuộc chơi. Một mô hình 7B yêu cầu cụm multi-GPU cho full fine-tuning nay vừa vặn trên GPU laptop. Mô hình 70B giảm từ "chỉ cloud" xuống còn một A100 duy nhất.

Kết luận: Bạn có thể tinh chỉnh mô hình 8B chất lượng production với chi phí dưới $1. Rào cản chi phí cho việc tinh chỉnh đã biến mất. Chi phí thực sự nằm ở thời gian chuẩn bị dataset.

Đánh giá mô hình đã tinh chỉnh như thế nào?

Huấn luyện chỉ là nửa công việc. Không có đánh giá đúng đắn, bạn không thể biết mô hình đã tinh chỉnh thực sự cải thiện hay chỉ đơn thuần ghi nhớ dữ liệu huấn luyện.

Chỉ số tự động

Theo dõi những chỉ số này trong và sau khi huấn luyện:

• Training loss / perplexity: Nên giảm steadily, sau đó đi ngang. Nếu giảm về gần 0, bạn đang overfitting.
• Chỉ số đặc thù tác vụ: Accuracy (phân loại), BLEU/ROUGE (tóm tắt), exact match (trích xuất), F1 (multi-label). Chọn chỉ số phù hợp với tác vụ của bạn.

Đánh giá bởi con người

Con số không nắm bắt được mọi thứ. Đối với các tác vụ sinh sáng tạo:

• Kiểm thử A/B: Hiển thị đầu ra của mô hình base và mô hình đã tinh chỉnh cạnh nhau. Nhờ 3-5 người đánh giá chọn phản hồi tốt hơn trên 50+ mẫu. Theo dõi tỷ lệ thắng.
• Xếp hạng thang Likert: Đánh giá đầu ra về độ liên quan (1-5), độ chính xác (1-5) và giọng văn (1-5). Tính toán mức cải thiện trung bình so với mô hình base.

Kiểm tra quên thảm khốc

Đây là điều hầu hết developer bỏ qua. Sau khi tinh chỉnh, chạy mô hình trên benchmark chung như MMLU hoặc HellaSwag. Nếu điểm số giảm hơn 2-3 điểm, mô hình của bạn đã mất quá nhiều kiến thức chung. Cách khắc phục: giảm learning rate, giảm epochs, hoặc chuyển sang LoRA (đóng băng trọng số base).

Quy tắc thực tế: Luôn giữ lại 10-20% dataset làm test set. Không bao giờ đánh giá trên dữ liệu huấn luyện, điều đó không nói lên điều gì về hiệu suất thực tế.

Triển khai mô hình đã tinh chỉnh như thế nào?

Huấn luyện xong. Giờ bạn cần phục vụ nó. Hầu hết các hướng dẫn bỏ qua phần này hoàn toàn.

Bước 1: Hợp nhất LoRA Adapters

Nếu bạn dùng LoRA hoặc QLoRA, hãy hợp nhất các adapter trở lại mô hình base để suy luận:

# Merge adapters into base model
model.merge_and_unload()
model.save_pretrained("merged-model")
tokenizer.save_pretrained("merged-model")

Bước 2: Chọn lộ trình triển khai

Phát triển và kiểm thử local, Ollama:

# Convert to GGUF format (Ollama's native format)
python llama.cpp/convert_hf_to_gguf.py merged-model --outfile model.gguf --outtype q4_k_m

# Create an Ollama model
ollama create my-fine-tuned-model -f Modelfile
ollama run my-fine-tuned-model

Phục vụ production, vLLM:

# Start an OpenAI-compatible API server
python -m vllm.entrypoints.openai.api_server \
    --model merged-model \
    --host 0.0.0.0 \
    --port 8000

Serverless (không hạ tầng): Tải mô hình của bạn lên Together AI, Fireworks hoặc Modal. Bạn nhận được endpoint API mà không cần quản lý server. Chi phí tỷ lệ thuận với mức sử dụng.

Nâng cao: Phục vụ Multi-Adapter

Đây là mô hình mà nhiều đội ngũ nên sử dụng: giữ một mô hình base trong bộ nhớ và hoán đổi LoRA adapters theo từng request. Bạn có thể phục vụ adapter hỗ trợ khách hàng, adapter review code và adapter tóm tắt, tất cả từ một GPU duy nhất. vLLM hỗ trợ điều này native với cờ --enable-lora.

Sẵn sàng triển khai? Xem Công cụ & Nền tảng tinh chỉnh LLM tốt nhất [sắp ra mắt] để so sánh sâu hơn các tùy chọn triển khai.

Những lỗi tinh chỉnh phổ biến nhất là gì?

Sau khi giúp các đội ngũ gỡ lỗi hàng chục lần chạy tinh chỉnh, đây là những lỗi xuất hiện lặp đi lặp lại.

1. Overfitting trên dataset nhỏ. Bạn huấn luyện 10 epochs trên 200 mẫu, training loss về gần 0, và mô hình đọc lại nguyên văn dữ liệu huấn luyện. Khắc phục: tối đa 1-3 epochs, dùng validation set, và theo dõi khoảng cách giữa training loss và eval loss.

2. Quên thảm khốc. Mô hình làm tốt tác vụ cụ thể nhưng không thể duy trì hội thoại cơ bản nữa. Khắc phục: dùng LoRA/QLoRA (đóng băng trọng số base), giữ learning rate thấp (2e-5 cho full fine-tuning, 2e-4 cho QLoRA), và đánh giá trên benchmark chung trước khi triển khai.

3. Chất lượng dữ liệu kém. Định dạng không nhất quán, mâu thuẫn giữa các mẫu, hoặc trùng lặp. Mô hình học nhiễu. Khắc phục: làm sạch dữ liệu trước khi huấn luyện. Luôn luôn. Dành nhiều thời gian hơn cho việc tuyển chọn dữ liệu so với tinh chỉnh hyperparameter.

4. Bắt đầu với mô hình quá lớn. Các đội ngũ nhảy vào 70B vì "càng lớn càng tốt", rồi không thể chịu nổi chi phí GPU. Khắc phục: bắt đầu với 8B. Nếu 8B với dữ liệu tốt không giải quyết được tác vụ, 70B với cùng dữ liệu có lẽ cũng không. Nâng cao chất lượng dữ liệu trước, rồi mới đến kích thước mô hình.

5. Không có pipeline đánh giá. Huấn luyện không có test set riêng, rồi triển khai dựa trên cảm tính. Khắc phục: chia dữ liệu 80/10/10 (train/val/test) trước khi bắt đầu. So sánh với mô hình base trên mọi mẫu test.

6. Learning rate quá cao. Phá hủy kiến thức pre-trained trong vài bước đầu tiên. Mô hình xuất ra nội dung vô nghĩa. Khắc phục: bắt đầu ở 2e-4 cho QLoRA, 2e-5 cho full fine-tuning. Nếu đầu ra suy giảm, hãy giảm xuống.

Techsy tiếp cận tinh chỉnh LLM như thế nào

Tại Techsy, chúng tôi tuân theo lộ trình leo thang nghiêm ngặt cho mọi dự án AI: prompt engineering trước, RAG thứ hai, tinh chỉnh chỉ khi dữ liệu chứng minh là cần thiết. Hầu hết các dự án khách hàng không thực sự cần tinh chỉnh, prompt được soạn thảo kỹ hoặc pipeline RAG giải quyết vấn đề với chi phí và độ phức tạp thấp hơn.

Khi tinh chỉnh là lựa chọn đúng, đây là quy trình của chúng tôi:

1. Kiểm toán dataset, Chúng tôi xem xét dữ liệu của khách hàng về chất lượng, độ bao phủ và định dạng. Nếu không đủ mẫu, chúng tôi giúp xây dựng dataset tổng hợp sử dụng GPT-4 hoặc Claude với sự xem xét của con người.
2. Chọn framework, Unsloth + QLoRA cho 90% dự án startup. Axolotl cho khách hàng cần pipeline production multi-GPU có thể tái lập.
3. Huấn luyện và đánh giá, Chúng tôi luôn huấn luyện với test set riêng và benchmark so với mô hình base. Nếu mô hình tinh chỉnh không cải thiện đo lường được chỉ số mục tiêu, chúng tôi không triển khai nó.
4. Triển khai, vLLM cho phục vụ production, mô hình multi-adapter khi khách hàng cần nhiều mô hình chuyên biệt từ một GPU duy nhất.

Chúng tôi đã bàn giao các mô hình tinh chỉnh cho các startup không thể afford ngân sách GPU enterprise, QLoRA trên RunPod giữ chi phí dưới $30 ngay cả với mô hình 70B.

Cần giúp đỡ tinh chỉnh LLM cho trường hợp sử dụng của bạn? Chúng tôi giúp các đội ngũ đi từ dữ liệu thô đến mô hình đã triển khai. Nhận tư vấn miễn phí

Câu hỏi thường gặp về tinh chỉnh LLM

Tinh chỉnh LLM là gì?

Tinh chỉnh LLM là quá trình huấn luyện một mô hình ngôn ngữ đã được huấn luyện trước trên dữ liệu đặc thù nhiệm vụ của riêng bạn để nó thực hiện tác vụ đó tốt hơn. Về cơ bản, bạn đang dạy mô hình các hành vi, định dạng hoặc chuyên môn lĩnh vực mới mà prompting chung chung không thể đạt được một cách đáng tin cậy.

Khi nào nên tinh chỉnh so với dùng RAG?

Tinh chỉnh khi bạn cần mô hình hành xử khác đi, định dạng đầu ra nhất quán, ngôn ngữ đặc thù lĩnh vực, giọng văn cụ thể. Dùng RAG khi mô hình cần biết những điều khác, đặc biệt nếu kiến thức đó thay đổi thường xuyên. Đối với nhiều hệ thống production, cách tiếp cận lai (hybrid) hoạt động tốt nhất.

Chi phí tinh chỉnh LLM là bao nhiêu?

Từ $0 đến $540 tùy thuộc vào quy mô. Hầu hết developer cá nhân chi tiêu dưới $1 sử dụng QLoRA trên RunPod RTX 4090 ($0.34/giờ). Mô hình production 70B trên A100 tốn $17-27. Full fine-tuning trên cụm H100 chạy $270-540. Tinh chỉnh API (OpenAI) tốn $3-25 cho 1.000 mẫu.

Tôi có thể tinh chỉnh LLM trên laptop không?

Có, nếu laptop của bạn có GPU với 12+ GB VRAM. GPU laptop RTX 3060 xử lý được mô hình 8B với QLoRA. Mac Apple Silicon với 16+ GB bộ nhớ thống nhất cũng có thể tinh chỉnh qua MLX, dù chậm hơn CUDA. Đối với mô hình lớn hơn, bạn sẽ cần GPU cloud.

Sự khác biệt giữa LoRA và QLoRA là gì?

Cả hai đều thêm các lớp adapter nhỏ có thể huấn luyện trong khi đóng băng mô hình base. Điểm khác biệt: QLoRA cũng lượng tử hóa mô hình base xuống độ chính xác 4-bit (kiểu dữ liệu NF4), giảm sử dụng VRAM ~25% so với LoRA tiêu chuẩn. Chất lượng gần như tương đương, QLoRA đạt 97-99% chất lượng của full fine-tuning.

Tôi cần bao nhiêu mẫu huấn luyện?

Tùy thuộc vào độ phức tạp tác vụ. 50-100 mẫu là đủ cho proof of concept. 500-1.000 mẫu tạo ra kết quả hữu ích cho hầu hết các tác vụ đơn lẻ. 5.000-10.000 mẫu mang lại chất lượng production cho các tác vụ phức tạp. Vượt quá 10.000, bạn gặp lợi ích giảm dần trừ khi tác vụ có độ biến thiên cực cao.

Nên tinh chỉnh mô hình nền tảng nào trong năm 2026?

Llama 3.x cho các tác vụ đa năng (tỷ lệ chất lượng/kích thước tốt nhất tổng thể). Mistral cho ngôn ngữ châu Âu và suy luận hiệu quả. Qwen 2.5 cho các tác vụ đa ngôn ngữ và code. Phi-4 khi bạn cần footprint nhỏ nhất có thể. Gemma 2 để tích hợp hệ sinh thái Google.

GRPO là gì và tại sao nó quan trọng?

GRPO (Group Relative Policy Optimization), được giới thiệu bởi DeepSeek, là kế nhiệm của RLHF cho huấn luyện căn chỉnh. Lợi thế chính: nó không yêu cầu huấn luyện một mô hình reward riêng biệt, giảm khoảng một nửa chi phí tính toán. TRL v0.15.0 hỗ trợ GRPO native, giúp nó dễ tiếp cận với bất kỳ ai sử dụng hệ sinh thái Hugging Face.

Làm thế nào để ngăn ngừa quên thảm khốc?

Sử dụng LoRA hoặc QLoRA thay vì full fine-tuning, chúng đóng băng trọng số mô hình base, giúp bảo tồn kiến thức chung. Giữ learning rate thấp (2e-4 cho QLoRA, 2e-5 cho full). Huấn luyện ít epochs nhất có thể (1-3 thường là đủ). Sau khi huấn luyện, chạy mô hình trên benchmark chung (MMLU, HellaSwag) để xác minh nó không bị thoái lui.

Tôi có thể vừa tinh chỉnh vừa dùng RAG không?

Chắc chắn rồi, và nhiều hệ thống production làm chính xác điều này. Tinh chỉnh cho hành vi và tính nhất quán định dạng, sau đó kết nối RAG để truy xuất kiến thức cập nhật. Mô hình đã tinh chỉnh sử dụng ngữ cảnh truy xuất tốt hơn vì nó hiểu ngôn ngữ và yêu cầu đầu ra của lĩnh vực của bạn.

Tinh chỉnh mất bao lâu?

Đối với hầu hết dự án, 30 phút đến 8 giờ. Mô hình 8B với 500 mẫu trên Unsloth + RTX 4090 hoàn thành trong 15-30 phút. Cùng tác vụ đó trên Colab T4 miễn phí mất 1-2 giờ. Mô hình 70B trên A100 mất 5-8 giờ. Full fine-tuning trên setup multi-GPU có thể mất 20-40 giờ.

API tinh chỉnh của OpenAI có đáng không?

Để tạo mẫu nhanh, có. Bạn có thể upload file JSONL và có GPT-4o-mini đã tinh chỉnh trong 30 phút mà không cần setup GPU. Cho production, tinh chỉnh local thường tốt hơn: bạn sở hữu trọng số, kiểm soát quyền riêng tư dữ liệu, và chi phí thấp hơn ở quy mô lớn. Hầu hết các đội ngũ bắt đầu với API để xác nhận cách tiếp cận, sau đó di chuyển sang local.

Kết luận

Tinh chỉnh LLM không còn là phép thuật đen tối như hai năm trước. Dưới đây là những điểm chính:

1. Bắt đầu với QLoRA + Unsloth, nó xử lý 90% trường hợp sử dụng trên phần cứng phổ thông
2. Dữ liệu tốt luôn thắng mô hình lớn hơn. Dành nỗ lực của bạn cho chất lượng dataset, không phải nâng cấp GPU.
3. Rào cản chi phí đã biến mất, tinh chỉnh mô hình 8B với dưới $1 trên GPU cloud
4. Luôn đánh giá so với mô hình base trước khi triển khai. Nếu không tốt hơn đo lường được, đừng ship nó.
5. Xem xét RAG trước, chỉ tinh chỉnh khi bạn cần mô hình hành xử khác đi, chứ không chỉ biết những điều khác

Sẵn sàng triển khai? Xem Công cụ & Nền tảng tinh chỉnh LLM tốt nhất [sắp ra mắt] để so sánh chi tiết các framework huấn luyện và tùy chọn triển khai.

Nếu bạn thấy hướng dẫn này hữu ích, hãy xem bài walkthrough của chúng tôi về chọn stack AI phù hợp cho các quyết định kiến trúc rộng hơn xung quanh sản phẩm powered by AI.

Nguồn

• Kho lưu trữ GitHub Unsloth, framework tinh chỉnh với cải thiện tốc độ 2-5 lần
• Tài liệu Hugging Face TRL, triển khai SFTTrainer, DPO và GRPO
• Tài liệu Hugging Face PEFT, LoRA và tinh chỉnh hiệu quả tham số
• Bài báo QLoRA (Dettmers et al., 2023) -- nghiên cứu lượng tử hóa NormalFloat 4-bit
• Bài báo LoRA (Hu et al., 2021), thích ứng hạng thấp của các mô hình ngôn ngữ lớn
• Tài liệu API Fine-Tuning của OpenAI, quy trình tinh chỉnh dựa trên API
• Bảng giá GPU Cloud RunPod, tham chiếu chi phí GPU cloud
• Tài liệu vLLM, phục vụ LLM production
• Hướng dẫn tinh chỉnh Meta Llama, khuyến nghị huấn luyện Llama chính thức
• Bài báo DeepSeekMath (GRPO), Tối ưu hóa Chính sách Tương đối Nhóm