Тонкая настройка с помощью TRL

TRL: SFT, DPO, PPO, GRPO, моделирование вознаграждения для LLM RLHF.

Метаданные навыка


Источник	Опционально — установка: `vibeos skills install official/mlops/trl-fine-tuning`
Путь	`optional-skills/mlops/training/trl-fine-tuning`
Версия	`1.0.0`
Автор	Orchestra Research
Лицензия	MIT
Зависимости	`trl`, `transformers`, `datasets`, `peft`, `accelerate`, `torch`
Платформы	linux, macos, windows
Теги	`Post-Training`, `TRL`, `Reinforcement Learning`, `Fine-Tuning`, `SFT`, `DPO`, `PPO`, `GRPO`, `RLHF`, `Preference Alignment`, `HuggingFace`

Справочная информация: полный SKILL.md

к сведению

Ниже приведено полное описание навыка, которое VibeOS загружает при его активации. Это те инструкции, которые видит агент, когда навык активен.

TRL — Transformer Reinforcement Learning

Быстрый старт

TRL предоставляет методы пост-тренировки для согласования языковых моделей с человеческими предпочтениями.

Установка:

pip install trl transformers datasets peft accelerate

Контролируемая тонкая настройка (обучение следованию инструкциям):

from trl import SFTTrainer

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=dataset,  # Пары «запрос-ответ»
)
trainer.train()

DPO (согласование с предпочтениями):

from trl import DPOTrainer, DPOConfig

config = DPOConfig(output_dir="model-dpo", beta=0.1)
trainer = DPOTrainer(
    model=model,
    args=config,
    train_dataset=preference_dataset,  # Пары «выбранный/отклонённый»
    processing_class=tokenizer
)
trainer.train()

Типовые рабочие процессы

Рабочий процесс 1: Полный конвейер RLHF (SFT → Модель вознаграждения → PPO)

Полный конвейер от базовой модели до модели, согласованной с человеком.

Скопируйте этот чек-лист:

Обучение RLHF:
- [ ] Шаг 1: Контролируемая тонкая настройка (SFT)
- [ ] Шаг 2: Обучение модели вознаграждения
- [ ] Шаг 3: Обучение с подкреплением PPO
- [ ] Шаг 4: Оценка согласованной модели

Шаг 1: Контролируемая тонкая настройка

Обучение базовой модели на данных следования инструкциям:

from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset

# Загрузка модели
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B")

# Загрузка набора данных с инструкциями
dataset = load_dataset("trl-lib/Capybara", split="train")

# Настройка обучения
training_args = SFTConfig(
    output_dir="Qwen2.5-0.5B-SFT",
    per_device_train_batch_size=4,
    num_train_epochs=1,
    learning_rate=2e-5,
    logging_steps=10,
    save_strategy="epoch"
)

# Обучение
trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    tokenizer=tokenizer
)
trainer.train()
trainer.save_model()

Шаг 2: Обучение модели вознаграждения

Обучение модели предсказывать человеческие предпочтения:

from transformers import AutoModelForSequenceClassification
from trl import RewardTrainer, RewardConfig

# Загрузка SFT-модели как основы
model = AutoModelForSequenceClassification.from_pretrained(
    "Qwen2.5-0.5B-SFT",
    num_labels=1  # Одно значение вознаграждения
)
tokenizer = AutoTokenizer.from_pretrained("Qwen2.5-0.5B-SFT")

# Загрузка данных предпочтений (пары «выбранный/отклонённый»)
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

# Настройка обучения
training_args = RewardConfig(
    output_dir="Qwen2.5-0.5B-Reward",
    per_device_train_batch_size=2,
    num_train_epochs=1,
    learning_rate=1e-5
)

# Обучение модели вознаграждения
trainer = RewardTrainer(
    model=model,
    args=training_args,
    processing_class=tokenizer,
    train_dataset=dataset
)
trainer.train()
trainer.save_model()

Шаг 3: Обучение с подкреплением PPO

Оптимизация политики с использованием модели вознаграждения:

python -m trl.scripts.ppo \
    --model_name_or_path Qwen2.5-0.5B-SFT \
    --reward_model_path Qwen2.5-0.5B-Reward \
    --dataset_name trl-internal-testing/descriptiveness-sentiment-trl-style \
    --output_dir Qwen2.5-0.5B-PPO \
    --learning_rate 3e-6 \
    --per_device_train_batch_size 64 \
    --total_episodes 10000

Шаг 4: Оценка

from transformers import pipeline

# Загрузка согласованной модели
generator = pipeline("text-generation", model="Qwen2.5-0.5B-PPO")

# Тест
prompt = "Объясни квантовые вычисления 10-летнему ребёнку"
output = generator(prompt, max_length=200)[0]["generated_text"]
print(output)

Рабочий процесс 2: Простое согласование предпочтений с помощью DPO

Согласование модели с предпочтениями без модели вознаграждения.

Скопируйте этот чек-лист:

Обучение DPO:
- [ ] Шаг 1: Подготовка набора данных предпочтений
- [ ] Шаг 2: Настройка DPO
- [ ] Шаг 3: Обучение с помощью DPOTrainer
- [ ] Шаг 4: Оценка согласования

Шаг 1: Подготовка набора данных предпочтений

Формат набора данных:

{
  "prompt": "Какая столица Франции?",
  "chosen": "Столица Франции — Париж.",
  "rejected": "Я не знаю."
}

Загрузка набора данных:

from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
# Или загрузите свой
# dataset = load_dataset("json", data_files="preferences.json")

Шаг 2: Настройка DPO

from trl import DPOConfig

config = DPOConfig(
    output_dir="Qwen2.5-0.5B-DPO",
    per_device_train_batch_size=4,
    num_train_epochs=1,
    learning_rate=5e-7,
    beta=0.1,  # Сила штрафа KL
    max_prompt_length=512,
    max_length=1024,
    logging_steps=10
)

Шаг 3: Обучение с помощью DPOTrainer

from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOTrainer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")

trainer = DPOTrainer(
    model=model,
    args=config,
    train_dataset=dataset,
    processing_class=tokenizer
)

trainer.train()
trainer.save_model()

Альтернатива через CLI:

trl dpo \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name argilla/Capybara-Preferences \
    --output_dir Qwen2.5-0.5B-DPO \
    --per_device_train_batch_size 4 \
    --learning_rate 5e-7 \
    --beta 0.1

Рабочий процесс 3: Энергоэффективное онлайн-обучение с подкреплением с помощью GRPO

Обучение с подкреплением с минимальным потреблением памяти.

Для углублённого руководства по GRPO — разработка функции вознаграждения, критические аспекты обучения (поведение функции потерь, коллапс мод, настройка) и продвинутые многоэтапные шаблоны — см. references/grpo-training.md. Готовый к использованию скрипт обучения находится в templates/basic_grpo_training.py.

Скопируйте этот чек-лист:

Обучение GRPO:
- [ ] Шаг 1: Определение функции вознаграждения
- [ ] Шаг 2: Настройка GRPO
- [ ] Шаг 3: Обучение с помощью GRPOTrainer

Шаг 1: Определение функции вознаграждения

def reward_function(completions, **kwargs):
    """
    Вычисление вознаграждения за завершения.

    Args:
        completions: Список сгенерированных текстов

    Returns:
        Список оценок вознаграждения (числа с плавающей точкой)
    """
    rewards = []
    for completion in completions:
        # Пример: вознаграждение на основе длины и уникальных слов
        score = len(completion.split())  # Поощрение более длинных ответов
        score += len(set(completion.lower().split()))  # Поощрение уникальных слов
        rewards.append(score)
    return rewards

Или используйте модель вознаграждения:

from transformers import pipeline

reward_model = pipeline("text-classification", model="reward-model-path")

def reward_from_model(completions, prompts, **kwargs):
    # Объединение запроса и завершения
    full_texts = [p + c for p, c in zip(prompts, completions)]
    # Получение оценок вознаграждения
    results = reward_model(full_texts)
    return [r["score"] for r in results]

Шаг 2: Настройка GRPO

from trl import GRPOConfig

config = GRPOConfig(
    output_dir="Qwen2-GRPO",
    per_device_train_batch_size=4,
    num_train_epochs=1,
    learning_rate=1e-5,
    num_generations=4,  # Генерация 4 завершений на запрос
    max_new_tokens=128
)

Шаг 3: Обучение с помощью GRPOTrainer

from datasets import load_dataset
from trl import GRPOTrainer

# Загрузка набора данных только с запросами
dataset = load_dataset("trl-lib/tldr", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_function,  # Ваша функция вознаграждения
    args=config,
    train_dataset=dataset
)

trainer.train()

CLI:

trl grpo \
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
    --dataset_name trl-lib/tldr \
    --output_dir Qwen2-GRPO \
    --num_generations 4

Когда использовать и альтернативы

Используйте TRL, когда:

Необходимо согласовать модель с человеческими предпочтениями
Есть данные о предпочтениях (пары «выбранный/отклонённый»)
Требуется обучение с подкреплением (PPO, GRPO)
Нужно обучение модели вознаграждения
Выполняется RLHF (полный конвейер)

Выбор метода:

SFT: Есть пары «запрос-ответ», требуется базовое следование инструкциям
DPO: Есть предпочтения, нужно простое согласование (модель вознаграждения не требуется)
PPO: Есть модель вознаграждения, нужен максимальный контроль над RL
GRPO: Ограниченная память, требуется онлайн-RL
Модель вознаграждения: Строится конвейер RLHF, нужно оценивать генерации

Используйте альтернативы, если:

HuggingFace Trainer: Базовая тонкая настройка без RL
Axolotl: Конфигурация обучения на основе YAML
LitGPT: Образовательная, минимальная тонкая настройка
Unsloth: Быстрое обучение LoRA

Частые проблемы

Проблема: OOM во время обучения DPO

Уменьшите размер батча и длину последовательности:

config = DPOConfig(
    per_device_train_batch_size=1,  # Уменьшить с 4
    max_length=512,  # Уменьшить с 1024
    gradient_accumulation_steps=8  # Сохранить эффективный батч
)

Или включите градиентную контрольную точку:

model.gradient_checkpointing_enable()

Проблема: Низкое качество согласования

Настройте параметр beta:

# Выше beta = более консервативно (ближе к эталону)
config = DPOConfig(beta=0.5)  # По умолчанию 0.1

# Ниже beta = более агрессивное согласование
config = DPOConfig(beta=0.01)

Проблема: Модель вознаграждения не обучается

Проверьте тип функции потерь и скорость обучения:

config = RewardConfig(
    learning_rate=1e-5,  # Попробуйте другую скорость обучения
    num_train_epochs=3  # Обучайте дольше
)

Убедитесь, что в наборе данных предпочтений есть явные победители:

# Проверка набора данных
print(dataset[0])
# Должно быть явное предпочтение chosen > rejected

Проблема: Нестабильное обучение PPO

Отрегулируйте коэффициент KL:

config = PPOConfig(
    kl_coef=0.1,  # Увеличить с 0.05
    cliprange=0.1  # Уменьшить с 0.2
)

Продвинутые темы

Руководство по обучению SFT: См. references/sft-training.md для форматов наборов данных, шаблонов чатов, стратегий упаковки и многопроцессорного обучения.

Варианты DPO: См. references/dpo-variants.md для IPO, cDPO, RPO и других функций потерь DPO с рекомендуемыми гиперпараметрами.

Моделирование вознаграждения: См. references/reward-modeling.md для вознаграждений на основе результата и процесса, потерь Брэдли-Терри и оценки модели вознаграждения.

Методы онлайн-RL: См. references/online-rl.md для PPO, GRPO, RLOO и OnlineDPO с подробными конфигурациями.

Углублённое изучение GRPO: См. references/grpo-training.md для экспертных шаблонов GRPO — философия разработки функции вознаграждения, аналитика обучения (почему увеличиваются потери, обнаружение коллапса мод), настройка гиперпараметров, многоэтапное обучение и устранение неисправностей. Готовый к использованию шаблон в templates/basic_grpo_training.py.

Требования к оборудованию

GPU: NVIDIA (требуется CUDA)
VRAM: Зависит от модели и метода
- SFT 7B: 16 ГБ (с LoRA)
- DPO 7B: 24 ГБ (хранит эталонную модель)
- PPO 7B: 40 ГБ (политика + модель вознаграждения)
- GRPO 7B: 24 ГБ (более эффективно по памяти)
Multi-GPU: Поддерживается через accelerate
Смешанная точность: Рекомендуется BF16 (A100/H100)

Оптимизация памяти:

Используйте LoRA/QLoRA для всех методов
Включите градиентные контрольные точки
Используйте меньшие размеры батчей с накоплением градиентов

Ресурсы

Документация: https://huggingface.co/docs/trl/
GitHub: https://github.com/huggingface/trl
Статьи:
- «Training language models to follow instructions with human feedback» (InstructGPT, 2022)
- «Direct Preference Optimization: Your Language Model is Secretly a Reward Model» (DPO, 2023)
- «Group Relative Policy Optimization» (GRPO, 2024)
Примеры: https://github.com/huggingface/trl/tree/main/examples

Метаданные навыка​

Справочная информация: полный SKILL.md​

TRL — Transformer Reinforcement Learning

Быстрый старт​

Типовые рабочие процессы​

Рабочий процесс 1: Полный конвейер RLHF (SFT → Модель вознаграждения → PPO)​

Рабочий процесс 2: Простое согласование предпочтений с помощью DPO​

Рабочий процесс 3: Энергоэффективное онлайн-обучение с подкреплением с помощью GRPO​

Когда использовать и альтернативы​

Частые проблемы​

Продвинутые темы​

Требования к оборудованию​

Ресурсы​

Метаданные навыка

Справочная информация: полный SKILL.md

Быстрый старт

Типовые рабочие процессы

Рабочий процесс 1: Полный конвейер RLHF (SFT → Модель вознаграждения → PPO)

Рабочий процесс 2: Простое согласование предпочтений с помощью DPO

Рабочий процесс 3: Энергоэффективное онлайн-обучение с подкреплением с помощью GRPO

Когда использовать и альтернативы

Частые проблемы

Продвинутые темы

Требования к оборудованию

Ресурсы