personal_chatgpt

Stage	Pre-Training	Supervised Fine-Tuning	Reward Modeling	Reinforcement Learning
Training Data	Trillions of tokens from websites, books, etc.	Prompt-Response Pairs for various tasks	Response Preferences	Prompts
Modeling Method	Language Modeling (negative log-likelihood)	Language Modeling (negative log-likelihood)	Binary Classification or Regression	Reinforcement Learning (Using PPO Method)
Model	Base Model	SFT Model	Reward Model	RL Model

• 语言模型是怎么被训练出来的
  • 1. pre-train：无监督预训练，海量的文本；（学前时代）
  • 2. Alignment (如下的2和3，严格意义上都是 Alignment，都属于对齐技术)
    • 2. SFT：supervised fine-tuning：有监督训练（学生时代），少量有标注；
    • 3. RLHF：真实的人类反馈，强化学习训练；

llama 源码阅读

• llama introduction
• llama text/chat completion
• rmsnorm & swiGLU
• ROPE
• ROPE & apply_rotary_emb
• Cache KV
• GQA
• Cache kv & Generate process
• Llama3: 最强小模型

LoRA & PEFT

• LoRA（Low Rank Adaption）基本原理与基本概念
• LoRA fine-tune 大语言模型
• PEFT/LoRA 源码分析
• LLaMA，Alpaca LoRA 7B 推理
• peft LoRA merge pipeline（lora inject，svd）

TRL (Transformer Reinforcement Learning)

• trl 基础介绍
• trl reward model 与 RewardTrainer（奖励模型，分类模型）
• trl rlhf PPOTrainer，原理分析与代码走读（OpenRLHF framework）