transformers-docs-zh【日更｜持续更新中】

完全中文版的 Transformers 学习笔记及演示示例，支持 Jupyter Notebook，主要内容来自 🤗 Hugging Face 中关于 Transformers 的教材文档。

本教程在官方文档的基础上修改了部分示例的代码，补充在运行过程中遇到的问题和对应的解决方案，同时也对代码中重要的函数和参数都增加了更为详细的解释。

一起来学习 Transformers 吧！

目录

• 安装 Transformers (windows & macos))
• Transformers 快速上手
• 教程
  • 使用 pipelines 进行推理
  • 使用 AutoClass 加载预训练实例
  • 预处理数据
  • 微调预训练模型
  • 使用脚本进行训练
  • 使用 Accelerate 进行分布式训练
  • 使用 PEFT 加载和训练 adapters
  • 如何分享模型
  • Transformers Agents 快速上手
  • 使用 LLMs 进行生成
  • Agents and Tools 介绍和指南
• 任务指南
  • 自然语言处理
    • 文本分类
    • 标记分类（实体分类）
    • 因果语言模型（CLM）
    • 遮蔽语言模型（MLM）
    • 文本翻译
    • 文本摘要（文本总结）
    • 问题解答任务(问答任务)
    • 多项选择任务
  • 音频处理
    • 音频分类
    • 自动语音识别 (ASR, Automatic speech recognition)
  • 计算机视觉
    • 图像分类
    • 图像分割
    • 视频分类
    • 目标检测
    • 零样本目标检测
    • 零样本图像分类
    • 单目深度估计(单图像深度估计)
    • 以图生图（图像增强、图像修复等图像处理任务）
    • 图像特征提取
    • 图像掩码生成
    • 关键点检测(图像特征点检测)
    • 知识蒸馏在计算机视觉中的应用
  • 多模态
    • 图像描述生成
    • 文本转语音 (TTS, Text-to-speech)
    • 图像-视觉多模态理解模型 (VLM with image-input, Image-text-to-text)
    • 视频-视觉多模态理解模型 (VLM with video-input, Video-text-to-text)
    • 文档问答 (DQA, Document Question Answering)
    • 视觉问答 (VQA, Visual Question Answering)
  • 生成策略
    • （自定义）文本生成策略
    • 使用缓存优化生成的最佳实践
  • 提示技术
    • 使用 IDEFICS 大型多模态模型来解决图像-文本任务
    • LLM 提示指南s
• 开发者指南
  • 使用 Tokenizers 中的分词器
  • 使用多语言模型运行推理
  • 创建自定义架构(模型架构)
  • 创建自定义模型
  • 聊天模版(Chat Templates)
  • Trainer类 (Transformers 库中一个完整地实现了 PyTorch 模型训练和评估循环的类)
  • 将模型导出为 ONNX 格式
  • 将模型导出至 TFLite
  • 导出到 TorchScript
  • 基准测试
  • Transformers Notebooks 记事本示例合集
  • Transformers Community 社区与资源
  • Transformers 故障排除
  • 在 Transformers 中加载 GGUF 文件
  • 在 Transformers 中加载 Tiktoken 文件
  • 模块化 Transformers
  • 如何修改 Transformers 模型（通过修改现有的 Transformers 模型以满足特定需求）
• 量化方法
  • 量化技术概述
  • 量化模型（8位与4位量化）
  • GPTQ —— 广义剪枝训练量化
  • AWQ —— 激活感知权重量化
  • AQLM —— 加性量化语言模型
  • Optimum-quanto —— PyTorch 多功能量化工具包
  • EETQ —— 高效的 Tensor 量化方法
  • HQQ —— 半二次量化
  • FBGEMM FP8（模型量化至权重为8位，激活为8位）
  • Optimum
  • TorchAO —— 用于 PyTorch 的架构优化库
  • BitNet —— 新型的神经网络架构
  • 压缩张量
  • 添加新的量化方法
• 性能优化与可扩展性
  • 性能优化概述
  • LLM 推理优化
  • 创建大型模型实例（如何加载大型模型）
  • 调试（通过调试解决训练过程中可能遇到的问题）
  • TensorFlow 模型中的 XLA 集成
  • 使用 torch.compile() 优化推理速度
    • 高效训练方法
      • 在单个 GPU 上进行高效训练的方法和工具
      • 在多个 GPU 上进行高效训练的方法和工具
      • FSDP —— 完全分片数据并行方法
      • DeepSpeed —— 分布式高效训练 PyTorch 模型优化库
      • 在单个 CPU 上高效训练
      • 在多个 CPU 上高效训练
      • 使用 TensorFlow 在 TPU 上进行训练
      • 使用 PyTorch 在 Apple 芯片上训练模型
      • 使用自定义的硬件进行训练
      • 使用 Trainer API 进行超参数搜索
    • 优化推理方法（优化生成方法）
      • 通过 CPU 优化推理
      • 通过多个 CPU 优化推理
      • 通过 GPU 优化推理
• 概念指南
  • 哲学理念
  • 专业术语
  • Transformers 库能做什么
  • Transformers 库解决了哪些问题
  • Transformer 模型家族
  • Tokenizer —— 文本分词器概述
  • Attention —— 注意力机制
  • Padding & Truncation —— 填充与截断
  • BERTology —— 基于 BERT 进行的相关研究
  • Perplexity —— 困惑度