AI | Machine Learning | Deep Learning | NLP | LLM | ChatGPT

术语

AI、AIGC、AGI、token、LLM、大模型、GPT、ChatGPT、幻觉、AI agent、Prompt、Prompt Engineering、Function calling、Embedding、RAG、知识库、打标、标注、数据标注、标注数据（输入-输出对）、pair、召回、召回率、语义召回、向量(vector)、向量化、文本向量化、vector database、COT(Chain of Thought)、FSL(Few-Shot Learning)、Fine-tuning、SFT（Supervised Fine-Tuning，监督微调）、DPO 和 RLHF、模型训练、预训练、pre-training and post-training、模型压缩、量化（Quantization）、剪枝（Pruning）、知识蒸馏（Knowledge Distillation）、Model Distillation/Language Distillation（模型蒸馏）、推理优化（inference）、context window、泛化、泛化能力、拟合、过拟合、神经网络、超参、损失函数、自爆 AI、光谱、LoRA、scaling law、ground truth、混入预置数据

怎么学

学习目标：让 bot 学会某个人说话的风格
学习方法：

• 带着目标和问题学习
• 多动手 & 一万小时法则：practice, practice, practice，
• 费曼学习法：包括写下来、写博客公众号、讲给别人听、做分享
• 《软件能》的“十步学习法”：https://time.geekbang.org/column/article/127656
• 学会利用 AI 工具(ChatGPT、Claude 等)辅助学习

学习大纲

• What is AI?
• AI Learning Roadmap
• Machine Learning
• Deep Learning & Neural Network
• NLP & LLM
• LLMs: ChatGPT, Claude, Gemini...
• AI Agent
• Real-world Gen AI Use Cases
• Get Hands Dirty & Build From Scratch
• Build LLM-based Applications

推荐的学习资源

官方资源

OpenAI

• 主页：https://openai.com
• Research 博客：https://openai.com/research/
• YouTube 频道：https://www.youtube.com/@OpenAI
• 开发指南: https://platform.openai.com/docs/overview
• Cookbook: https://cookbook.openai.com/
  • Related resources from around the web | OpenAI Cookbook https://cookbook.openai.com/articles/related_resources
• OpenAI Dev-Day 2023: Breakout Sessions! https://community.openai.com/t/openai-dev-day-2023-breakout-sessions/505213

Claude

• 主页：https://www.anthropic.com/
• Research 博客：https://www.anthropic.com/research
• YouTube 频道：https://www.youtube.com/@anthropic-ai
• 开发指南：https://docs.anthropic.com/en/home
• Cookbook: https://github.com/anthropics/anthropic-cookbook

Gemini

Meta

Character.AI

Blog, Newsletter

• Letters from Andrew Ng: https://www.deeplearning.ai/the-batch/tag/letters/
• The Batch | DeepLearning.AI | AI News & Insights: https://www.deeplearning.ai/the-batch/
• Ahead of AI | Sebastian Raschka, PhD | Substack: https://magazine.sebastianraschka.com
• Decoding ML | Paul Iusztin | Substack: https://decodingml.substack.com/
• https://www.mercity.ai/blog

Twitter 账号

• https://x.com/AndrewYNg
• https://x.com/langchainai

YouTube 频道

• https://www.youtube.com/@OpenAI
• https://www.youtube.com/@anthropic-ai
• https://www.youtube.com/@LangChain
• https://www.youtube.com/@SebastianRaschka/playlists
• https://www.youtube.com/@Google
• https://www.youtube.com/@googlecloudtech

平台、工具

• Hugging Face: https://huggingface.co/
  • Open LLM Leaderboard: allows you to find the best base pre-trained models in English, using a range of academic evaluations looking at language understanding, general knowledge, and math.
  • Chatbot Arena Leaderboard: an open-source platform for evaluating AI through human preference, developed by researchers at UC Berkeley SkyLab and LMSYS. With over 1,000,000 user votes, the platform ranks best LLM and AI chatbots using the Bradley-Terry model to generate live leaderboards.
    • LMSYS 聊天机器人竞技场（基于人工评测的）: 由大型模型系统组织（LMSYS Org）开发的一个开放平台，旨在通过人类偏好评估大型语言模型（LLMs）的性能。在这个平台上，用户可以与两个匿名的聊天机器人进行对话，并对它们的回答进行比较和投票，从而为模型的评估提供数据支持。
• Open Router（按 LLM 使用量排行）: https://openrouter.ai/rankings/roleplay?view=week
• 中文排行榜
  • jeinlee1991/chinese-llm-benchmark: 中文大模型能力评测榜单
  • open-compass/opencompass: 司南 OpenCompass 是由上海人工智能实验室研发的大模型评测体系及开放平台
  • SEAL LLM Leaderboards: 是由Scale AI的安全、评估和对齐实验室（SEAL）开发的一个平台，旨在对大型语言模型（LLMs）进行精确和可靠的排名。
• 其他
  • TABLUM’s LLM Explorer(开源 LLM 社区): https://llm.extractum.io/
  • YourGPT.ai（可以用来选择模型做评测指标对比）：https://yourgpt.ai/tools/llm-comparison-and-leaderboard
  • Artificial Analysis（数据比较详细的一个 LLM 榜单）：https://artificialanalysis.ai/models
• AI 工具集：一个 AI 工具导航站，有点像 AI 领域的 hao123。