Skip to content

Latest commit

 

History

History
 
 

06Foundation

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 

=== 六、大模型与AI系统 ===

大模型是基于AI集群的全栈软硬件性能优化,通过最小的每一块AI芯片组成的AI集群,编译器使能到上层的AI框架,训练过程需要分布式并行、集群通信等算法支持,而且在大模型领域最近持续演进如智能体等新技术。

希望这个系列能够给大家、朋友们带来一些些帮助,也希望自己能够继续坚持完成所有内容哈!

课程简介

  • **《AI框架基础》**主要是对AI框架的作用、发展、编程范式等散点进行汇总分享,让开发者能够知道AI框架与AI框架之间的差异和共同点,目前的AI框架主要的开发和编程方式。

  • **《自动微分》**AI框架会默认提供自动微分功能,避免用户手动地去对神经网络模型求导,这些复杂的工作交给AI框架就好了,于是自动微自然成为分作为AI框架的核心功能。

  • **《计算图》**实际上,AI框架主要的职责是把深度学习的表达转换称为计算机能够识别的计算图,计算图作为AI框架中核心的数据结构,贯穿AI框架的大部分整个生命周期,于是计算图对于AI框架的前端核心技术就显得尤为重要。

课程细节

PPT字幕需要到 Github 下载,网页课程版链接会失效哦~

建议优先下载 PDF 版本,PPT 版本会因为字体缺失等原因导致版本很丑哦~

AI框架基础

《AI框架基础》主要是对AI框架的作用、发展、编程范式等散点进行汇总分享,让开发者能够知道AI框架与AI框架之间的差异和共同点,目前的AI框架主要的开发和编程方式。

小节 链接
01 基本介绍 文章, PPT, 视频, 字幕
02 AI框架的作用 文章, PPT, 视频, 字幕
03 AI框架之争(框架发展) 文章, PPT, 视频, 字幕
04 编程范式(声明式&命令式) 文章, PPT, 视频, 字幕

自动微分

《自动微分》AI框架会默认提供自动微分功能,避免用户手动地去对神经网络模型求导,这些复杂的工作交给AI框架就好了,于是自动微自然成为分作为AI框架的核心功能。

小节 链接
01 基本介绍 文章, PPT, 视频, 字幕
02 什么是微分 文章, PPT, 视频, 字幕
03 正反向计算模式 文章, PPT, 视频, 字幕
04 三种实现方法 文章, PPT, 视频, 字幕
05 手把手实现正向微分框架 文章, 视频, 字幕
06 亲自实现一个PyTorch 文章, 视频, 字幕
07 自动微分的挑战&未来 文章, PPT, 视频, 字幕

计算图

《计算图》实际上,AI框架主要的职责是把深度学习的表达转换称为计算机能够识别的计算图,计算图作为AI框架中核心的数据结构,贯穿AI框架的大部分整个生命周期,于是计算图对于AI框架的前端核心技术就显得尤为重要。

小节 链接
01 基本介绍 文章, PPT, 视频, 字幕
02 什么是计算图 文章, PPT, 视频, 字幕
03 与自动微分关系 文章, PPT, 视频, 字幕
04 图优化与图执行调度 文章, PPT, 视频, 字幕
05 计算图控制流实现 文章, PPT, 视频, 字幕
06 计算图实现动静统一 文章, PPT, 视频, 字幕
07 计算图的挑战与未来 文章, PPT, 视频, 字幕