梯度估计STE | Blogs #10
梯度估计STE | Blogs
#10
giscus[bot]
bot
Replies: 1 comment
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
梯度估计STE | Blogs
背景
反向传播是现在训练模型的重要方法，但是在部分场景下，会遇到不可微分的函数，从而导致梯度传播失败。比如量化里的取整函数。因此，需要对梯度进行估计然后反向传播。
STE(Straight-Through Estimator)是2013年Y
https://bg51717.github.io/13277/
Beta Was this translation helpful? Give feedback.
All reactions