Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

about your notes #116

Open
BobxmuMa opened this issue Feb 5, 2021 · 6 comments
Open

about your notes #116

BobxmuMa opened this issue Feb 5, 2021 · 6 comments

Comments

@BobxmuMa
Copy link

BobxmuMa commented Feb 5, 2021

感谢您开源了XNOR的pytorch代码。
看的过程中有一些小疑惑,您在notes推导的过程中把α直接从求和符号中提取了出来。但是α是与j相关的(原文中算法1的第4行)。所以对于j≠i的情况,α对W_i求偏导的结果是不是也是0?所以我个人感觉原文中的公式是不是没有错?希望您能解答我的疑惑,谢谢!
@lixcli
Copy link

lixcli commented Mar 22, 2021

我觉得即使按你的分析,论文note这部分还是有点问题
论文里边应该是认为w之间是相互独立的,所以如果i≠j,那么求导为0,这样的话,公式应该变成:

这么算是因为

里边有一个绝对值,对Wi求导直接看作1感觉有点问题,所以我保留的绝对值符号

不过即使这样,论文还是少了sign(Wi)这个系数

不知道这么分析对不对

@lixcli
Copy link

lixcli commented Mar 24, 2021

噢,我后面再认真看了一遍,发现原文这里是没问题的,在公式

里边

因为

综上

@jiecaoyu
Copy link
Owner

你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。

@BobxmuMa
Copy link
Author

你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。

不好意思,我刚才又看了一下您的notes,整体没有发现什么问题,可能是我之前推导出错了。

但是还有一个小疑问:
您的推导与原文的区别是这里
image写成了关于j求和的形式,但是
image这一项当i≠j时是不是为0,所以您写的这个求和的形式是不是没有什么意义。

@jiecaoyu
Copy link
Owner

@BobxmuMa 这一项和\alpha 有关所以不是0

@BobxmuMa
Copy link
Author

@BobxmuMa 这一项和\alpha 有关所以不是0

明白了,感谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants