Question about token aggregation function in ablation experiment

[heikeyuhuajia]

作者您好，感谢您的工作。
想请教您关于论文中4.4. Ablation Studies中Token Aggregation Function中，您的新的token聚合方式与Linear和Conv进行了对比，我具体在代码中SSA.py的
x_1 = self.act(self.norm1(self.sr1(x_).reshape(B, C, -1).permute(0, 2, 1))) x_2 = self.act(self.norm2(self.sr2(x_).reshape(B, C, -1).permute(0, 2, 1))) kv1 = self.kv1(x_1).reshape(B, -1, 2, self.num_heads//2, C // self.num_heads).permute(2, 0, 3, 1, 4) kv2 = self.kv2(x_2).reshape(B, -1, 2, self.num_heads//2, C // self.num_heads).permute(2, 0, 3, 1, 4) k1, v1 = kv1[0], kv1[1] # ( b, heads/2, hw/8*8, c/heads) k2, v2 = kv2[0], kv2[1] # ( b, heads/2, hw/4*4, c/heads)中看到您token聚合时也是用了Conv的方法，您文中的不同指的是您采用了多种尺度的聚合吗？

[OliverRensu]

self.sr1 如果是Convolution 就是指用 Conv聚合，如果是Pooling就是指Linear聚合 heikeyuhuajia ***@***.***> 于2022年10月8日周六 16:42写道：

…

作者您好，感谢您的工作。 想请教您关于论文中4.4. Ablation Studies中Token Aggregation Function中，您的新的token聚合方式与Linear和Conv进行了对比，我具体在代码中SSA.py的 x_1 = self.act(self.norm1(self.sr1(x_).reshape(B, C, -1).permute(0, 2, 1))) x_2 = self.act(self.norm2(self.sr2(x_).reshape(B, C, -1).permute(0, 2, 1))) kv1 = self.kv1(x_1).reshape(B, -1, 2, self.num_heads//2, C // self.num_heads).permute(2, 0, 3, 1, 4) kv2 = self.kv2(x_2).reshape(B, -1, 2, self.num_heads//2, C // self.num_heads).permute(2, 0, 3, 1, 4) k1, v1 = kv1[0], kv1[1] # ( b, heads/2, hw/8*8, c/heads) k2, v2 = kv2[0], kv2[1] # ( b, heads/2, hw/4*4, c/heads)中看到您token聚合时也是用了Conv的方法，您文中的不同指的是您采用了多种尺度的聚合吗？ — Reply to this email directly, view it on GitHub <#18>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ANP7CCEBNGF4SYJJMHGBDF3WCEXXXANCNFSM6AAAAAARAFH7SM> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[heikeyuhuajia]

好的好的，明白了，感谢您的回复！