有关removert的性能指标的问题

[LC-Robotics]

大佬您好，我对removert的性能指标有些困惑。在使用本仓库的benchmark时removert的DA在多个数据集下均非常低（50%以下），然而从ERASOR和RH-Map的论文中的实验中removert的RR均在90%左右。如果我没有理解错的话，论文中的SA，DA和PR，RR是一样的，除了evaluation是point-wise（不进行降采样，在一定距离内寻找gt label）的，而ERASOR和RH-Map中是接近voxel-wise的（对gt和生成的map降采样，再在一个voxel的一半对角距离内寻找gt label）。此外，我自己也使用原作者的removert在KITTI上进行了实验，并使用严格的voxel-wise脚本进行评估（用voxel hashing而不是kd-tree以实现严格意义上的voxel-wise），实验结果也与ERASOR中的类似。此外将removert生成的点云可视化也可以看到removert似乎成功地将大部分动态点云滤除了。想请问一下大佬可能是什么原因导致了这么大的差距。

下面附上在我的实验中removert在KITTI seq. 02的一部分序列的滤除效果，上图为ground truth，下图为removert生成的结果。蓝色点为错误滤除的静态点，红色为残留的动态点。

[Kin-Zhang]

这里有当时rebuttal的讨论，关于voxel-wise的评估会inflate score：#15 (comment)

我隐约记得我应该上传过这个代码（or pull request里也有网友说要加入voxel-wise的评估） 你可以看看

[LC-Robotics]

感谢大佬的快速回复，看起来似乎确实是voxel-wise与point-wise的不同评估方法导致的区别，只是这种效应在removert上特别明显。

[LC-Robotics]

此外，我还想问以下，在本仓库使用的removert中，对于KITTI数据集down sample voxel size似乎被设置为0.01。在实验中我注意到，在voxel-wise评估下，设置更小的down sample voxel size会导致更高的PR(SA)与更低的RR(DA)，并在设置为0.05时在多数KITTI数据集中取得最高的F1 score(HA)。这里将down sample voxel size设置为0.01是基于什么考量呢，毕竟这个数值非常小，几乎是没有进行降采样，但removert的removal性能似乎对down sample voxel size非常敏感。感谢您的帮助！

[Kin-Zhang]

好问题.. 说实话，我也忘了；估计是当时在我们自己的数据上 这样的参数可视化效果最好？not sure，但是你可以看看这个repo里的那个link的repo commit log 可能我在修改这个的message里写了点什么 hahahah