论文复现问题

[laozhao18]

​作者您好，我是一名中科院在读的研究生，对您们的工作《DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models》很感兴趣，于是想复现一下，我跑的是qwen2.5-vl模型，在autodl的vGPU-48G上跑，不管是两张分开跑还是一张跑，在V*上的总的正确率一直都是85%左右，我是直接跑的源代码没有做修改，所以，想具体问一下，您在做实验的时候，具体都是怎么配置的，怎么做能达到论文中的分数呢

[YChenL]

你好，感谢关注。首先需要澄清一下，我们在Figure 7中用shadow band report了eval的error bar，实际上在85左右属于正常范围，更换多个不同的seed run的结果应该会在85.1-90.6之间波动。此外，我认为可能还存在以下几方面原因：
（1）可能有一些样本因为api没有正确返回意外跳过了，可以尝试增大api返回时间限制；
（2）可以在三个环境中都pip check一下看看环境是否存在冲突；
（3）你可以尝试更换一下不同型号的显卡run几次，看看是否准确率会有变化，因为vstar样本比较少，可能不同型号的显卡误差会被放大；
（4）你可以尝试调整

    if self.category == 'relative_position':
          resized_img, resized_width, resized_height, objects_1 = grounding(self.image, self.row['question'], BLOCK=768)
    else:
          resized_img, resized_width, resized_height, objects_1 = grounding(self.image, self.row['question'], BLOCK=640)

这部分的窗口大小，观察一下准确率的变化。不同显卡型号的误差可能会导致最优context window size的变化。

（5）最后，如果还存在差异，可以换qwen3-vl run一下，看看是会存在普遍性能衰减，还是仅qwen2.5-vl有问题。因为之前兼容qwen3-vl的时候，更新了一下vllm和transformers的版本，有观察到一些掉点的情况。

[laozhao18]

好的，谢谢