结果为nan

[501177639]

运行benchmark.py文件，在torch版本为2.7.1情况下结果正常，在torch版本为2.8.0情况下结果为nan，请问啥原因？

[mayunchao1994]

这个代码只依赖torch和triton，同时triton随着torch的安装自动安装，我原来的环境是torch==2.7.1, triton==3.3.1，我将torch升级到2.8.0，这时triton==3.4.0，同样运行benchmark.py也能得到正常的结果，麻烦再检查下你的环境呢

[501177639]

好的谢谢

[fanhqme2]

能说明一下你用的显卡类型，模型文件（如果方便以google drive形式提供），输入文件，以便我们复现吗？

[501177639]

我直接运行benchmark.py，目前定位问题确实就是直接torch从2.7.1升级到2.8.0，没有升级triton导致

[mayunchao1994]

是torch从2.7.1升级到2.8.0，但triton还是3.3.1，手动升级到triton==3.4.0解决这个问题了吗

[501177639]

专门测了一下从torch从2.7.1升级到2.8.0，这时候triton会自动更新到3.4.0版本了，但是还是会出现nan。目前直接用2.7.1版本了。

定位到是transformer_decoder阶段，算softmax时候溢出了

[mayunchao1994]

"定位到是transformer_decoder阶段，算softmax时候溢出了"，这个问题是2.8.0版本存在但在2.7.1时不存在吗？ #18 这个issue中，我修复了一个内存访问越界的bug，你可以拉下最新代码再测下呢，不确定是否和这个bug有关

[501177639]

不行，还是同样问题，你们可以自己试下？ 直接pip3 install torch==2.8.0，然后代码这样：

发现最终结果打印是True