bfgs优化器在causal pinn中是否有效、是否有必要？

[xgxgnpu]

您好，非常感谢您的开源代码，非常棒的idea。
我最近也在尝试使用您的causal pinn来求解一些非线性pde，遇到一个问题，想请您帮忙答疑解惑。
我使用adam优化器可以训练causal pinn，但是先使用adam之后再接着使用bfgs优化器，训练就会很快停止，甚至立刻就停止了，也就是说bfgs优化器似乎不适合causal pinn。

1、请问bfgs优化器在causal pinn中是否有效，或者说是否有必要？
2、只使用adam优化器来训练causal pinn，似乎会比较慢，有什么办法缓解这个问题吗？

祝中秋快乐！

[sifanexisted]

您好， 很感谢对我们工作的兴趣。 在我们的工作中， 我们只使用Adam并不使用bfgs， 所以我们并不清除bfgs是否适用causal。从我们的经验里， adam+causal 就起到了很好的效果。从这一点看bfgs可能并不必须。 对于第二个问题， causal weights的计算的computational cost 是很小的。 慢是pinn的问题而不是causal 的问题。

[xgxgnpu]

感谢您的解答!是的，causal weights引入的计算量是很小的，不会造成训练过慢。我还有个疑问:causal weights所起的具体作用是什么?只使用adam优化器，pinn会训练很慢，所以考虑后面再加上bfgs。那从causal PINN训练来看，adam优化器训练依然很慢。

有没有可能causal weights加速了pinn的收敛(对于adam优化器而言)，比如adam优化pinn需要50万步，而adam优化causal PINN只需要30万步，(事实上，adam很多时候也可以优化pinn的，只是收敛特别特别慢)

[sifanexisted]

是的， causal weights 确实会很大的加速pinn的收敛。