Dynamic Shape infer

[panshaohua]

你好，大神。请教一下，TensorRT 的 动态shape 推理相对静态shape，显存是不是一定会增加？如果是，有没有方法优化这个显存占用增加的现象。谢谢

[DataXujing]

如果你是静态的shape,我不建议用Dynamic shape的TRT plan去推断，我自己觉得这种情况下Dynamic shape的模型推断速度不够快，他要做shape的推断，同时优化过程选择的kernel，Dynamic和Static可能也是不一样的，这导致Dynamic时速度可能会低于Static的model.

我自己的原则是能不用Dynamic shape就不用，除非万不得已.

至于显存是不是一定会增加？这个问题，我之前没有遇到过这种情况，抱歉。

[panshaohua]

好的，非常感谢你的回复。