out of mamory on gpu 0

[gunh4mmer]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

使用ocrv5的server模型训练det，train和val的batch均为1，训练过程正常，val时第二张图像即爆显存（图像较大，均为1200w-2000w像素），根据#6989添加了limit_type_side: 960、limit_type: max，但是仍然没效果；

再次测试，将val数据集减少到一张图片，发现训练时显存占用3.8gb，val时占用15gb，并且首次val之后继续训练时显存仍然保持在13gb以上，第二次val时也炸了显存。

请求提供帮助

PP-OCRv5_server_det - 副本.txt

🏃‍♂️ Environment (运行环境)

ubuntu20.04 paddleocr3.1 paddlepaddle3.1

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

train.py

[gunh4mmer]

补充，显卡为v100 16gb；cuda11.8

[gunh4mmer]

图像像素不尽相同，因为拍摄使用的相机有差别

[gunh4mmer]

之前微调数据集在700张左右的时候能够训练成功，在增加数据集数量及重装系统之后，再次训练（1700张数据）就爆显存了

[gunh4mmer]

我使用v5的moble模型去测试，发现limit_type_side: 960、limit_type: max没有起效果，加不加在val时的显存占用是一致的，还有什么别的办法可以降低显存使用吗