服务器内存告急？一招解决模型推理的内存泄漏！

摘要今天在巡检服务器时，意外发现模型预测占用了惊人的16GB内存！赶紧检查代码，发现每次模型推理都会悄悄增加约200MB的内存占用。经过一番排查，终于找到了问题的根源，并给出了解决方案。发现问题早上的服务器巡检真是让人心惊胆战，竟然发现模型推理的内存占用飙升至16GB！我立刻着手检查代码，发现每次推理时内存都会稳定增长约200MB。经过仔细分析，问题似乎出在这段代码上：// 加载ONNX运行环境和模型 OrtEnvironment environment = OrtEnvironment.getEnvironment(); // 创建会话选项 OrtSession.SessionOptions sessionOptions = new OrtSession.SessionOptions(); // 根据模型路径创建会话 OrtSession session = CommonService.getSession(environment, CommonConstant.YOLO_MODEL_PATH, sessionOptions);每次推理，session都会重新加载，而模型文件的大小恰

📘 开发记录 · 2024-07-03 · 2105 人浏览
服务器内存告急？一招解决模型推理的内存泄漏！
2024 - 2026 执迷的博客 - Lovisnd BLOG. All Rights Reserved.🥝
Under CC BY NC-SA License.
Powered by Typecho | Theme by Jasmine
您是第 76018 位访客