AI模型落地难？试试这个15分钟搞定的开源工具！

2024-11-15 12:41:10 admin

自古兵家作战就讲究一个「度」。模型

公元 200年，落地官渡之战后。难试死敌袁绍的分钟残兵败卒远逃塞北，劳师远征还是搞定穷寇莫追，曹操陷入纠结。源工鬼才谋士郭嘉建言道：“用兵贵在神速！模型远征千里之外，落地辎重多、难试行军慢，分钟敌人定会有所察觉。搞定不如留下笨重的源工物资，轻车简从昼夜兼程，模型攻敌不备定可一战功成。落地”

曹操采纳了建议，难试亲率数千精兵突袭，旋即取得了胜利。

兵贵神速，绝非妄言。

曹操轻车简从昼夜兼程是极致效率的体现，同样的，在现代的科技领域，需要紧急交付应用的时刻，将开发完成的模型快速部署、快速应用，其背后体现的工程效率有时也事关成败。

近日，旷视天元 MegEngine 将面向计算机视觉应用的 MegFlow 流式计算框架开源，奉上一套可快速完成 AI 应用部署的视觉解析服务方案。

AI模型落地难？试试这个15分钟搞定的开源工具！

通过使用 MegFlow，AI 算法开发者可以快速完成 AI 模型的落地应用。

我们就拿一个电瓶车检测的例子，小中见大吧。

今年 5月10日，成都成华区一小区电梯内电瓶车起火，导致包括一名女婴在内的多人烧伤。这样的悲剧事件绝不是孤例，管理人员本可以及时察觉并制止电动车进入楼梯间等楼内公共区域停放或充电。

MegFlow提供的“开箱即用”应用就包括电瓶车检测：基于 MegFlow 提供的图像和视频解析服务，最快 15 分钟即可完成客制化电瓶车检测功能，并完成快速部署。这是一种为物业管理者提供的智能化管理工具。当摄像头检测到电瓶车进入楼内公共区域，系统会第一时间发出警告，提醒管理人员快速制止，有效排除起火安全隐患。所谓“生命安全大于天，能快一点是一点”。

AI模型落地难？试试这个15分钟搞定的开源工具！

MegFlow ——三步部署神器

“炼丹本是枯燥事，奈何部署再难人。” 经历过AI应用上线的开发者肯定深有体会，要让一个模型从丹炉走出来到落地应用所涉及的东西又多又杂，技术储备不足或人手不够的团队很难在短时间内搞定所有事情。旷视最近开源的 MegFlow是针对这一痛点开出的一剂良药。

旷视的工程师在总结了内部多年的 AI 应用工程落地经验之后，搭建了一条从“炼丹”到落地的高速公路，这就是 MegFlow 流式计算框架。

MegFlow 将资源、消息、任务等概念进行清晰一致的抽象化，做到将冗长的算法交付流程简化为模型训练、业务集成、交付验收三步完成。

AI模型落地难？试试这个15分钟搞定的开源工具！

MegFlow三大特点助力提升工程效率

MegFlow 针对 AI 算法工程落地中的频发问题，诸如性能调优、安全性、模型加密等，都能提供行之有效的解决方案，并有效提升了工程效率。

MegFlow 拥有安全可靠、简单易用、语义支持丰富等特性。在这三大特性的保证之下，MegFlow 可以轻松助力 AI 应用快速落地。

简单易用

MegFlow 支持 Python 插件，且仅需要开发者编写同步的 Python 程序，即可实现可以被 MegFlow 异步调度的 Python 插件。同时 MegFlow 提供了一套基于 Web UI 的可视化调试工具，可有效提升模型部署的工作效率。

语义支持丰富

在表达能力上，MegFlow 支持静态图、动态图和共享图，辅以 demux、reorder、transform 等函数式语义的通用插件，为搭建多样化的 AI 服务提供了丰富的语义支持。

安全可靠

一般而言，工程效率的提高往往意味着安全性能可能会随之相应下降，但是MegFlow对于安全性的把控做得非常好，完全安全可靠。在技术选型上， MegFlow 的研发团队认真负责地调研了多种技术方案，最终选择了安全且零额外开销的 Rust 异步生态，从基础上保证了 MegFlow 的安全性与性能。

旷视开源进行时

2020年3月，旷视开源了内部使用多年的深度学习框架旷视天元，并以天元为核心，逐步丰富完善其开源生态，覆盖图像分类、图像检测、图像分割、关键点、自然语言处理、生成对抗网络等各类模型和工程项目。不久前，旷视开源了YOLOX 系列高性能目标检测算法，一度登上GitHub trending榜。

除了工作效率之外，旷视在解决成本效率上也很给力。今年4月，开源深度学习框架 MegEngine引入动态图显存优化（DTR）技术并进行进一步的工程优化，提供了一种通过额外计算减少显存占用的途径，只需两行代码，可以在相同显存情况下，让用户训练 3 倍大的模型。在使用 DTR 功能后，11G显存的2080Ti 可以训练出原本32G显存的V100才能训练的模型，可以节省很多 Money！