IBM 的 ModelMesh 走向开源 使开发者能够大规模部署 AI 模型

　　原标题：IBM 的 ModelMesh 走向开源 使开发者能够大规模部署 AI 模型

　　模型服务是 AI 用例的一个关键组成部分。它涉及从人工智能模型中提供推论，以响应用户的请求。那些涉足企业级机器学习应用的人知道，通常不是一个模型提供推论，而是实际上有数百甚至数千个模型在同步运行。

　　这在计算上是一个非常昂贵的过程，因为你不可能在每次要提供请求时都启动一个专用容器。这对在 Kubernetes 集群中部署大量模型的开发者来说是一个挑战，因为存在一些限制，如允许的最大荚数和 IP 地址以及计算资源分配。

　　IBM 通过其专有的 ModelMesh 模型服务管理层为 Watson 产品（如 Watson Assistant、Watson Natural Language Understanding 和 Watson Discovery）解决了这个难题。由于这些模型已经在生产环境中运行了几年，ModelMesh 已经针对各种场景进行了全面测试。现在，IBM 正在将这一管理层与控制器组件以及为模型服务的运行时间一起贡献给开放源码社区。

　　ModelMesh 使开发者能够在 Kubernetes 之上以「极端规模」部署 AI 模型。它具有缓存管理的功能，也是一个平衡推理请求的路由器，模型被智能地放置在 pod 中，对临时中断提供弹性。ModelMesh 的部署可以轻松升级，无需任何外部协调机制。它自动确保一个路由新请求到它之前已经完全更新和加载。

　　在用一些统计数据解释 ModelMesh 的可扩展性时，IBM 表示：

　　一个部署在单个工人节点 8vCPU x 64G 集群上的 ModelMesh 实例能够打包 20K 个简单字符串模型。在密度测试的基础上，我们还对 ModelMesh 的服务进行了负载测试，通过发送成千上万的并发推理请求来模拟一个高流量的假日季节场景，所有加载的模型都以个位数毫秒的延迟进行响应。实验表明，单个工人节点支持 20k 个模型，每秒最多可进行 1000 次查询，并以个位数毫秒的延迟响应推理任务。

　　IBM 将 ModelMesh 贡献给了 KServe GitHub 组织，该组织早在 2019 年就由 IBM、Google、彭博社、英伟达和 Seldon 联合开发。