Modal发布VM Sandboxes与Clusters等多项Runtime更新

产品AI 评分 82/100Modal 官方工程博客(RSS)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

Modal在首届Runtime大会推出多项更新:VM Sandboxes让智能体获得完整Linux环境,已被Linear等客户用于编码与评估;Sandbox Sidecars实现同主机容器隔离,避免网络往返延迟;Modal Clusters经一年半测试后正式可用,以@modal.clustered装饰器支持多节点任务,正为1x预训练及Runway推理提供动力;Sticky Sessions靠会话令牌保障请求路由至同容器以维持状态;Endpoint Candidates支持镜像生产流量至替代服务方案以对比各项指标。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

VM 沙箱给智能体整机

Modal 在首届 Runtime 大会上公布了一批运行时产品更新,其中 VM Sandboxes 让智能体拿到一台完整的 Linux 计算机。官方给出的理由是,智能体越来越希望待在一个像真实机器的环境里:跑 Docker 栈、本地数据库和开发服务器、图形界面与移动模拟器,甚至直接折腾 Linux 内核。这一能力已经在 Linear、Legora 和 Snorkel 等客户处投入使用,支撑编码类智能体与评测任务。从示例代码看,调用方式是在应用上创建沙箱并指定 runtime 为 vm,随后执行命令读取输出,返回结果里能看到内核标识。对读者而言,这意味着智能体不再局限于受限的进程或函数环境,而是可以按接近真机的方式安装依赖、启动服务、调试系统层行为,适合需要完整操作系统语义的编码与评测场景。

边车容器隔离凭据

Sandbox Sidecars 的思路是在同一台宿主机上,让边车容器与主沙箱并行运行,但保持与独立沙箱相同的隔离级别。这样安排之后,智能体生成的代码留在主沙箱里执行,而凭据、代理、编排逻辑以及其他需要信任的操作,则放进智能体无法直接访问的边车中。由于两个容器共享同一台主机,它们之间的通信停留在本地,省去了网络往返,这在执行密集的智能体循环里会不断累积成可观的延迟。对使用者来说,这一设计把不可信代码与敏感信息分开,同时不牺牲调用速度,适合需要频繁调用外部服务又必须保护密钥的智能体工作流。

多节点集群正式可用

Modal Clusters 是团队打磨了一年半的多节点集群原语,如今通过单个装饰器即可正式使用。它面向需要多个协同容器共同完成的任务,例如服务或训练参数规模达到万亿级的模型。官方提到,这一能力已经在 Decagon 的后训练、1x 的预训练以及 Runway 的实时推理中承担负载。与单容器方案相比,集群把计算扩展到多节点协调的层面,适用范围是那些单机放不下、又需要容器间紧密配合的训练与推理作业;限制在于它解决的是跨节点编排问题,并不替代前述沙箱或边车在隔离与凭据保护上的作用。

会话粘滞与端点候选

Sticky Sessions 让某个客户端的交互始终落在同一个正在运行的容器上,应用因此可以跨请求保持状态。做法是在应用请求中带上会话令牌,从而保证路由回最初启动的那个容器,给终端用户带来重连不中断的体验。对于语音模型服务这类实时场景,容器路由的速度很关键。Endpoint Candidates 则用于优化推理服务器:把生产流量镜像到另一套服务配方,再进行比较。两项目标不同,前者解决状态延续,后者解决配方验证,读者可以据此判断自己的实时服务是否需要固定路由,以及是否需要在真实流量下评估替代方案。

为什么值得看

为AI智能体提供完整系统环境与多节点集群能力,直击编码代理执行与大规模模型训练推理痛点。

智能体

信源1 家

  1. [1]Modal 官方工程博客(RSS)线索来自 AIHOTModal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新

关键事实

  • VM Sandboxes为智能体提供完整Linux计算机访问权限,已被Linear、Legora和Snorkel用于编码代理和评估[1]

  • Modal Clusters经过1.5年测试现已正式可用,通过@modal.clustered装饰器支持多节点集群任务[1]

  • Modal Clusters正在为Decagon的后训练、1x的预训练以及Runway的实时推理提供支持[1]

  • Sticky Sessions通过传递会话令牌保证客户端交互路由回相同容器,维持跨请求状态[1]

  • Endpoint Candidates允许将生产流量镜像到替代服务方案,对比质量、延迟、吞吐量和成本[1]

相关 · 产品

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。