OpenAI给GPT-6装上“快脑”！100毫秒做决策，API全面开放

智东西

作者 | 黄菲

编辑 | 江宇

智东西10月23日消息，据TechCrunch昨日报道，OpenAI已面向所有客户开放决策接口Decisions API，该接口基于推理模型GPT-6 Luna优化了推理速度与成本，部分场景下响应时间可由1至3秒缩短到100至180毫秒。

Decisions API主要面向答案范围明确的任务。开发者可以预先设定问题和可选答案，由该模型输出概率、选项或评分，用于内容分类、请求分流，以及决定AI智能体下一步采取什么行动。

这一产品瞄准的是快速、低成本的AI决策市场。

9月15日，AI初创公司TypeSafe推出的Jev决策模型，该模型可专门根据预设选项快速作出判断并给出置信度，帮助开发者以更低成本、更快速度完成分类和任务分流。

OpenAI此次开放Decisions API，也意味着AI决策模型领域的竞争进一步升温。

一、OpenAI借现有模型提速，切入快速决策市场

OpenAI的API产品负责人尼昆吉·汉达（Nikunj Handa）称，该团队看到Jev模型后，意识到这类决策模型有大量潜在应用场景。

▲OpenAI API产品负责人尼昆吉·汉达（Nikunj Handa），图源：AI Council

随后，该团队决定基于现有的基础推理模型GPT-6 Luna调整推理方式，以缩短响应时间并降低成本，而不是从头训练一个专门的决策模型。

负责人汉达称，Decisions API最显著的改进是速度，部分任务的响应时间从1至3秒缩短至100毫秒、120毫秒或180毫秒。

9月29日，OpenAI在开发者日活动上公布Decisions API。

▲OpenAI于9月29日的开发者日活动上公布Decisions API，图源：OpenAI。

10月6日，该接口开启公开测试。在介绍Decisions API的视频中，负责人汉达还提到，未来OpenAI可能针对这类任务开展专门训练，进一步提升该模型表现，目前则主要通过调整现有Luna模型实现相关能力。

▲OpenAI于10月6日开放Decisions API公开测试，图源：OpenAI。

10月22日，OpenAI宣布向所有客户正式开放该接口。Decisions API支持接收文本、图像和结构化数据，每次请求最多可处理400个问题，是公开测试阶段上限的2倍。

▲OpenAI于10月22日宣布Decisions API正式面向所有客户开放，图源：OpenAI。

企业文档管理平台Box、云监控平台Datadog、金融科技公司Ramp和语言学习平台Speak等企业已使用Decisions API替代部分大模型的调用，以提高任务处理速度。

云监控与安全平台Datadog使用Decisions API评估AI智能体生成的命令风险，P95延迟比可用的前沿模型快约40倍，即95%的请求能够在该时间内完成响应，只有5%的请求耗时更长。

企业财务管理平台Ramp将AI调用成本归因到具体工作任务，处理速度提升4倍、成本降低30%。

语言学习平台Speak将GPT-Live中用户操作之间的等待时间从1.4秒缩短至0.13秒，降幅超过90%。

▲OpenAI展示Decisions API在Datadog、Ramp和Speak等企业中的应用案例，图源：OpenAI。

其中，企业文档管理平台Box在其官网展示了其使用该接口对商业文件进行分类并将文件分配至相应处理环节的流程。

▲Box展示Decisions API在保险凭证审核流程中的应用，图源：Box官方博客

二、两款决策模型同台竞技，第三方测评排名有别

OpenAI推出Decisions API，与TypeSafe AI的Jev模型展开竞争。两款产品均面向软件自动化任务，能够根据预设选项快速输出决策结果。

TypeSafe AI成立于2024年，主要开发面向软件自动化的决策模型。其联合创始人兼首席执行官迪奥戈·阿尔梅达（Diogo Almeida）曾在OpenAI担任研究人员，参与过提升语言模型指令遵循能力的相关开发。

▲TypeSafe AI联合创始人团队照片，图源：TypeSafe

9月15日，TypeSafe发布首款System One模型Jev。该模型可以直接输出预设选项及其对应概率，供软件调用。TypeSafe公布的内部测试结果显示，Jev在8项工作流测试中的准确率达到68%，与OpenAI的Tera模型并列第3。

▲Jev模型决策能力排名，图源：TypeSafe

10月14日，TypeSafe发布Jev 1.14.0版本，增加图像输入等功能，并对模型能力进行更新。但阿尔梅达提到，对基准测试的结果应持谨慎态度，并建议开发者结合自身工作流程评估模型表现。

第三方榜单的排名则呈现出不同结果。

AIMultiple发布的System One Index榜单中，最新Jev模型排名第7，OpenAI的Decisions API排名第14，该榜单通过综合评估模型在不同任务中的表现，并根据各项测试得分计算综合指数。

▲System One Index决策模型排名，图源：AIMultipl

Artificial Analysis发布的Decision Index榜单中，Jev模型排名第2，OpenAI的Decisions API排名第11，该榜单主要从知识与幻觉控制、推理、工具调用和分类四个方面评估模型表现。

▲Artificial Analysis Decision Index决策模型排名，图源：Artificial Analysis

除测试成绩外，OpenRouter的模型调用量排行榜也提供了另一项参考：TypeSafe的产品在该榜单中仍处于领先位置。

▲OpenRouter模型调用量排行榜，图源：OpenRouter

除了比较公开榜单上的综合排名，还有测试通过实际游戏考察决策模型的连续判断能力。

AI基础设施公司Opper AI开发了JevMan基准测试，让Jev等决策模型实时玩经典游戏吃豆人，观察模型能否根据游戏局势持续作出判断。

该基准测试让每个模型与游戏中的幽灵进行100局对战，并按平均得分排名，同时记录存活时间、响应延迟、备用动作比例和单局成本。

Opper AI首席增长官菲利克斯·温德利希（Felix Wunderlich）称，吃豆人适合测试决策模型，因为模型必须在每个路口的几百毫秒内决定下一步方向。

▲JevMan基准测试通过吃豆人游戏评估决策模型的连续决策能力，图源：Opper AI

据Opper AI的JevMan榜单，Jev 1.14平均得分为3597分，排名第1；OpenAI的GPT-6 Luna平均得分为2568分，排名第8。

▲JevMan基准测试模型平均得分排行榜，图源：Opper AI

谈及后续发展，汉达认为，OpenAI模型可能在多模态能力方面具有优势，尤其是在图像分类任务中，Luna展现出较强的能力和置信度校准水平。他还称，OpenAI客户希望Decisions API未来能够更灵活地将图像作为输出。

汉达还提到，更快的响应速度可能拓展更多决策接口的应用场景。如果接口响应时间能够进一步缩短至约60毫秒，开发者就可能在视频的每一帧上调用接口，实时作出判断。

结语：决策成本持续下降，AI应用有望拓展

随着决策模型的响应速度提升、使用成本降低，开发者有望将其应用于更多此前因延迟或成本过高而难以实现的场景。

不过，决策模型能否在更多业务中发挥作用，仍取决于其准确率、置信度校准和成本表现。

随着OpenAI进入这一市场，开发者将拥有更多选择，实际应用效果也将成为检验不同模型竞争力的重要标准。

来源：TechCrunch

Les actualités sont collectées automatiquement depuis des flux publics robotique & IA.