Created
Aug 8, 2024 07:04 AM
Favorite
Favorite
Priority
备注
推荐
类型
夕小瑶科技说 原创
作者 | 海野
OpenAI上次提到JSON模式的概念，还是在去年的DevDay上。那是ChatGPT第一次拥抱JSON模式。
但这个功能可以说是饱受诟病。
经常遇到模型不遵循指令，不按照你想要的格式输出，即使在 prompt 中明确说了要按照指定格式（比如Json、XML）返回结果，但是它就是不听话。
因为大语言模型在处理结构化数据时比想象中要困难得多。
很多人说，为什么非要纠结 JSON 格式的输出，我用的挺好的，啥 JSON 格式都没见过，这种要么就是用的不多，要么就不是做开发的！
要知道！对于开发者来说，模型的结构化输出结果是很重要的！比如你想要一些抽取好的关键信息，这时候怎么给你？肯定是结构化的字段信息，简洁明了。比如：
非结构化的结果：
小明今年18岁,是一名高三学生。他身高175cm,体重65kg。小明喜欢打篮球,每周都会和朋友一起打球。他的梦想是成为一名软件工程师。
结构化结果 (JSON格式):
今天，OpenAI就给它的GPT-4o模型翻了个新，升级到2024-08-06版本，并带来了一个全新升级后的功能：
在 API 中引入了结构化输出（Structured Outputs）
模型输出现在可靠地遵循开发人员提供的 JSON 模式。它可以实现输出JSON的100%准确率！
在此之前，开发者一直通过第三方开源工具，或者在 prompt 上面做功夫，让大模型遵循你的命令，再或者反复重试请求来绕过LLMs在结构化处理的缺陷，现在都不需要了。
▲新模型 gpt-4o-2024-08-06 的结构化输出得分高达 100%。相比之下，gpt-4-0613 的得分不到 40%
具体怎么接入结构化能力呢，有两种办法：
一种是函数调用，在函数定义中设置 strict：true进行结构化输出；
另一种是新增了一个response_format 的参数选项
这是怎么做到的？
第一种方法比较传统，就是最经典的专项培训：对于特定的复杂的JSON架构进行针对性模型训练，Openai通过这种方法能把模型准确率提到93%。 相较于最开始带JSON模式的GPT-4的40%准确率，已经高出很多了。
尽管最新的模型gpt-4o-2024-08-06性能有所提高，但是模型本质上是非确定性的，无法保证JSON的稳定输出，所以采用了确定性的、基于工程的方法来约束模型的输出，以实现 100% 的可靠性。
但很明显，93%的准确率也就意味着7%的不可靠，对于开发人员来说，不是100%的准确就是不够用的，所以OpenAI又用了第二个方法。
而这第二种方法就有点神乎其神。OpenAI使用了约束解码（constrained decoding）技术。
默认情况下，大模型在进行token输出时，可以在词汇表中选择任意一个词汇，作为下一个输出token。而这种不可控性会让模型在输出一些固定格式的文本时犯格式错误。
而在使用动态的约束解码技术后，大模型在下一个token输出时，便增加了一些约束，将模型限制在有效的token内，而不是所有token。
比如：输入“{"val”后，下一个生成的文本一定不会是“{”。
通过这种方式，大模型不仅可以实现JSON的格式正确，还可以实现合适schema结构的精确。现在OpenAI已经通过这种方式实现了100%的JSON输出准确率。
这个功能一经亮相，网友们都坐不住了：
但这个功能目前还有一些缺陷。因为需要额外增加Schema预处理的时间，新模型在请求新的JSON Schema时慢了一些。此外，要使用结构化输出还有一些限制：
目前结构化仅支持输出一部分JSON模式，包括String、Number、Boolean、Object、Array、Enum和anyOf。
同时，所有的字段或者函数参数必须是“required”。
对象对嵌套深度和大小也有限制。一个架构总共最多可以有 100 个对象属性，最多有 5 个嵌套级别。
OpenAI还留了个底：结构化输出并不能防止所有类型的模型错误。 模型可能仍会在JSON对象的值中犯错误（比如在数学方程式中步骤出错），如果出现错误，需要使用者在指令提示词中提供示例，或者将任务拆分为更简单的子任务。
还有一个重中之重：安全 。结构化输出功能将遵守OpenAI现有的安全政策，并且仍会拒绝不安全的请求。甚至他们在API响应上设置了一个新的字符串值，让开发人员能以编程方式，检测模型是否拒绝生成。
OpenAI还真是忘不了安全问题啊。
随着这个新功能的推出，OpenAI还宣布，模型在更新到GPT-4o-2024-08-06后，进行降价处理：
输入tokens降价一半，2.5美元（约合人民币17.96元）/百万个输入tokens；
输出tokens降价1/3，10美元（约合人民币71.84元）/百万个输出tokens。
但随着这个推文出现，评论区网友们也表达了对OpenAI挤牙膏式更新的不满：
一点点技术创新也能叫版本更新吗？
也许OpenAI,真的需要制造一个大热门来解决这场宫斗闹剧了。
实际上，这项功能发布的前一天，OpenAI才刚引起不小的轰动：联创John Schulman提桶跳槽Anthropic；总裁Greg Brockman享受他的超长假期；产品副总裁Peter Deng悄然离职；马斯克也恢复了对OpenAI的起诉，而Sam Altman在OpenAI中的地位甚至尚未稳固。
也许OpenAI,真的需要制造一个大热门来解决这场宫斗闹剧了。
参考资料
[1]https://openai.com/index/introducing-structured-outputs-in-the-api/
Scan to Follow