编辑:桃子
【新智元导读】RAG或许就是大模型能力飙升下一个未来。RAG GPT-4,4%的成本,便可拥有卓越的性能。
这是最新的「大海捞针」实验得出的结论。
如上图所示,assistant API (GPT-4 RAG)的性能近乎完美。
注意:这一性能仅适用于搜索式查询。大型上下文窗口还有其他用例(如少样本学习)。
成本
上下文窗口填充仅产生每个token的成本,而RAG产生每个token的成本,以及额外的固定LLM推理成本。
以下是每个token的成本:
延迟
RAG通常是针对离线数据进行的,检索延迟以毫秒为单位,端到端延迟主要由LLM调用决定。
但作者认为,比较一下从文件上传到返回结果的端到端延迟时间,看看RAG是否能与「在线」(而非离线)数据竞争,会很有意思。
以下是对128k token文档进行查询的端到端延迟:
- LlamaIndex RAG最低,平均为12.9秒。
- 其次是GPT4-Turbo,平均用时21.6秒,但差距很大,为7-36秒。
- assistant API RAG检索时间为24.8秒。
此外,大多数应用程序都能从乐观的文档上传中获益,从而最大限度地减少感知延迟。由于RAG索引的成本很低,通常不会有太大损失。
成本
RAG 成本分析有点微妙,因为它只是部分确定性的。RAG 的第一部分是检索,根据一些启发式(通常是矢量搜索)从更广泛的数据集中选择最「有前途」的文档块。
第二部分是生成增强,选择的块被输入到「标准」LLM调用中(并且随着通用性的增加,被输入到智能体LLM循环中)。
原则上,检索可以使用多种技术来实现,从关键字搜索到关系搜索,再到混合技术。
在实践中,大多数当代RAG方法主要使用矢量搜索,这会产生一次性、按token索引的成本。随着生态系统的成熟,混合技术的使用可能会越来越多。
每个token的成本
让我们首先看一下每个token的成本:
- GPT-4-Turbo 以 $0.01/1k token的价格。(与GPT-4和GPT-4-32k相比,价格分别降低了3倍和6倍) - OpenAI 的 ada v2 嵌入模型收费 0.0001 美元/1k token。这比GPT-4-Turbo便宜100倍。
- OpenAI 的助手 API 的检索功能价格更加昂贵。它以「无服务器」方式收费,0.20 美元/GB/助手/天。假设 1 个token ~ 5 个字节,即1×10^-6 美元/1k 个token/助手/天。
固定开销开销部分很难计算(或者说不可能,在 OpenAI 的情况下),所以作者也只是凭经验测量它。
如结果部分所述,RAG还会产生固定开销,该开销源自LLM推理步骤。对于128k上下文,此固定成本为GPT-4上下文窗口的4%。
延迟原则上,嵌入计算是高度可并行化的。因此,考虑到市场需求,未来的基础设施改进可能会将延迟降低到单个块嵌入的往返。
在这种情况下,可以看到即使是「在线」RAG管道延迟也会大大减少,以至于「在线」RAG延迟仅由LLM思维链循环的延迟主导。
参考资料:
相关文章
猜你喜欢