月之暗面 Kimi 开放平台将启动 Context Caching 内测

2024-06-20 03:15:12

  月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测,届时将

  ▲ 据介绍,Context Caching是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本,原理如下:

  官方表示,Context Caching Context Caching 适合于用

  提供大量预设内容的 QA Bot,例如 Kimi API 小助手。

  针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具。

  对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。

  瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles。

  交互规则复杂的 Agent 类应用,例如什么值得买 Kimi+ 等。

  官方后续将发布 Context Caching 功能的场景最佳实践 / 计费方案 / 技术文档,将保持关注,并在第一时间带来

下一篇:时隔 7 年再放宽,苹果 iOS 18 可隐藏主屏幕 App、
上一篇:松下推出 TOUGHBOOK 40 Mk2 三防笔记本:IP66、酷睿
返回顶部小火箭