Kimi开放平台“上下文缓存”技术开启公测
时间:2024-07-02 14:18:08来源:环球网

7月2日消息,Kimi 开放平台日前宣布其“上下文缓存”技术进入公测阶段。该技术可为开发者大幅降低长文本旗舰大模型的使用成本,最高可达90%,并显著提升模型的响应速度。

据了解,上下文缓存技术作为一种高效的数据管理技术,其核心优势在于能够预先存储并快速提供那些可能被频繁请求的大量数据或信息。当用户再次请求相同信息时,系统无需重新计算或从原始数据源中检索,而是直接从缓存中快速提取,从而显著节省时间和资源。

Kimi 开放平台方面以某硬件产品说明书为例介绍了该技术的应用场景。对于一份长达9万字的说明书,在传统模式下,售前支持人员需要在10分钟内对产品的功能/使用方式进行40次问答,问题大概100个字,回答在120字以内。

然而,在接入上下文缓存技术后,9万字的文档只需创建并存储一次缓存,40次问答将仅收取将只收取问题的100字+回答的120字的费用,预计节省费用达92.27%。

业内人士称,在当前大模型行业日益注重效率和成本控制的背景下,Kimi的这一创新不仅为开发者提供了更经济、更高效的解决方案,也有望进一步推动大模型行业的应用和发展。

标签:

最新
  • Kimi开放平台“上下文缓存”技术开启公测

    7月2日消息,Kimi 开放平台日前宣布其上下文缓存技术进入公测阶段

  • 【异动股】汽车芯片板块拉升,满坤科技(301132.CN)涨15.07%

    今日早盘,截至09:45,汽车芯片板块拉升。满坤科技(301132 CN)涨15

  • 方城县教体局:夯实思想政治教育工作品牌 全面提升未成年人思想道德建设工作水平

    工作品牌,全面提升未成年人思想道德建设工作水平近年来,方城县教体局

  • ​西平县应急管理局集中学习《中华人民共和国民事诉讼法》 每日热讯

    为不断增强工作人员的法律知识储备,提升业务能力,4月25日上午,西平

  • 焦点信息:劳动节放假安排来了!放假5天需调休

    根据国务院办公厅通知精神,2024年劳动节放假安排为:5月1日(星期三)

  • All the construction vehicles are assembled at the seaport

    All the construction vehicles are assembled at the se

  • 【环球时快讯】春暖三月共追“锋”爱绿护绿齐行动——驻马店市第十五初级中学开展植树节实践活动

    为继承和弘扬雷锋精神,凝聚精神力量,增强广大青少年爱护花木、珍惜绿

  • 即时:鼓励更多长期资金积极入市

    不足半月,中央汇金投资有限责任公司再度入市,开启新一轮增持。10

  • 环球快资讯丨上横高速公路建设忙

    近年来,一系列沿线重大交通项目不断取得突破,一批又一批青年建设

  • 消费者用“化学品”平替商品 一买一麻袋?

    【民生调查局】编者按:这里是民生调查局,见人所未见,调查民生之

  • “喘息服务”支撑若干家庭的希望与尊严

    原标题:“喘息服务”支撑若干家庭的希望与尊严黄慧“为失能失智老人家

  • 天津市一栋大厦发生火情

    总台记者目击,天津市位于南开区南京路与万德庄南北街交口处的一栋

  • paonoca空调是什么牌子

    paonoca空调是什么牌子?paonoca空调并不是一个常见的空调品牌,在市场

  • 【分享】这个七夕,让睡莲给你的约会增添浪漫氛围

    疏朗西湖,幽幽小涧睡莲倒影,盈盈其间“金风玉露一相逢,便胜却人间无

  • 8月21日 13:03分 冀东水泥(000401)股价快速拉升

    分时图快速拉升意味此时存在大单买入,在大单的推动下,股价快速地上涨

  • 专家谈人事档案管理:可适度向本人公开,应关切弃档和造假

    人事档案管理问题,往往出现在工作调动之际。图文无关。(人民视觉 图

  • 旅游
    • “警察”打来电话让你转账?这是诈骗别信!江岸民警上门拦截2起电诈

    • 2023中国新疆(昌吉)种交会8月6日举行

    • 西昌至宁南高速公路全面开建

    • 赵本山女儿球球晒4个月孕肚,曾被曝私生活混乱,今老公偷3000万给父母买房