团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
标签：
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学
11月19日，《太原市2025年初中学业水平体育考试足球、篮球、排球考
初冬时节，在重庆市巫山县竹贤乡下庄村，山峦绵延起伏，云雾在山间
汇聚1358家上市公司，释放创新创业活力创业板为实体经济注入新动能(
来源标题：全球洞察|秘鲁学者：进博会让中国与秘鲁实现双赢观点速览
从一眼假到真假难辨再到深度伪造，生成一条音频只需20秒滥用公众人
中新社米兰10月19日电 (记者 德永健)10月14日至18日，第75届国际
10月15日，彭阳县新集乡白林村莲花谷畅游营地迎来了远道而来的游客
9月26日，设计时速350公里的渝昆高铁重庆至宜宾段(以下简称渝昆高铁
在行中，看见进的中国。今年5月，人民网启动行进中国大型融媒体系列
买了长沙惠民保如何查询?买了长沙惠民保后可以通过我的长沙APP上进
中新网长春9月1日电 (记者 吕盛楠)9月1日，记者从长影集团获悉，
未觉夏暑尽，时序已新秋。为确保新学期工作平稳、有序、高效推进，扎实
中新社香港8月20日电 (记者 戴小橦)中国电信股份有限公司(中国电
中新网7月25日电 据国家发展和改革委网站消息，根据近期国际市场油
暖阳四溢，花瓣轻舞，“母亲节”将至，5月10日下午，平西社区组织辖区
