大模型激战半年:王小川进击、王慧文退场,腾讯字节姗姗来迟
时间:2023-08-14 18:50:39来源:时代财经

本文来源:时代财经 作者:谢斯临

图片来源:Pixabay

国产通用大模型的混战远未结束。在半年左右的蛰伏期过后,大部分玩家都浮出了水面。


(资料图)

在这之中,有人加速迭代。8月8日,由搜狗搜索创始人王小川创立的百川智能发布了旗下第三款大模型产品Baichuan-53B,背后训练参数高达530亿。此时距离王小川宣布进军大模型战场不过4个月的时间,这家创业公司进展神速。

这还只是一个开始,百川智能方面向时代财经透露,后续还会有多款产品发布,包括规模更大、参数超千亿的大模型。

也有人黯淡退场。由美团联合创始人王慧文创立,吸引源码资本、五源资本等知名VC机构,以及美团创始人王兴、快手创始人宿华等互联网大佬投资的光年之外,曾一度被市场认为是国内大模型战场上最强有力的玩家之一。

然而,随着6月下旬王慧文因健康问题离岗退出,无法继续执掌光年之外,这家备受期待的大模型创业公司只能卖身美团,一众投资人也随之退股。

还有人另辟蹊径。AI大牛周明创立的澜舟科技,强调轻量化模型,希望用更低的成本解决B端场景问题。而曾帮助谷歌将BERT模型的训练时间从3天降到76分钟的新加坡国立大学校长青年教授尤洋,则成立了潞晨科技,试图用低成本训练大模型的解决方案突围。

相比之下,大厂自研的大模型则姗姗来迟。直到8月初,腾讯自研的混元大模型和字节打造的AI对话类产品Grace才先后传出内测消息,具体面世时间仍未可知。

同样停留在测试阶段的,还有李开复创立的AI 2.0企业“零一万物”。在7月3日举办的对外交流会上,李开复透露,该公司在三个月内已实现百亿参数规模的模型内测,目前正向300亿—700亿参数规模扩大。不过,该产品至今仍未向市场开放。

这些仍未发布的大模型产品将为科技行业带来什么样的改变,值得市场期待。从这个角度来看,这场混战或许还要持续很久。

进击的王小川

由王小川创立的百川智能,正以其惊人的产品发布速度吸引市场的关注。

在其4月宣布下场做大模型后,仅用了两个月零五天的时间,就在6月15日发布70亿参数开源大模型Baichuan-7B。不到一个月时间,又发布了130亿参数开源大模型Baichuan-13B。

8月8日发布的Baichuan-53B,已经是这家大模型创业公司半年内发布的第三款产品,百川智能进展神速。

百川智能相关负责人回复时代财经表示,公司在创立之前就已经花了很多时间做前期准备,开始就把路线和方法想得比较清楚。

其指出,做大模型都会考虑三个层面:数据、算法和算力。抛开算力不说,做搜索的公司天然有优秀的数据能力,百川智能的核心团队此前已经做了20年的数据抓取、抽取、清洗、去重、反垃圾等操作,可以更快拿到高质量数据集。

而算法是以自然语言处理为中心,将算法工程进行迭代,不是单一的工程问题,而是在文本数据驱动下,算法和工程共同运行。此前在搜索领域积累的经验在这里也能很好地发挥作用,利用数据评价推动模型进步。

“有了之前多年的技术和经验积累,百川智能做大模型产品的速度才会又快又好。”

不过,在发布会上,王小川亦指出,当下国产通用大模型仍处在一个分型复刻的阶段。各家厂商基本都在对标OpenAI,不可避免地会出现同质化的问题。

正因如此,在他看来,与美国闭源大模型的头部格局已定的情况不同,“中国谁的大模型最好”现在并没有结论。在这场混战之中,钱是重要的,但最终决定的力量还是人和团队、组织能力。大厂钱多、人多、算力多,但组织效率通常不一定够好,创业公司的组织效率可能好,也可能不好。

“大家都在争取机会,而且不一定落在大厂里。”

王小川还在采访中谈及退场的王慧文。其指出,王慧文是国内几个主流做大模型里唯一一个没有强势技术背景的,对他的挑战比其他家要大。工作中要做大量的技术决策,招什么人、走什么技术路线图、需要多少计算资源,一定会面临非常多的决策压力。

“不是做大模型压力大,是没有技术背景做决策压力会大很多。但是技术足够的话,其实挺愉悦的。”

腾讯、字节姗姗来迟

大模型混战开启之初,互联网大厂因为坐拥更多算力、人才、资金和数据,被认为是强大的竞争对手。

百度自研的文心一言早在今年3月底就已率先落地;阿里打造通义千问紧随其后,在4月11日举办的阿里云峰会上揭晓。就在阿里发布通义千问的前一天,王小川才刚刚宣布下场,成立百川智能。

相比之下,同为一线大厂的腾讯跟字节,推出通用大模型的步调要慢许多。

8月3日,据36kr报道,腾讯自研的 “腾讯混元大模型”已经进入应用内测阶段。三天后,8月6日,字节旗下的AI对话类产品Grace也被爆出历经两个月的研发后,终于进入测试阶段。

此时距离百度发布文心一言已经过去4个月。对于腾讯通用大模型产品步调稍慢的原因,马化腾曾公开表示,“腾讯也一样在埋头研发,但是并不急于早早做完,把半成品拿出来展示。”

不过,“并不着急”的腾讯,还是在今年6月中旬率先公布了“行业大模型”的路线,一口气抛出10大行业超过50个解决方案。无独有偶,字节跳动也同样在6月发布大模型服务平台“火山方舟”,通过集成多家AI科技公司及科研院所的大模型,向企业提供全方位的平台服务。

市场曾一度认为,行业大模型将成为这两家大厂突围的方法。

但事实或许并非如此。当下被鼓吹的行业大模型始终存在着被替代的风险。科大讯飞总裁吴晓如曾向时代财经指出,10年前,在语音识别技术上,也曾诞生过诸多聚焦在通话、行车、办公等不同场景的专用模型,但随着通用模型技术的成熟,专用模型也随之退场。

“我认为大模型也会经历一样的阶段。”

相比之下,从更长远角度看,通用大模型才真正代表着一个平台级或颠覆性的大机会。正是因此,腾讯和字节都不可能放任自己错过,哪怕进度缓慢,但它们必定要坚持在场。

有腾讯内部人士向时代财经指出,腾讯的计划一直是两条腿走路,通用和行业齐头并进。只是与一些激进的厂商相比,旗下产品涵盖社交、游戏、广告、内容创作等多个领域的腾讯,要更为谨慎一些。

学院派创业者另辟蹊径

在大模型战场上,来自高校、研究机构的学院派创业公司组成了竞争的第三极。

它们既不是王小川、王慧文这样的种子选手,在创业之初就能凭借人脉吸引到数亿美元的投资,并以此迅速起步。也不像腾讯、阿里、百度这样的大厂,在算力、人才、资金等各个方面都占据难以逾越的优势。

但凭借着他们对于人工智能技术的深度理解,这些创业者仍然能在夹击之下,另辟蹊径找到新的发展方向。

比如由原微软亚洲研究院副院长周明创立的澜舟科技,不同于市面上一众追逐千亿乃至万亿参数的大模型产品,这位从1980年就开始研究NLP(自然语言处理)的华人AI大牛希望以更轻量级模型解决B端场景的问题。

其推出的孟子大模型曾以十亿参数,刷新此前被百亿、千亿级别参数模型轮番霸榜的中文语言理解权威评测基准 CLUE 榜单。

这是一项务实的决策。出于数据安全考虑,绝大部分企业都不会将数据上传,而是会要求本地化部署,成本因此被显著拉高。在接受媒体采访时,周明指出,哪怕只是本地部署推理,拿训练好的大模型来用,千亿参数大模型也需要8到16块 A100,换算下来至少是一两百万元的投入,“对很多场景来说,客户需要便宜和够用”。

由新加坡国立大学校长青年教授尤洋创立的潞晨科技,则希望利用算法技术降低大模型的调用成本。

现如今,无论是大厂,还是创业公司,都必须面对国产大模型同质化趋势愈发明显的问题。如果这一问题不被解决,未来大模型极有可能陷入当下云服务厂商面临的低毛利困境。

尤洋对时代财经表示,这是因为底层技术基座迭代成本过于高昂。他以GPT举例,OpenAI每一次的训练成本高达6000万美元,每隔三四个月就需要训练一次,迭代一次则需要四五次训练。以此计算,每迭代一次技术基座可能需要2亿到3亿美元。

过于高昂的成本导致市场上的技术基座极其稀缺。基本上只有GPT、LLAMA,还有国内的GLM。各家厂商基本都是在模仿这几家大模型做产品,才导致了同质化的问题愈发凸显。

长期研究高性能计算的尤洋因此成立了潞晨科技。该公司目前推出的开源系统Colossal-AI 可通过高效多维并行、异构内存等技术,显著降低AI大模型训练、微调和推理的开发与应用成本。

尤洋认为,只有伴随大模型训练成本快速下降,或者采取更好的优化技术,使得参数控制在200亿左右,还依然能够达到和千亿参数一样的效果时,才会真正迎来大模型百花齐放的那一天。

标签:

最新
  • 大模型激战半年:王小川进击、王慧文退场,腾讯字节姗姗来迟

    大模型激战半年:王小川进击、王慧文退场,腾讯字节姗姗来迟,腾讯,美团

  • 粉丝看好杨超越能成95花TOP,但她两年内连扑四部剧,怎么飞升?

    《七时吉祥》由杨超越和丁禹兮主演,讲述两位神仙爱恨纠缠了七辈子的故

  • 还有3天 今年机票燃油费首次上调 航空生物燃油行业发展前景

    近日,去哪儿、同程旅行等多个平台发布消息称,已收到中国东方航空、九

  • 北京一顶奢酒店被冲垮?耗时8年造价8亿,一晚1万多…最新回应

    自7月29日开始,北京连续强降雨,抢险救援持续进行。今天(8月1日)11

  • 云南将迎新一轮强降雨 已启动防汛Ⅳ级应急响应

    云南将迎新一轮强降雨已启动防汛Ⅳ级应急响应---新华社昆明8月2日电(

  • 校园变“家园” 育人新空间

    “在毕业实习、考研深造和毕业设计等压力下,难免产生焦虑心理,我们要

  • 充电涨价:有人哭,有人笑

    充电涨价:有人哭,有人笑充电费用快赶上加油了?燃油车车主和新能源电

  • 603708家家悦低开收上影小阳线,上涨0.04元

    603708家家悦本日低开收阳,收盘价为13 62,相较于昨日阳线收盘价13 58

  • 化工ETF(516020)连续第8日净申购!机构:扩内需目标之下,关注化工新材料环比改善机会!

    在近一周热门行业主题方向上,细分化工指数挂钩ETF份额增长居各行业主

  • 就业服务送到“家门口”,普陀积极打造“15分钟就业服务示范圈”

    为不断完善普陀区就业公共服务体系建设,构建“家门口”的就业公共服务

  • 莫斯科遭袭后,乌多地拉响防空警报!中使馆:不可侥幸!俄总参谋长视察前沿指挥所:要先发制人!

    24小时财经资讯平台,依托新锐财经日报《每日经济新闻》(NationalBusin

  • 状态火起来!姆巴佩晒脚穿新球鞋照片

    直播吧8月1日讯巴黎圣日耳曼球星姆巴佩的未来仍未有定论,但法国人已经

  • 紫罗兰玉石有什么好处

    紫罗兰玉石是一种稀有的宝石,被认为具有许多好处,包括以下几点:1 平

  • 武汉火影数字|建筑房地产三维动画

    建筑房地产三维动画可将复杂的图形设计方案模拟为真实的直观三维建筑动

  • 迎八一薪火相传 军民共建鱼水情

    为庆祝中国人民解放军建军96周年,进一步弘扬拥军优属、拥政爱民的光荣

  • 山东师范大学历山学院更名(山东师范大学历山学院学费)

    1、学费一万。2、住宿费长清校区1200老校区1000。3、书费1000生活用品

  • 旅游
    • 拔牙后会引起发烧吗?拔牙后的牙洞要长多久才能长满?-世界微资讯

    • 环球快播:高拍仪是什么意思?高拍仪能代替扫描仪吗?

    • 这些“大学”,千万别去!_速读

    • 合同诈骗罪和诈骗罪的区别与关系|全球最新