> 自媒体 > (AI)人工智能 > Meta连夜加入AI大模型混战!用1/10参数量干过GPT-3,单个GPU就能跑
Meta连夜加入AI大模型混战!用1/10参数量干过GPT-3,单个GPU就能跑
来源:智东西
2023-04-28 17:26:23
711
管理

5、代码生成(Code generation)

基于编程代码开源数据集HumanEval和小型数据集MBPP,被评估的模型将会收到几个句子中的程序描述以及输入输出实例,然后生成一个符合描述并能够完成测试的Python程序。

对于拥有相似参数的模型,LLaMA优于其他通用模型。

6、大规模多任务语言理解(Massive Multitask LanguageUnderstanding)

这一数据集基准涵盖人文科学、STEM、社会科学等各种知识领域的多项选择题。

经比较,研究人员发现,拥有650亿参数的LLaMA在大多数领域平均落后于拥有700亿参数的Chinchilla和拥有5400亿参数的PaLM几个百分点。

研究人员猜测,其中一个可能的原因是,他们在训练前使用的数据集较为有限,包括177GB大小的ArXiv、Gutenberg和Books3,而其余模型的训练数据足有2TB大小。

7、训练期间的能力进化(Evolution of performance during training)

在训练过程中,研发人员跟踪了LLaMA在一些问题回答和常识性基准上的表现,其都保持稳步提高。

不过针对于相关数据集的评估,研究人员认为其存在许多性能差异,该基准的结果并不可靠。

三、去年曾发布Galactica大模型,但因偏见和造假火速下架

关于大模型的研究如今在AI领域十分火热。其基本原理就是通过获取新闻、社交媒体或其他互联网资源上的文本,来训练软件,使得基于大模型生成的产品可以在用户给出提示或查询搜索时自行预测和生成内容,其目前最直观的例子就是最近爆火的聊天机器人ChatGPT。

也正由于这一现象级消费级应用的推动,使得科技巨头开始构建基于大模型的产品测试,并将生成式AI视作新竞争领域。

年初,微软向聊天机器人ChatGPT的创造者OpenAI投资了数十亿美元,随后,微软推出了其ChatGPT版新Bing搜索引擎。谷歌很快也加入竞赛,该公司基于其大型语言LaMDA推出类似的对话式AI应用程序Bard。

去年5月,Meta也曾发布了拥有1750亿参数的OPT大型语言模型,这一模型的适用对象也是开发人员,是生成其聊天机器人BlenderBot的基础模型。半年后,Meta推出名为Galactica的语言模型,该模型可以撰写科学文章并解决数学问题,但在推出三天后,这一模型就因经常胡言乱语以及给出虚假信息被撤下。

国外投资机构DA Davidson高级软件分析师Gil Luria认为:“Meta今天的公告似乎是测试他们生成式AI能力的一步,这样他们就可以在未来将它们应用到产品中。”

他还补充道:“生成式AI作为AI的一种新应用,Meta对此经验较少,但显然对其未来的业务很重要。”

结语:生成式AI竞赛不断升温

大型语言模型已经在生成创意文本、解决数学问题、预测蛋白质结构、回答阅读理解问题等方面展示出了巨大的潜力,如今ChatGPT的发布使得其在消费级应用市场中爆发。

继微软、谷歌之后,Meta也试图在这一领域展现自己的技术优势。

在科技大厂纷纷亮出生成式AI商用计划之时,Meta难得地聚焦在研究贡献上,无论是用更多数据训练出的更少参数规模模型实现优于更大参数规模模型的研究成果,还是将LLaMA模型和权重开源开放,都令人感到耳目一新。

但也由于仅限于研究用途,这可能导致Meta短期内难以在生成式AI领域形成像OpenAI、谷歌那样的影响力。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
【一周新车】中秋假期去买车 这5款焕新车型值得一看..
为了迎接中秋假期以及即将到来的十一黄金周,本周众厂家焕新了旗下主销车..
二手车出口迎来井喷式发展 “洋买家”青睐中国新能源汽车..
央视网消息:中国汽车流通协会最新数据显示,九月份二手车市场日均交易量..
凯迪拉克XT5正式上市,蜂鸟底盘MAX上车,限时26.59万起香吗?..
【太平洋汽车 新车频道】2024年9月28日,全新一代凯迪拉克XT5(询底价|查..
汽车“价格战”再疯狂 经销商活路在哪?
03 抵制价格倒挂,免不了一场阵痛面对巨量债务,难道汽车经销商真的无路..
华为发布会MateXT很牛,看了智界R7实车,Model Y会不会难受?..
鸿蒙智行的发布会已经开完了,这一次比较震撼的是,一是三折屏的手机。虽..
“快来救命啊!”生死关头,新能源汽车成了“生命充电桩”..
扬子晚报网9月30日讯(通讯员 王松竹 记者 高峰)宿迁车主梁朝在国庆前夕..
时光相册|从“解放”下线到汽车产销量突破3000万——看汽车行业发展..
1953年7月15日来自全国的万名建设者会聚长春西南郊于茫茫荒野上夯下了第..
退出价格战两个月后 豪华汽车品牌过得如何
经济观察网 记者 濮振宇 家住福建的小陈,今年准备购买一台奔驰C260L,7..
试驾AITO问界M5:续航无焦虑,鸿蒙系统“智能武装”
来源:汽车观察室 大家有没有发现,身边开新能源车的人越来越多了。最近..
关于作者
泡沫人生(普通会员)
文章
1254
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40406 企业收录2984 印章生成243720 电子证书1088 电子名片62 自媒体72028

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索