> 自媒体 > (AI)人工智能 > 微软崔宏禹:GPT-4以后,不建议再用微调进行特定领域的模型适配
微软崔宏禹:GPT-4以后,不建议再用微调进行特定领域的模型适配
来源:澎湃新闻
2023-07-11 11:32:09
496
管理

·我想引用管理学大师德鲁克先生的一句话,动荡时代的最大风险不是动荡本身,而是企图以昨天的逻辑来应对动荡。

微软(中国)有限公司创新技术总经理崔宏禹。

5月26日,微软(中国)有限公司创新技术总经理崔宏禹在上海举行的向星力·未来数据技术峰会(FDTC)上回应了当下一个广泛被提及的问题,即如何用自己的数据训练自己的模型,将私域数据与GPT的能力相融合。

崔宏禹解答道,“一般来说,我们推荐两种方式。一种是微调(在不改动预训练模型的基础上,在模型顶层增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景),但在GPT-4以后,我们已经不建议或者已经不让大家使用微调的方式了。我们更推荐的是嵌入(将一个内容实体映射为低维向量,从而可以获得内容之间的相似度)的方式。”

在会上,崔宏禹谈起微软跟OpenAI合作背后的故事,以及合作以后微软的变化和思考逻辑。

以下为澎湃科技(www.thepaper.cn)整理的演讲实录,有删减:

我想讲一讲背后的一些故事,我们为什么选择和OpenAI合作,选择跟OpenAI合作以后,微软有一些什么样的变化和思考。

大家知道微软投了OpenAI,而且是和OpenAI独家合作,为什么当时有这样的决策?是因为我们已经看到这个技术对未来的产品、服务起到的加速作用。当然,这个决策过程是非常纠结的。

大家知道,微软在2019年给了OpenAI第一笔投资,实际上在2018年,我们内部就在做要不要投OpenAI的决策,那个时候CFO(艾米·胡德)是反对的,她觉得微软有这么多做人工智能的团队,为什么还要去投一个初创公司,微软自己也有团队在做大模型,为什么还要投初创公司?当时CEO(萨提亚·纳德拉)没有办法说服CFO向OpenAI投资,他就利用他的老关系,把GPU交给OpenAI去做测试和训练。因为这个原因,所以才有了后面的合作。

在这个基础之上,和OpenAI合作以后,要么“all in”,要么“走人”。为什么这么说?大家可以发现,最近微软的产品更新换代特别快,这不是我们以前心目中对微软产品发布的印象。比如GPT-4刚出来两个礼拜,我们就宣布在大家最熟悉的微软Office中加一个Copilot,背后由GPT-4模型支持。再加上前天的微软技术大会,我们正式宣布在下一个版本的Windows中也要加入Copilot,背后也是有GPT-4的加持。也就是说,我们所有的产品都会“all in”,如果不这样做,就“走人”。

这给了我们一个启示,在现阶段,尤其是在目前人工智能的阶段,要积极地拥抱新技术,要敢于去尝试,只有当你去尝试的时候,才会发现中间的很多问题,才知道这个事情的关键在什么地方。

目前OpenAI全部的产品线和服务在微软的公有云平台上都有体现,为什么要这样做?OpenAI为什么自己不能提供这些服务?

背后的逻辑是这样的,OpenAI和微软的合作首先要解决商业化问题。因为OpenAI是一个初创公司,专注在其产品线的开发上,但在商业领域还有很多要解决的问题,比如数据的合规性、安全性、隐私性,服务水平、解决方案的全面程度等,而OpenAI作为初创公司,它的现金流可能不放在这里,跟微软合作恰恰能解决这些问题。最近ChatGPT在意大利被禁止使用,就是因为存在数据隐私和安全的问题。OpanAI希望通过跟微软的合作,利用微软在安全合规、隐私解决方案方面的能力来帮它解决。

现在有一个问题,如何用自己的数据训练自己的模型,把私域的数据融合到GPT能力里?也就是说对特定领域的数据进行模型适配。

一般来说,我们推荐两种方式。一种是微调(fine-tune,在不改动预训练模型的基础上,在模型顶层增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景),但在GPT-4以后,我们已经不建议或者已经不让大家使用微调的方式了。因为我们不认为外面的一个组织、一个公司通过微调方式训练出的模型,比这家公司自己训练出来的能力还要好。我们更推荐的是嵌入式(embedding,将一个内容实体映射为低维向量,从而可以获得内容之间的相似度)的方式。嵌入式方式的原理很简单,把企业内的私有数据和文档做向量化或矢量化(嵌入向量可以捕获单词、短语或文本的语义信息,使得它们可以在数学上进行比较和计算),然后去做匹配(两个向量之间的距离用于测量它们之间的相关性,较小距离表示高相关性,较大距离表示低相关性),相似度在0.3以下就认为这个信息的检索已经非常准确。

在大模型应用中有一个叫嵌入式应用,实际上就是Copilot,即驾驶辅助的角色。这个模型非常简单,在底层基础能力的加持下,在中间这层AI编排的机制下,再往上走,就可以提供一个Copilot服务,再加上插件的应用,就可以应用在现有的系统,只要有插件就可以方便地把数据接入进来,相当于在原有的系统之外构建了一个辅助驾驶。

微软的系统为什么发展得这么快?就是利用了这套架构。当然也有插件,我们觉得OpenAI的插件系统未来会改变商业模式和游戏规则。如果你们用过微软最新的必应搜索就可以发现,在对话过程中它可以跟网站交互获取大量实时数据。以后必应会改变整个应用的生态和游戏规则。

在此基础之上,我们怎么看这个世界?

第一,GPT背后,一部分是技术的加持,另一部分是人才、资源、文化。这一点说明我们离不开企业非常优秀的数据,离不开这些技术模型。但同时,我特别想强调一点,如果我们这个公司的人没有开放的心态去拥抱新技术、拥抱新产品,那这个事情可能也做不了。ChatGPT之所以成功,它是源自于这三方面的成果。这一点,我想,对很多企业可能有一定思考价值。有了最新的技术,有了非常良好的数据,但如果企业没有这样的文化,可能也是有问题的。

第二,大模型要实现平民化。OpenAI就是想让AI真正Open,让边际成本急剧降低。2012年以后,人工智能兴起,深度学习兴起,但那时候每一个SKU(最小存货单位Stock Keeping Unit,比如销量数据都是以SKU为单位收集,建立预测模型就要为每个SKU单独训练一个模型)都要单独去做训练,我们做了太多的项目都是这样,成本很高。但是新的AIGC(人工智能生成内容)的模型是通用化的模型,降低再训练的成本,实际上是把边际成本急剧降低。只有当大家都能用的时候,才能说这是人工智能时代,如果只有少数人在用,那不叫一个时代。

微软也是这么做的,M365(Microsoft 365,基于Microsoft Office 办公室套件的云端办公室方案)就是用这个方法来实现的。在原来微软的Office加了一个Copilot,左下角有一个Graph(存储了电子邮件、文件会议、聊天和日历笔记等office办公软件集合的所有内容),相当于M365下的知识库,通过中间的Copilot能够迅速构建知识库和文档之间的合作关系。这样可以实现,在Windows文档中输入几句话,比如简要概述一下研究报告的核心思想,就可以把报告总结成5页PPT。等它正式上线以后,大家可以体会一下,会急剧提高生产力。

最根本来说,它就是把人不擅长的事情机器化了。我们知道人在面对自己解决不了的问题时,一定要求助于工具,生活中是这样,IT行业也是这样,让人类教会机器来做人类不擅长的事情。我想引用管理学大师德鲁克先生(彼得·德鲁克)的一句话,动荡时代的最大风险不是动荡本身,而是企图以昨天的逻辑来应对动荡。

2
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
ChatGPT Plus是什么?国内如何使用境外信用卡升级到ChatGPT Plus?..
最近,大型语言模型ChatGPT正式推出了收费版ChatGPT Plus,而且已开放部..
ChatGpt接入Word文档,让你秒变职场达人!
今天跟大家分享下我们如何使用vba代码,将ChatGpt接入Word文档,操作非常..
硅谷银行暴雷,OpenAI CEO百万美元救助初创企业,已投超26家公司..
出品 | 搜狐科技作者 | 梁昌均编辑 | 杨锦美国第16大银行硅谷银行(SVB)..
“怪胎”ChatGPT的前世今生,以及未来
编者按自美国时间12月2日上线以来,美国硅谷的初创公司OpenAI推出的ChatG..
微软重磅更新:Windows引入AI助手,ChatGPT默认用必应搜索..
·Copilot不会直接取代Windows 11任务栏上的搜索栏,而是在旁边新设一个..
男性必看!这种聊天,几秒就要“收费”……
深夜11点39分小吴(化名)从自己的卡上转出6000元他的心情久久不能平复没..
GPT4能否破解家电圈3大谣言?全面测评
经过与GPT4几次交涉后,多少有些疲惫,它的“不靠谱”和热度都让我乐此不..
硬核观察 | 硬核观察 #997 OpenAI 用 GPT-4 来解释 GPT-2 的行为..
OpenAI 用 GPT-4 来解释 GPT-2 的行为大语言模型(LLM)像大脑一样,它们..
聊天机器人ChatGPT成唯一热点!概念龙头6天股价翻倍,还能参与吗?..
每经记者:曾子建 每经编辑:赵云投基Z世代,Z哥最实在。今天,北向资金..
关于作者
朴一生(普通会员)
文章
618
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40367 企业收录2981 印章生成216381 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
2
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索