查看“陆奇最新演讲全文实录、完整PPT和视频:大模型带来的新范式”的源代码
←
陆奇最新演讲全文实录、完整PPT和视频:大模型带来的新范式
跳转至:
导航
、
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
{{4}} 原创 [[奇绩创坛]] 奇绩创坛 2023-05-11 22:07 北京 面临一场快速到来的技术变革,比较有效的方法是去剖析:事物的内在结构,它的发展体系;什么是稳定不变的,什么是变化的,新现象是如何形成的。 最近奇绩举办了以《新范式 新时代 新机会》为主题的分享活动,陆奇博士以“新范式”为核心,分享了他对当前技术变革的观点,我们基于他的演讲整理了文字稿,也同步分享完整的PPT和视频,欢迎大家一起交流。 本文基于视频整理的文字和 [[ChatGPT]] 的调整,因此在表达准确性上相对有限,为了更好地理解,我们强烈推荐大家扫描 PPT 右上角二维码观看完整视频,或者点击文章底部“阅读原文”获取完整 PPT 链接和不断校正更新的文字稿。 [[文件:大模型带来的新范式1.jpg]] (分享人:[[陆奇]],奇绩创坛创始人兼 CEO,曾任百度集团总裁兼 COO、微软全球执行副总裁、雅虎执行副总裁等,毕业于卡耐基梅隆大学,获计算机科学博士。) 目录<br> 一、新范式<br> (一)新范式的内在结构、发展体系<br> (二)从数字化产业发展维度看新范式<br> (三)从技术驱动人类发展的维度,看新范式<br> (四)新范式的社会影响<br> (五)新范式的缔造者<br> (六)新范式的动力引擎<br> (七)新范式的演化路径:进化体系新物种<br> 二、新时代<br> (一)产业发展的扩散结构与体系<br> (二)[[OpenAI]]生态快速形成<br> (三)开发堆栈雏形高速发展<br> (四)经济发展格局<br> (五)新产业发展不断加速(海外)<br> (六)新产业发展不断加速(中国)<br> 三、新机会<br> (一)全方位探索把控:“人+事”的机会空间<br> 1. “人+事”的探索框架<br> 2. 机会在哪里<br> (二)“事”的机会空间<br> 1. 事的三个机会版块<br> 2. 完整系统的机会探索体系<br> (三)数字化基础的机会<br> (四)数字化应用的机会<br> 1. 信息知识<br> 2. 内容<br> 3. 游戏<br> 4. 消费|电商<br> 5. 社交|社区<br> 6. 通讯<br> 7. 医疗<br> 8. 教育<br> 9. 开发者<br> 10. 设计师<br> 11. 研究员(科研)<br> 12. OA/办公<br> 13. 营销与客户<br> 14. ERP<br> 15. 生产制造<br> 16. 政府城市<br> (五)改造世界<br> 1. 新能源科技<br> 2. 新生命科技(生命科学)<br> 3. 新材料科技(材料科学)<br> 4. 新空间科技<br> (六)新执行环境<br> (七) “人”的机会空间<br> (八)基础范式的演变<br> 四、奇绩创坛介绍 <br> 正文<br> 一、新范式 <br> (一)新范式的内在结构、发展体系和所需的核心思考维度 <br> [[文件:大模型带来的新范式2.jpg]] <br> 范式通常指的是一种发展模式,它包括观念性的思考框架、以及实践体系和方法论。 <br> 当前,我们正面临一场非常大的技术变革,这是一场范式的变革,它展现出了一个全新的范式。 每次范式变革都带来更多的机遇和挑战,因为它既要改变人们做事的方式,也要改变人们的思考方式。有些变革不一定是范式的改变,而仅仅是发生了新技术的变化,在这种情况下,我们仍然还可以用原有的思路做新的事情。 然而这一次,范式的变革影响更广、更深、更全面,我们必须在改变思考方式的同时,以此改变做事的方法。面对这一新范式,我们主要从以下三个重要的维度来进行分析: 1. 数字化“三位一体”的结构、“三位一体”的终局。 2. 技术如何驱动人类发展的全过程。 3. 它对人、社会和人际关系的影响。 (二)从数字化产业发展维度看新范式 首先,从产业发展的维度来分析,这一次范式的变更带来了哪些影响。 “三位一体”是我们分析这次范式变革所用的稳定的内在结构体系,这一概念基于复杂学理论提出。 在复杂学理论中,我们每个人都是一个复杂体系,一个组织是一个复杂体系,人类社会是复杂体系,数字化系统也是个复杂体系,任何复杂体系都有三个子系统,它包括: 1. 信息子系统(subsystem of information),体系必须从环境中获得信息。 2. 模型子系统(subsystem of model),用模型对信息进行表达。它必须充分有效地表达信息,这种表达方式让它可以做推理、做分析、做规划。 3. 行动子系统(subsystem of action) ,根据推理和规划与环境互动,来达到这个复杂体系的目的。 采用这个三位一体的结构,我们可以非常清晰地分析今天我们所看到的数字化产业发展的拐点,今天新的范式在本质上是怎样一回事。 首先,我们用三种不同的颜色代表数字化的三位一体的三个子系统:绿色代表信息子系统,蓝色代表模型子系统,红色代表行动子系统。 第一个拐点:信息变得无处不在 绿色这条线上有大量的公司,包括 IBM、微软,这里可以看到的是,1995 年至 1996 年间出现了一个大的拐点。这个拐点之后,信息系统呈爆发式增长,诞生了许多伟大的企业,如谷歌、苹果、亚马逊等,世界因此而改变。 为什么会有这个拐点?它背后的机制是什么? 要使产业发生根本性的变革,背后的驱动因素通常是它的成本结构变了,这类成本通常是某一类生产资源的成本,是一种触达我们生活方方面面并且我们都需要用的生产资本。 信息系统的拐点,是信息的生产和获取成本从边际成本转向固定成本。每次使用时的边际成本越来越低,但是一次性投入越来越高,这是一个结构性的变化。 我在卡内基梅隆刚刚毕业时(1995、1996年左右),那个时候买一张地图需要3美元,信息获取成本曾经相当高。在今天,我要找一张地图,网上搜索谷歌地图不到300毫秒,谷歌花费的成本不到1美分,我可以免费获得。而谷歌一年大约花了10亿美元的固定成本才做到此。地图是需要成本的,这个成本没有消失,只不过有一系列的技术降低了获取和分发地图信息的成本,从每次都要付很多,变成(google地图)一次性付很多。 谷歌使得地图可以无处不在,其他大量的信息也无处不在,商业模式简单,伟大的公司却就此诞生了,以谷歌和苹果为代表的移动互联网时代和以亚马逊为代表的云时代,都是一系列可以高度浓缩信息并分发信息的核心技术驱动的。 所以拐点出现的核心原因,是信息的获取成本从边际移向固定成本,使得信息变得无处不在。世界因此而变得扁平。 现在的拐点:模型将无处不在 现在我们看到2022年和2023年这个在蓝色曲线上,由 [[OpenAI]] 和微软引领,以及其他创业公司共同参与创造的拐点。 这个拐点的背后是“模型“的成本发生了类似的结构性变化,即模型成本从边际成本发展为固定成本。这背后的原因是我们有一项新的基础技术出现了,它叫大模型。 为什么模型的结构性成本这么重要? 因为模型就是知识。我们做任何一件事情都需要知识,知识的力量是无穷的,相比于信息时代,模型的产能更强大,发展的速度一定会比过去更快。 另一方面,模型与每个人都有关。从我们的社会互动和社会产业价值角度来讲,我们每个人都由以下三组模型组合而成: 1. 认知模型,我们能听、能看、能说、能思考。 2. 任务模型,我们每个人都能爬楼梯、剥番茄,做各种各样的动作来完成任务。 3. 领域模型,有些人是律师,有些人是医生,有些人是科学家等等,我们人的社会价值都是这些模型体现出来的。 另外,人类社会中每一件事情都由模型来表达和驱动。例如,要运营一家公司需要一组模型,包括战略、营销、研发等等;城市管理,需要一组模型;国家治理,也需要一组模型;每个社会层面需要解决的问题,都是由相应的领域模型、任务模型和人组合完成的。 在大模型技术高速发展的时代,一个重要的趋势是:我们每一个人,除非你有独特的见解、独特的认知、独特的问题解决能力,否则你能做的,大模型都可以做到。 这一次的拐点,它攀升的速度一定会比1995年、1996年还要快。模型将无处不在,知识将无处不在。今天我们打开手机、打开任何一个设备,信息过来了;以后打开任何一个设备,是模型过来了。医生诊断是模型,律师服务是模型,设计师是模型,艺术家是模型,方方面面它都无处不在。 同时,一系列伟大的公司会因此诞生,他们将付出固定成本,他们将发明新的商业模式,最后我们整个产业+变革,产生新的世界。这是这个蓝色拐点所代表的。 这个拐点的发展只是时间问题,而且这个发展的时间会非常非常快,比我们的想象还快。 下一个拐点:行动将无处不在 基于三位一体的结构,我们可以自然地回答下一个拐点是什么,毫无疑问,下个拐点是行动系统。 今天的大模型时代是个生成模型,它能有效地控制操作各种设备;下一个拐点将是机器人、自动驾驶和空间计算的组合为基础。今天采取行动的成本很高,但借助大模型的互动,未来采取行动与环境互动以满足人的需求的成本将会越来越低,行动将无处不在。 要引领下一个拐点,特斯拉目前处在非常优势的地位,因为它在机器人技术、自动驾驶技术、人工智能技术方面的整体布局相当完整。其他公司会不会参与下一波,抢占下一个拐点?我们拭目以待。 未来的可能:数字化技术和人类社会一起共同进化 通过数字化三位一体的结构性分析判断,我们可以看清今天的新范式,它的终局是数字化技术将达到三位一体,与人类社会共同进化,这一共同进化从长期看,将带来真正的智能系统。 真正意义上的智能系统,必须具备四个核心环节: 第一,它能够涌现(应当具备自我组织和自我优化的能力,能够在特定环境中自发地形成和调整结构,而非由某个中心控制器编程或设计) 第二,它有代理能力,能够自主决策(它可以代表用户或实体独立地进行决策和执行任务,而不仅仅是简单地响应外部指令) 第三,它功能可见,有 affordence(Affordence 是一种设计原则,强调让用户直观地理解如何与产品或系统进行交互) 第四,它是具象的(既有形象、直观的表现形式,便于用户理解、感知和操作) (三)从技术驱动人类发展的维度,看新范式 接着,我们看这次范式变更的第二个维度:它在人类以技术驱动社会发展的进程中扮演的多维度的重要角色。 [[文件:大模型带来的新范式3.jpg]] 科学范式进入第四(第五)范式 上图左下角(①科学的范式)表达的是人类无尽地追求知识、能力和财富的过程。这一过程有三大要素: 第一是科学。科学是解释和预测现象。科学发展从第一范式经验主义,到第二范式系统性地做实践,再到第三范式大理论做模拟,第四范式数据驱动,第五范式数据加技术驱动。人类社会进步最根本的生产力是科学的进步,这次的技术变革直接驱动了新一代的科学发展范式。科学高速进入第四的数据驱动、第五的计算驱动即大模型驱动阶段,这是这个新范式对人类发展结构里的第一个根本影响。 第二是技术。技术的本质是人基于科学开发的能力去改变自然现象,用信息转化能源去满足人的需求。 第三是经济。人类的经济发展体系是技术驱动的。技术驱动的社会经济发展到目前为止,只有三种大的模式,这三种模式都是信息和能源的组合决定的,(1)农业社会主要靠光合作用;(2)工业社会靠化石能源加上机械设备、电气设备,电子设备;(3)数字化,用信息越来越有效地转化能源。 数字化范式变更:加速数字化的能源转化 图中右下角,指的是当代技术驱动人类发展的体系。我们现在所处的是第三代,是数字化时代这条蓝色的曲线。 这张图表达了两层含义: 一方面,数字化时代根本意义上是用数字化、可编程的能力更有效地转化能源; 另一方面,数字化是人的延伸,数字化是人自我的认知和能力的延伸。 在这个时代,数字化是核心驱动力。 这次数字化范式的变更,将直接驱动模型和行动体系,加速数字化转化能源的能力。进而,我们可以更有效地去改造世界,满足人的需求。 人类改造世界范式变更:探索进入更远更深更广阔 要改造世界,满足人的需求,有以下几个组成部分: 1. 我们需要能源,要转化能源,要新的可持续的能源,用技术来驱动; 2. 转化能源只有两条通路:一种是用生命体系来转化,另一种是用物理体系转化;相应的,我们在高速发展新生命科学和新材料科学; 3. 能源转化必须要有物理空间,我们在高速发展新空间技术去去创造价值。 整合在一起,我们可以看到的人类在认识世界,改造世界,为我所用的路程,将直接和间接地被今天的新范式进一步驱动。 经济发展范式变更:更多的企业成为科技公司 今天的经济核心生产力,基本还是以设备、劳工、资本、大众商品、原材料、能源等。未来技术将越来越多的成为直接生成力,越来越多的企业将成为科技企业。什么是科技企业? 举一个例子,为什么特斯拉是大家公认的一家科技公司?科技公司与非科技公司的根本区别在于什么? 因为特斯拉用信息、用软件、用人工智能,能源转化效率越来越高,它每设计一个新的车子、每研发一个新的设置、每制造一个新的设备,效益都在越来越高。而老一代汽车企业它的核心生产力,还是以前的流水线、工人、设备等。 本质上,它让“信息更有效地转化能源”,让技术驱动创新成为直接的生产力。 (四)新范式的社会影响 [[文件:大模型带来的新范式4.jpg]] 很多人说这一次的变革堪比工业革命,本质上是有道理的。我们不妨回顾下人类历史的发展: 农业社会:让人可以定居,从此有了“家”的存在 农业社会之前是游牧时代,是人找吃的东西,但我们从农业社会开始,发明了技术:耕种、家畜等。这些技术给人带来了一个重要价值,人可以定居,有家,有固定的发展环境。 工业社会:解放土地对人的束缚,减少大量体力劳动 工业社会对人带来的影响是根本性解放, 第一,它把农业社会中将人绑定在土地上、没有移动自由的情况,转变到人基本上有大量移动自由、可以到别的地方去工作生活的情况。 第二,它也逐步把人从强体力劳动当中解放出来,人基本上不需要走很多的路,不需要扛很重的东西,不需要做大量的重复性劳力工作。机械设备、电器设备、电子设备这些工业时代的早期产品基本上把这些劳力都替代掉了。 工业革命对人的影响是巨大的,一方面解放了土地,另一方面释放出了人的大量体力劳动。 信息时代:随时随地获取信息,减少大量脑力劳动 信息时代让人可以无处不在地获得信息,进一步减少人类的脑力和体力劳动。 经济发展也从产品经济变成服务经济,这个时代的典型职业是码农、设计师、分析师等。 大模型时代:脑力劳动有了替代,人类有了智能伙伴 这一次大模型时代的变革,也将形成新的社会关系。 与工业时代进行类比,工业时代给了我们很多能力,封装成钢材、汽车、火车、设备,我们要用体力做的东西基本上都被替代了。 而这次,我们有一系列的模型,它们也可以封装成各种形式,各种各样的设备,我们脑力要做的事情都都可以让它们来辅助,替代和提高。人的脑力劳动将以形成非常独到的见解和发展独特的认知能力为主。 这个时代的典型职业将是创业者、科学家和艺术家。艺术家和科学家的本质是形成独到的见解,而创业者是把想法变成现实的人 人工智能时代:建立全新价值体系,探索更多未来 我在 YC 研究院和 [[OpenAI]] 下面做了一个项 UBI(通用基本收入:Universal Basic Income) ,它研究的问题就是:当人们不需要为了谋生工作的时候,人们的驱动力和行为将会发生怎样的变化。 我们可以想象的是,全新的价值体系将被建立。由于数字化的能力以及 Web3 的存在,在未来的时代里,信息触手可及、人们自由移动、经济基础改变,由此产生一个问题:人类会不会回到新一代的游牧时代? (五)新范式的缔造者 [[文件:大模型带来的新范式5.jpg]] 范式带来的挑战和机会,就是适应新的思考方法和新的实践体系。 我们如何去更好地把控这个机会? 有一个关键方法,是认真分析研究这个范式的缔造者:看看他们是怎么思考的、怎么实践的。 这一次新范式的到来,不是水到渠成的,它是一个突变。 [[OpenAI]] 为什么能够破局,因为它走了一条反共识的道路。 要了解 [[OpenAI]] 的历史,必须要了解 Sam。我跟 Sam 是在2005年在哈佛大学举办的 YC 成立仪式上认识的,他是 YC 体系思路的继承者和传播者。2014年他接管了 YC,成为 YC 的掌门人。 2016年他联合创建 [[OpenAI]],他和他的团队核心人员代表了新一代特殊的组合能力,代表着可以推动这个范式进一步往前发展的思考体系和执行体系。 [[OpenAI]] 的思考体系 他们的思考体系,有几个重要的特征: 第一,坚信未来,坚信通用智能一定会到来,任何人都挡不住 Sam,他建立打造 [[OpenAI]] 的一切都不会让任何人干预控制;Open 用最快速度实现 AGI。 第二,在技术上,他们相信两个重要的点:一是模型只要足够深,用无监督学习,用数据加上算力,用一个高效的训练体系,就能无止境地探索通用智能;二是强化学习或者增强学习,这跟进化在本质上相关,是模型能为人所用的核心。 他们坚信这两点。早期做了大量强化学习方面的探索,等到他们强化学习已经有一定基础之后,就立马把所有精力和资源聚焦在无监督学习上。 [[OpenAI]] 的执行体系 新的能力:在团队能力上,他们坚信新一代的组织既要做前沿科研,又要做基础工程研发,还要开发平台和产品及商业化。[[OpenAI]] 所代表的是全新的组织、全新新的能力,他们所做的一切是要既能做科研、又能写代码、又能做产品,这些能力是分不开的。 新的组织:有一个重要关键要素是它需要融到大量的资本,长期要回归社会,而且在实体结构上实现任何投资者都不能影响你追求的目标。 [[OpenAI]] 不是一家公司,也不是合伙制,它是一种崭新的新型组织。从长期来看,[[OpenAI]] 的盈利结束之后,它所产生的一切都是社会公有的,它的顶层阶段是一个 Nonprofit 。这是经过深思熟虑之后,非常有勇气坚持着一步步追求他们走的路径,才能造成迄今7年后的突破。 Open AI 的技术发展路径 GPT1 是重要的第一步,预训练大模型,核心是通过自然语言处理和解决问题。 自然语言处理通常包含多个任务,传统做法是每个任务去训练一个模型。[[OpenAI]] 不这样做,他们预训练一个大的模型,但是预训练的结果要和单独做模型一样好,甚至更好。GPT1 就做这个,做一次预训练,就能达到在多个自然语言任务上使用的目标,GPT1 的效果比单独针对具体任务训练的模型还要好。 GPT2 是迁移,在预训练之后做微调, 可以把预训练中学到的东西,通过微调迁移到新的下游任务模型中。 GPT3 是非常核心的一步,实现很强的泛化能力。 在少样本和0样本情况下,GPT3 展现出强大的泛化能力,尤其是通过场景下学习(In-context-learning)和给定提示解决问题,无需微调。 Dalle-E,启动图像模态。 Codex:为编程语言微调,引入模型重要的逻辑能力和长期用AI来开发AI的路径。 GPT3.5 实现了根本性突破,引入了指令微调。 人可以去写指令,开启了能让模型全方位对齐的开发能力;它先用了代码的指令Codex,而真正在产品上突破的是对话指令,就是让它去学会人是怎么对话的,进而诞生了 [[ChatGPT]]。这是人类历史上从来没有发生过的成就:短短两个月内,内达到一亿活跃用户,用的人还越来越多,有很多愿意付费,这在历史上前所未有。 GPT4 实现了了完整的工程研发体系。 GPT4 之后,如 [[ChatGPT]]、plugin 等将全面建立产业生态。 从 [[OpenAI]] 的发展中我们可以看到:一个团队如果是在运用新的范式下的核心思考和实现体系,他们创新的能力将有多大? 因此,在这个时代,深度解读 [[OpenAI]] 的成长历史,了解他们的思考实践体系,对我们来说是有很大的意义的。 (六)新范式的动力引擎 [[文件:大模型带来的新范式6.jpg]] GPT模型体系,驱动新范式的动力引擎 在这个范式的背后,有组核心技术,一个动力引擎在驱动着这个范式的进展。 引擎的内核是驱动的源泉,它在本质上就是 GPT 模型体系。 GPT 是个模型系统,这个大模型像一个黑洞一样,把所有的模型都吸进这个引擎里面去了。 1. 它能够高效地压缩表达所有的人类关于世界的知识,尤其是文字或者其他模态,比如图片、视频。 GPT 为什么能够进行高效压缩?这里面有两个点: 要压缩信息,尤其是高效压缩信息,你必须要有知识,必须要理解世界,否则无法压缩信息,只能存储信息。 一个高度压缩的信息集,能同时用来解决多种任务,在根本意义上它就是知识,知识没有其他更好的定义。知识就是高度压缩的信息,一种信息的表达,可以用来解决多种问题,它的信息表达是非常紧凑的。 2. 能持续提高泛化能力(涌现,子概念空间等) 它能涌现。涌现是什么? 在相同的模型架构下,通过增加参数、[[Token]]或者延长训练时间,模型解决任务的能力会不断演进。例如,常识推理能力、算术能力以及针对特定任务的解决能力都会逐渐显现。在GPT模型不断提升规模的过程中,涌现现象持续发生,关于涌现的科研论文目前也非常活跃。 模型的泛化能力至关重要;少样本泛化和零样本泛化(如从一个例子中推断其他情况,甚至在没有看过的情况下也能明白其中原理)。仅仅在概念层面进行泛化是不够的。GPT 的泛化能力主要体现在潜在概念(latent concept)和子概念(subconcept)这个层面,并且其泛化能力在不断增强。 3. 推理能力不断的增强和被探索出来 人类基本上拥有六、七种主要的推理能力,包括演绎、知识归纳、常识等。在GPT大模型中,这些推理能力会不断地通过诸如思维链(Chain of Thought)这样的提示展现出来。 4. 更有效更可延伸的对齐(自然语言,价值等) GPT 模型已经帮助我们将世界上的大量信息(知识)进行了压缩,而我们使用它的过程就是实现对齐。 [[OpenAI]] 的 GPT 模型在对齐任务方面取得了显著的成果。其突破性表现和增强学习方法在对齐方面表现突出,如自然语言理解和价值观的对齐。 潜空间对齐:首先,对齐任务需要与人类潜空间保持一致。通过图表、编程语言或自然语言使用大模型,都是实现对齐的手段。潜空间对齐本质上涉及到大量的权重调整。 价值观对齐:此外,为了善用大模型,还需要在价值观方面达到对齐,确保使用它不会对社会造成负面影响。目前,GPT 尚未达到主流社会可接受的价值观水平,因此 [[OpenAI]] 需要进行大量的价值观对齐工作。 5. 能足够并持续地充分利用更多有效算力 尤其是 Transformer,实际上它的模型架构并不是最理想的。虽然能利用算力,但效率并不是特别高。模型过于密集,对算力和通信带宽的要求很高。尽管如此,至少今天主流的算力还是可以被充分利用起来,从而带来更大规模的模型和更多的涌现。 6. 能用好充足的 [[Token]]/模态和有效的 [[Token]] 化 目前我们的模型基本上能够充分且有效地利用人类知识所能触及的主要模态,如语言、图像、视频等。这些模态都可以很好地被转化为 [[Token]],而经过 [[Token]] 化后,它们可以高效地融入到大型模型中。 7. 能有效地参数扩展:小型化,本地化 模型在不断地高效扩展,包括参数增加、(模型)层次加深以及在进行推理时实现更好的平衡。模型可以实现小型化和本地化,通过各种架构优化,在数字设备端(如物联网设备)上进行使用。 8. 能有效地扩展任务领域和专业知识 模型具备系统性的扩展能力,可以与符号求解器、工具接口和专业知识相结合。这些集成在一起,使得模型具备足够的驱动力。 将这些能力相互叠加,我们看到了一个具备坚实基础、高操作性和强大扩展性的模型体系。它是这个时代背后的强大推动力,引领模型从边际成本走向固定成本。 引擎发展当下的四个要点: 1. 核心维度过了拐点,全方位攀升 第一,它几乎封装了全世界所有的知识。 第二,它内嵌了足够的学习能力和推理能力。本质上所代表的是一个今天的斯坦福高材生,几乎什么学科都懂,什么考试都可以考到前5% 。而且它学习速度非常快,不会累,可以永远不断地思考,有大量的算力可以用。它还自然语言界面,每个人都能用,每个人都能够得到价值。它的能力越来越强,能解决的任务越来越多。并且,它的成本在变得越来越低。 显然,这个引擎在核心维度,已经过了拐点,并且在全方位地加速攀升。 2. 自然语言(NL)是突破的关键 通向通用智能,[[OpenAI]] 走了一条反共识的道路。 在 [[OpenAI]] 之外,特别是四、五年前,几乎所有人都认为通用智能的发展路径与动物智能相一致。动物智能向通用智能演变的过程是先从视觉开始,通过视觉识别目标、学会推理,然后逐步形成符号,再发展为语言(先有口语,后有书面语言),最终形成像人类一样的完整知识体系。 然而,[[OpenAI]] 采用了相反的做法,它不是从视觉开始,而是从语言出发,去构建通用模型能力。 在我看来,语言是一个特殊的潜在认知空间,是人类与物理世界之间最宽泛、最重要的桥梁。从根本上讲,它更多是一种泛化和思考工具,而沟通只是副产品。没有语言,我们无法实现零样本泛化,而这种泛化能力正是最关键的。 在自然语言处理领域,我参与搜索引擎相关工作已有20多年,我认为历史上一直存在一个误区。传统自然语言处理方法的缺乏可行性,因为系统需要首先分析句子的各个成分,分析它是一个动词、名词或形容词等,但问题关键在于,这个词代表什么,是一部电影还是一个游乐场,这是需要以知识的理解和获取为基础的。因此,如果没有全球范围内的知识,从根本上无法处理语言。 [[OpenAI]] 采用了一种新方法。它利用 GPT 封装了世界上绝大多数知识,以此为基础,先构建一个知识引擎,再通过对话进行调试,从而实现自然语言处理。 这与过去十几年采用的方法截然相反。有了知识,它不仅能处理语言,还可以利用知识约束语言解释的空间。这种变化在某种意义上是从知识开始理解语言,而非在理解语言后获取知识。 自然语言处理现已突破了门槛,开辟了一种全新的人与数字世界的交互方式,为我们带来了一种有效且适用于任何场景的交互工具。 3. 可见和可持续的技术发展(右上角) 右上角是关于这个引擎如何持续地将范式向前推进。 在向前推进的过程中,需要新技术、新科研成果、新的工程实践和新资源。我们能看到很多工作都在进行。 首先,在模型方面,需要解决模型的鲁棒性、模型稀疏化、扩展注意力宽度,甚至形成注意力循环等。 同时,需要更强的推理能力、更多的涌现、更强的潜在概念和子概念泛化,融合和统一符号运算与重叠向量堆叠体系,以及因果关系推理等。 其次,需进一步对齐,包括价值观对齐和拓展更多潜在空间。 同时,还需要研究更多模态,特别是跨模态的图像和视频。跨模态推理(从视觉模态学习推理,将其扩展到语言模态),语言模态中学到的泛化能力,无论是零样本、多样本还是少样本,都可以扩展到图像模态。 最后,覆盖更多领域和应用,提高模型的扩展性和适应性,加强工程实践。基础算力、通信系统、设施工具等方面的研究也在快速推进。 综合起来,这个引擎的能力将越来越强大。 4. 发展飞轮雏形启动 这个动力引擎,它的增长飞轮已经形成雏形。 资本已经开始大量投入,商业模式盈利也已经具备初步的可行性,政府和产业界已经投入大量的算力,新的平台、新的应用、新的商业模式开始大量出现,越来越多初创公司和大厂参与的生态开始形成。每个人的生产力都在提高,它的安全问题、社会认可度也都在被积极的解决。 (七)新范式的演化路径:进化体系新物种 [[文件:大模型带来的新范式7.jpg]] 范式的变化,意味着思考与实践体系的变化。 大模型为人类技术发展开辟了新篇章,是技术世界中的全新物种。 技术的本质和内在规律:进化 著名作者,复杂学体系大师 W.Brian Arthur 写过一本书叫《技术的本质》。 书中主要的观点,是技术发展具有进化性,它的进化与达尔文进化理论非常类似,同样涉及结构、功能组合和选择,会朝着更符合人类需求更多的方向发展。 达尔文的进化选择,在于生存能力更强,对环境变化反应能力更强的才能生存,即适者生存。从某种程度上来说,进化并不意味着越来越强,而是变得越来越适应。而技术的进化是向人类需求多的方向做选择的。 大模型的进化方向:更好地满足人类的发展需求 大模型的发展方向,呈现出类似达尔文进化论的进化特点,即满足人类不断变化的需求。 大模型有很多基础模型,有不同的基础模态,比如蛋白、核酸、空间等不同模态;在大模型的基础之上,会演化出更多的模型,领域模型、工作模型、个人模型,它们都将会具有更强的记忆、推理等能力。 关注大模型时代,有2种模型系统,是我思考比较多的: 第一种是机器学习的模型(目前以系统1为主),今天大模型世界做推理的基础,基本上以系统1为主。相当于人类思考方式中的快思考、直觉反应。可以解决生活中方方面面的问题。 它是过程性的、可计算的、具有场景化的特点,当场景发生变化时,模型也会相应地调整,具有很强的可扩展性和易用性。优点是,它能够在特定的场景中进行对齐和泛化,但可能在其他领域并不适用。 第二种是人类建立的模型(基本以系统2为主),人建立的模型,它是基于人类专业知识建立的模型,相当于思考方式中的慢思考、逻辑推理,包括了像爱因斯坦理论和牛顿理论这样的科学理论、符号、结构、知识图谱和数学公式等。 这类模型的优点是,在专业领域具有很强的泛化能力,因为它们是基于专业知识和理论构建的。 然而,它与我们生活的方方面面联系很少,无法直接解释一些日常现象,例如树叶的形状、猫咪的颜色等。 我们真正的需求,是这两种模型之间的组合。当遇到一些关键问题,需要通过系统化方法进行逻辑分析、推理和严谨论证;同时,我们也有大量需求,并不需要进行深入分析,只需要直观快速反应。 当大模型和人类建立的模型结合起来,就能更好地解决人们的需求和问题。我们看到的发展趋势是,系统1和系统2已经有越来越多的整合,朝着更好的满足人类需求的方向演进。 大模型的进化类比:进化树和寒武纪 PPT 中右上角这张图,展示了可开源的大模型的进化树。借助这个初步的进化树,可以追溯到模型的源头、观察模型的能力,以及预测模型的未来发展。 可以看到,进化已经发生,一代代的模型在演变。 模型的生态,在某种程度上与我们的生物体系非常相似,如果关注学术论文和GitHub,就会发现这个新物种刚刚诞生,几乎每天都有新的演化出来的模型,大量新的子物种在不断涌现。 就像生物界的“寒武纪”时代:大量物种开始出现,开启新的纪元。 二、新时代 (一)产业发展的扩散结构与体系 [[文件:大模型带来的新范式8.jpg]] 技术创新推动人类进步、社会发展、产业发展等,通常遵循一系列稳定的扩散范式。 在这次变革中,由于新范式的特性,它对产业发展的扩散结构与体系,发生了深刻的、多方面的变化。 为了更深入地理解这次变革,我们将从以下三个层面,来解析产业发展的扩散结构与体系,并讨论这些变化如何在地理、社会、经济等层面上进行分布扩散:目的是通过这种分析能帮助我们全方位地探索和把控好机会。 1. 扩散源头:变革的驱动力,包括组织形态、科研方式、商业应用; 2. 扩散过程:发展周期与阶段、适用的理论模型; 3. 影响范围:国家、个人、创业公司等。 扩散源头:从传统的独立组织形态,转变为融产学研为一体的高效生态 本质上,是 [[OpenAI]] 这样的团队在推动本次的创新。要实现从源头、在前沿的扩散,需要同时具备以下三个条件: 1. 具备自主前沿原创性科研的能力,通过科研解决核心算法的完全原创性的问题; 2. 进行大量系统研发和工程开发,能迅速将科研成果以高质量代码的形式实现; 3. 具备开发技术平台、研发产品、推进商业化的能力,以形成产业生态系统,进一步驱动1中所描述的科研。 这三点,正是 [[OpenAI]] 为代表的新型组织所实现的。组织形态上,[[OpenAI]] 同时涵盖了以上三个领域,集产学研于一体。 还有一点不同的是,在过去的扩散过程中,政府一般都是后来才参与进来的,但这一次,政府很早就进来参与了。因为这个范式变更的特殊性,需要政府更早更有效的参与。 扩散范围:北美中国为主,深入个人 从全球范围来看,这次扩散以北美为主,中国紧随其后。以前的技术创新扩散,都是在北美扩散到了一定成熟度之后,再复制到其他地域,这一次,中国在快速追赶的同时,也将经历早期适合中国国情的扩散过程。 与此同时,这次技术创新的影响范围会深入到个人层面。 AI 工具帮助单个创业者或小型团队提高产能、创造价值。一些产品不再需要雇人,AI 可以进行替代。像设计者、码农、科学家、企业家、创业者,有许多都在用 Copilot 等工具提升个人产能。 而这次创新,带来的是提升人类认知能力的工具。它会进一步拉开人与人之间的距离:那些聪明、勤奋、努力,并且学会用这个工具的人,将快速超过原来同一水平、但不使用这类工具的人。 扩散过程:不是创新技术的发展,而是技术驱动社会经济的转变 在前文中,我们提到有些变革可能并未涉及范式的改变,而只是与新技术的出现有关。描述新技术生命周期时,人们常用的经典理论是 The Hype Cycle。然而,在这次变革中,我们认为它是一次彻底的范式改变,影响着整个社会和经济的长期发展,这种情况下,Carlota Perez 的 Techno-Economic Paradigms(技术经济范式)理论更为适用。 根据 Carlota Perez 的理论,若有一项技术,如冶金、高速公路、汽车等,能够影响每个人和整个社会,它的发展将以80年为周期,分为四个阶段:爆发阶段、狂热阶段、协同阶段和成熟阶段。 大模型时代目前还处于早期阶段,经过高速增长之后,泡沫破裂将是必然现象。 然而,在泡沫破裂之后,新的黎明将降临。届时,新一代更强大的企业将从破碎的泡沫中崛起,占据产业制高点,开创一个崭新的时代。 (二)[[OpenAI]] 生态快速形成 [[文件:大模型带来的新范式9.jpg]] 这一次的产业发展的格局跑在最前面的,起关键作用的是新一代的数字化产业,它的生态是由 [[OpenAI]] 来驱动的。 它的生态呈现了以下几个特点:(1)生态结构迅速形成,且高速发展;(2)生态结构类似过去的数字化平台,它包括前台和后台。 [[OpenAI]] 的后台 后台是 GPT-N 系列,目前为 GPT-4,未来将有 GPT-5、GPT-6 等。 它内部有大模型引擎,封装了丰富的知识推理规划能力,具有较强的开发和扩展性。[[OpenAI]] 提供 Foundry 和 PlayGround 等,包含 API 和简洁的收费模式。同时,许多第三方基于 [[OpenAI]] 后端开发服务和应用。 [[OpenAI]]的前台 前台是 [[ChatGPT]]。 [[ChatGPT]] 提供完整的用户体验,适用于所有人,解决各类问题。这是人类历史上首个真正实用的自然语言处理工具,具有足够的灵活性和内置知识。 它的前台具有生态扩展性,即“[[ChatGPT]] 插件 ”,[[OpenAI]] 已经开发了多个插件,如 Code、interpret 等,具备成为未来“杀手级”应用的潜力。大量第三方将使用插件开发前端应用。 在 [[OpenAI]] 平台之上,已经出现早期产业活跃发展,形成了一些初步的热门领域。 (三)开发堆栈雏形高速发展 [[文件:大模型带来的新范式10.jpg]] 这次新范式的产业扩散,开发者堆栈技术发展和开发者生态的形成,至关重要,历史上的生态发展一直是“得开发者得天下”。开发者工具、界面、开发者生态,永远是“兵家必争之地”。毫无疑问,[[OpenAI]]、微软都意识到了开发堆栈的重要性。 这也是我们十分关注的关键点,几乎每天都有大量新技术新服务,几乎每周都要重要的开发框架和工具出现。 以下我们分几个大板块来描述这方面的创新进展。 首先,我们把这一页分成两大板块:左边是模型开发;右边是应用开发。 我们先讲模型开发,它分为几个大模块: 关于大模型本身的开发,目前开发体系已初步成型,但通常以大模型团队的自主研发为主。首先,我们需要一个强大且全新的数据开发栈,包括语料、标注、管道等;其次,是模型开发栈,包括参数、[[Token]] 以及架构优化等;第三,是集群管理的基础设施,如 RDMA 和 HPC 或基于以太网的 RoCE;第四,是训练系统及各种优化能力;第五,是对齐体系、指令调试能力以及 RLHF 等;第六,是评估系统;第七,是系统化的工程开发;第八,是一个能够根据业务发展需求和成本结构,系统性地开发大模型的方案。 关于垂直和领域模型的开发。目前能够使用的工具包括 Hugging Face,及创业公司 Lamini 等,功能包括模型指令调整、微调、蒸馏、提示等。近期基于开源模型的 PEFT(参数有效的微调)非常活跃。自有数据和开发工具同样重要。虽然还没有成熟体系支持专用模型开发,但这个的需求将会越来越强。尤其是基于扩散模型的,像 Stability、LoRa、 ControlNet,都是用来可以开发类似 Midjourney 这种以图片和视频内容生成为主的模型。 轻量的模型,体量小、算力要求低,适用于端侧设备,如手机、智能音箱和未来的 lOT 设备上。尽管已经有许多相关的研究和工作,但距离形成成熟的开发模式,还有一定的距离。然而,轻量模型的开发对未来产业发展至关重要。在轻量模型的优化方法上,有知识蒸馏、数据蒸馏、结构优化和量化压缩等,还需要大量的研发工作。 开源模型开发,这对降低创新门槛,产业能健康发展有很重要意义;目前许多开源体系已经取得了良好成果,比如 LLaMa 体系、Databrick 的Dolly、MosaicAI 的。 我们接下来讲“应用开发”(上页 PPT 的右边), 这里也分几个大的板块: 关于快速形成的“开发的工具和工具链”(PPT 右边上半部分): 主流开发工具和工具链。这里发展非常迅速,有大量的机会;比如 Embedding 的外存等 扩展开发工具和方法和工具。这里有空前的机会,即让每个人都能用自然语言开发编程,可以用自己的抽象,自己的知识结构,推理,规划,执行等;每天都有大量的创新探索。 关于开发对象(PPT 右边下半部分),具体是开发的运行时和其他资源: 第一,后台服务端,目前主要都是以 [[OpenAI]] 和 Azure 为先导;Amazon 也很快进入战场; 第二,在前台,目前是以 Web 端为主,比如 Vercel Chrome;但是移动端目前没有动静,在 iOS 上,苹果还没出台他们的产品方案,在Anroid 上,谷歌目前忙于应付 Bing 的挑战;长期移动端和 IOT 端将有很多机会; 第三,开发生态的关键资源,如课程、书籍等。 (四)经济发展格局 [[文件:大模型带来的新范式11.jpg]] 全面强劲的经济发展驱动力 在此次经济发展格局中,早期的上升速度将非常迅猛,发展动力也将格外强大,这与以往的情况截然不同。 那么,为什么它的攀升速度如此之快,发展力度如此之强呢? 关键在于,这一次变革所触及的生产力正是“知识”。作为生产要素中至关重要的部分,知识的潜能是无限的。 在大模型时代,知识这一生产力得到了系统性的改变: 首先,新范式普遍降低了各类知识的成本。 其次,新范式提升了知识的应用能力,尤其是在知识密集型行业,如医疗领域、科研领域等。医生、护士等专业岗位都受到专业模型的帮助,不仅成本可以降低,相关产业的生产力还会极大地提升。 再者,新范式缩短了产生知识的迭代周期。 将以上三个要素综合考虑,新范式驱动的经济发展将呈现前所未有的速度和力度。 对职业的结构性影响 它将影响人类的每一个职业,因为人类的每一个职业,本质上都是模型的组合。 可以预测的是,每一个职业的人,都会开始用“副驾驶员(Copilot)”,当副驾驶员能力越来越强,它会变成“正驾驶员(Autopilot)”,再接着,我们都将会有一个 “驾驶团队 (Copilot team)”。 无论我们到哪儿,都有各类“驾驶员”跟着我们走。 人们之间的合作,变成人与人之间、人们的“驾驶员”之间的协作。新的职业会出现,人们的工作岗位也会随之发生变化。 更强大更活跃的数字化产业 在这次变革中,处于前沿的将是下一代数字化产业。 数字化作为人类活动的延伸,新的商业价值创造必然从数字化产业开始。 我们将拥有全新的核心技术堆栈、新的平台、新的基础设施、新的算力体系、新的通讯体系以及新的产品开发体系。以大模型为核心,整个数字化产业将全面升级和刷新,迅速迈入下一个发展阶段。 新的领军者和落伍者将很快浮现出来。 各个行业系统性的变迁 新的数字化产业,会让每个行业都根据这个行业的特性做出结构性的调整和转型。 假如你是一个公司的 CEO,可以对比人工和模型的成本,用大模型技术做系统性的重构和调优,把成本降低,把产能提高。 值得注意的是,现在 GPT 是基础设施,随着它从边际成本转移到固定成本,可以从成本的变化,看看这个产业怎么变。 同时,有的行业供需在发生变化,比如软件的需求,受到码农供给的影响,如果关注大模型时代对码农的产出提高多少倍,就可以借助它预测这个行业的结构性变革将从哪个方向发展,以及以什么样的速度来发展。 对市场和社会的长期影响 它深刻地影响了人类社会最基本的生产力:人。 教育领域将经历根本性的变革;人力资源的发展和配置也将改变并加速;作为人类首要驱动力的科研领域也将受到本质性的影响,因为它将引发科研的新范式;社会组织和信息传播同样会受到影响;政府与社会监管方式也将随之改变。 政府的更多参与 政府的参与更早、更活跃、维度更多。从 [[OpenAI]] 的发展上,能看到政府极早地从多个维度参与了其中,如监管、安全、数据隐私、社会稳定等。究其原因,是因为这次变革,从根本性上影响了生产力和生产关系。 在早期,尤其需要社会产业和政府做更多的互动,扶持和引导基础设施进入全球性的发展。 (五)新产业发展不断加速(海外) [[文件:大模型带来的新范式12.jpg]] 图中展示了近5个月内我们关注到的新代码、新技术、新论文、新产品和新投资,我们做了简单的计算和统计,并将曲线绘制出来(如图)。 首先是论文数量,对于这次新产业的发展,关注论文是必要条件。同时,我们还需关注产品、资本投入和应用案例等方面。 我们仍在不断思考和探索哪些指标可以更敏锐地反映发展趋势、发展速度和发展信号。从根本上讲,这次范式扩散的宽度、广度和力度是我们过去从未经历过的。为了跟上时代步伐,我们需要不同的思维方式。 (六)新产业发展不断加速(中国) [[文件:大模型带来的新范式13.jpg]] 图1 [[文件:大模型带来的新范式14.jpg]] 图2 关于中国,我们现在的活跃度越来越高,我们在追赶,但是整体数量跟国外比还是有相当大的差距。 图2标了红色框的是一个重要的点,“奋起直追的团队”,有商汤、王慧文、李开复、阿里、百度等等,汇总在一起,能反映出中国产业发展快速攀升、不断加速的状态。 中国发展机会 在大模型时代,有一个特殊的现象:真正能做大模型的,全球范围内,只有两个国家和地区具备这个产业核心的能力,北美和中国。 要实现这个目标,需要足够大的人才、资本、技术和市场规模及密度,中国和美国是全球唯二的有机会的地方,长期机会非常大,但是今天,我们必须是奋起直追。 全球唯二,奋起直追 中国大模型追赶有三大环节: 第一是打造基础模型,是攀升至 GPT3.5。 这里每个团队需要自建一个模型开发体系,包括算力、语料、数据、评估等开源工具和系统;同时这个团队还有打造基础设施,尤其是将几千张和几万张卡连在一起的网络算力,如基于RDMA(直接访问GPU内存)和RoCE(基于 InfiniBand 的网络无法将数万张卡连在一起);关键是能持续稳定的攀升GPT3.5,我们认为谁先达到 GPT3.5,谁将能进入第一梯队。 第二是要打造模型产业化的能力。 攀升至 GPT 3.5 水平后,要开发产业化能力,这里主要是具备足够的指令调优和对齐研发的能力。需要对代码做指令调试,它是提高模型逻辑能力和团队用 AI 来开发的关键;在对齐上,要基于 RLHF (Reinforcement Learning from Human Feedback)正向学习,结合人类反馈与自然语言对话对齐,与人的价值观对齐。有了这些,就具备了中国的 [[ChatGPT]] 的能力 第三是平台开发和生态建立。 后台打造 API 等相对来说比较直接;前台需要开发推广 [[ChatGPT]] 和 plugin 等;早期可以用简单的商业模型搭建起来,这就足以成为未来的平台和生态的制高点。 总结一下,打造基础模型、模型产业化能力和平台及生态开发推广能力,是早期中国攀升 GPT 3.5核心要素。 算力资源竞赛 中国目前在追赶 GPT3.5的团队约有10个左右,算力将在未来赢家和产业发展格局的形成中起到关键作用。年底前看谁能到达3.5,能拥有或持续获取算力是非常重要的。 我们所了解到的预估,是中国约有20万张 A100卡。今天国际头部大模型团队可能需要用1万张 H100(约10万A100)。而目前的算力情况来看,国内未来能有这样资源体量的团队可能不超过2个。 产业发展,齐头并进 第一,在追赶的过程当中,资本投入和创业公司将扮演一个重要的角色,目前已经有多个拥有足够实力和资金储备的团队。早期挑战很大,长期发展机会非常强。 第二,中国的大厂百度、阿里、腾讯等都投入了足够的研发能力和开发资源,一起参与打造 GPT,大厂在追赶期是有一定优势的,比如资源等。 第三,中国在追赶的过程中有额外的挑战,我们在算力方面有大量的工作要做,要补齐在算力上的限制,比如在算法和数据方面探索更多的潜力,在产业发展上,虽然算力是一个短期的挑战,但是中长期的机会就是中国自己做算力了。 在中国做这个产业发展有更多的两个不确定性,一个不确定性是算力的不确定性,但长期是个机会;另外是软件栈的不确定性,这也是中国自建的一个机会。 第四,中国的产业发展有越来越多国际化的机会,因为其他国家和地区是没有能力独立去自研的,比如东南亚、阿拉伯世界、非洲、南美,甚至于欧洲等等,中国的大模型都有能力去触达它。 最后,中国的应用生态在中期和长期的发展空间是相当宽广的,早期已经有很多中国的创业公司和大厂开始在准备开发基于大模型的应用。在国际化层面,中国的创业者在早期也有去北美的机会,尤其是做相对来讲敏感度不是很强的,比如企业应用客服等,这些中国的创业者都有更宽的机会,既可以在中国做,也可以在美国做,或者是在其他国家做。 全球化的创业机会 每个人都会有 Copilot,每个人都会有 auto pilot,每个人长期下来都会有副驾驶员的团队,人类的组织形式也会因此发生相应变化。综合在一起,每个职业的产能都将极大地提高。 [[OpenAI]] 分析,19%的劳动力将会被 GPT 影响至少50%。高盛研究,全球范围3亿人的工作将被AI自动化,80%的美国劳动力会被GPT影响至少10%。 基于对一些创业公司使用大模型的初步调研,我们发现,其中超过77%的公司使用的是 [[OpenAI]] 的接口(其中GPT4占21%, GPT3.5占46%);基于开源模型自研和使用 Stable Diffusion 的公司,各占3%。 国家引导 由于大模型的技术和它产业发展的本质,需要规模大和时间周期长的投入和布局。在基础设施层面,国家有机会起更大的作用,做出更多政策上面的引导。 尤其在一些特定领域,中国有弯道超车的机会,比如说在医疗、生命科学、数字城市这些赛道,用大模型来驱动创新,中国有独特的优势。 同时由于大模型对产业和社会的特殊影响,国家也会做出多个维度的监管治理。 社会影响 大模型对生产关系和社会关系有本质性的长期的影响。 首先对于教育而言,社会影响跟国外一样大。教育非常重要,过去在全球竞争格局当中,中国的学生体量大,中国的码农多,中国学科学的人多。但是有了大模型之后,这个局面被改变了,给我们带来了全新挑战。但是,挑战的另一面就是机会。中国未来的教育怎么发展?值得思考。 另外是对科研的影响,尤其是产学研更有效的结构性组合,让中国在科学发展基础上有更多的加速创新机会。未来的科研格局里我们有新的机会,第四范式、第五范式是数据和计算驱动的,产学研在中国有重新组合的机会。 最后是关于文化和文明,这跟语言和文化的底蕴有关。大模型代表了每个国家的基本文明,这一次大模型为先的创新,有机会在这个方面更进一步地做适合中国传统和文明的一个创新。 三、新机会:系统性、全方位的如何探索和把控我们的机会 (一)全方位探索把控:“人+事”的机会空间 [[文件:大模型带来的新范式15.jpg]] 1. “人+事”的探索框架 我们提出的框架主要针对创业公司,但对于任何组织和企业而言,只要是在有组织的去追求某个目标,它在结构本质上和创业公司都是一样的。因此,不仅是创业公司团队,其他相关人员也可以将这个框架应用于自己所做的企业、自己做的事情,从中获得有助于探索大模型时代的启示。不管你是从事什么行业,都可以在这个框架当中得到相应的经验收获。 对于创业公司,它的发展基本上都是创始人团队早期带来的核心能力、心力和愿力的组合。随后的发展通过增加人才、组织机构和文化价值观,作为有机纽带逐步增强组织活力。人基本上也都是这样的体系。 在事务体系方面,基本上对任何一个创业公司来说,都是系统性的打造能力去实现价值的一个过程。能力方面,包括开发技术的能力、开发产品的能力、满足用户需求的能力、获得商业价值的能力、触达更多用户客户增长的能力、在资本生态吸取养分的能力、融资的能力,任何企业都是能力的组合。 有了这种能力之后,你才在你的价值空间当中去实现价值。我们一般都是用这个简单的管理框架,你今天做的产品和业务是碗里的,跟你今天做的有连带关系的产品和业务是锅里的,而田里的是未来通过公司的内心可以跨界探索的更多价值空间。 2. 机会在哪里 新时代对人的机会在哪里?对事务的机会又在哪里?接下来是系统的拆解: 第一,强烈建议不要盲目追逐热点,浮躁可能导致不利后果。尤其值得强调的是,这次追逐热点的代价可能更高,因为它涉及范式转变,需要改变思考方式和执行方式。如果盲目追逐热点,可能会付出巨大代价,其中包括机会成本。 第二,要勤于学习。这次技术变革相对复杂,建议大家阅读必要的论文。仅仅依赖别人的解读可能无法深入理解,必须花时间去深入研究关键论文,克服惯性思维。有一本书叫《科学发展的范式》,值得大家一看。一般大的范式,过去没法克服惯性思维,包括深度学习,因为这是不同的思考体系,所以一定要尽量克服惯性思维。 第三,一定要深度思考。务必认真思考这次技术变革对人和事务方面的影响,没有人能够避开这一挑战。 第四,必须采取行动导向。一旦理清思路,要立即采取行动。这次技术变革不进则退,涉及结构性改变,需要及时调整。在人际关系方面,这次技术变革可能会拉大人与人之间的距离,所以一旦想明白,要果断采取行动,不然你很快掉队。本来你跟你后面的人、前面的人可能距离不大,但一不小心你可能被甩得很后面,或者你有机会远远超过今天和你跑在差不多一条线上的人。 (二)“事”的机会空间 [[文件:大模型带来的新范式16.jpg]] 事情方面,基于这次范式变更的本质,对于创业公司和企业,基本上可以通过三个维度去探索机会: 第一,在产品和业务层面去探索机会; 第二,你所在的产业是不是有根本性的变革,在产业变革的过程当中去探索更大的机会,你可能面临换个生意的选择,在价值链上占一个不同的价值点; 第三,你所在的产业的研发体系、是不是彻底变革了。由于产业的研发体系会在有效环节发生大变化,大量的变化是找到全新的、由于研发体系变更而带来的机会,有可能就得彻底换一个新的赛道,或者是在同一赛道里面用完全不同的方法去做产品。 1. 事的三个机会版块(数字化基础、数字化应用、改造世界) 人基本上就是在认识世界,改造世界。人是减熵的物种,我们用数字化来延伸自己。数字化产业一直在驱动着这个阶段人类的进步。 我们给大家一个系统性的框架,我们从数字化基础、数字化应用、改造世界,这三个机会版块,进行完整的、系统性的机会探索体系。 2. 完整系统的机会探索体系 [[文件:大模型带来的新范式17.jpg]] [[文件:大模型带来的新范式18.jpg]] 数字化发展基础 数字化发展基础永远是平台驱动的,像移动互联网/云、人工智能/边缘计算、新兴平台等。 数字化的应用 我们将人群分为“消费者”、“创作者”、“企业”三个类别,把它分成一格一格的,代表人群时长的分割和人类的基本组织形成,用来系统、完整的探索数字化应用。 在这里,创作者人群是我们特别关注的,他们是站在前沿的:码农、设计师、科学家等。 消费者的需求结果体系,可以借助马斯洛的人类需求层次出发;企业的需求比较稳定,都是降本增效。 借此,我们可以完整的去分析这次范式的变革,每类需求的机会位于哪里。 认识世界、改造世界 人要永远认识世界,认识得更深。认识世界,包括认识自己是世界的一部分,要把知识数字化。 数字化有6种功能可见(Affordance): 1. 信息(2D):这个数字化的能力基本上触达了每一个人类,我们每个人基本上都用电脑,用手机,触达所有的人。 2. 体验(3D):尤其是三维的体验,元宇宙,目前只有少数的品类,游戏、社交等。 3. 关系(抽象)Web3:数字化的抽象关系,信任、激励机制、所有权等;这个需要时间来逐步探索和发展。 4. 物理外部环境:数字化驱动的物理环境交互,自动驾驶、机器人等。 5. 生理内部感知:数字化人内在的脑机接口、内部测试机制,这个目前也是覆盖少数类别,如康复等。 6. 知识(模型):数字化带来的知识是嵌入的,可以用在所有场景之下。 这次我们创新的空间,基本上是用二维的信息,加上嵌入知识,去找所有可以应用的类别;有些品类可以用到其他的数字化能力,如机器人等,可以三位一体的满足人的需求。系统性的探索我们的机会。以上是这个完整的框架。 (三)数字化基础的机会 稳定的数字化平台结构 [[文件:大模型带来的新范式19.jpg]] 这个数字化平台的结构是我数十年开发系统的经验总结。总结平台的特点如下: 1. 前端是“完整课延伸”的体验,有设备、容器、画布等; 2. 后端是完整可延伸的能力,有计算、存储、通讯。 值得关注的一个点是,目前为止任何一个万亿 美元的公司都在前端做设备和操作系统,这是价值的控制点。 数字化的底层基础设施是计算体系,是芯片,是基础服务,是开源代码等等。在今天大模型流行的时代,基础设施领域存在大量的机会。某种意义上,从投资和创业者的角度来讲,这是最容易赚钱的地方。就像在淘金时代,一批人去加州淘金,淘金人的很多会死掉,但是如果你卖勺子、卖铲子、篮子的就不会,这是非常好的生意,因为没有这些工具就没法淘金。 进入大模型流行的时代,我们必须要有一系列新的算力、新的基础设施。创业会有门槛,但是一定有机会。未来新一代的有效算力,都将基于 GPT 的系统架构,长期机会非常可观。 基础设施和工具 [[文件:大模型带来的新范式20.jpg]] 第一点,是算力,有效算力包括芯片、算力体系。 在大模型为先的时代,一个很明显的趋势是一个国家、一个地区,它的经济发达的程度就看你有效算力有多少,这个生意可以做很久。新一代的算力和算力体系有很大的机会,在中国相对来讲挑战和机会并存。一方面,中美关系之间,算力上我们是有一定的挑战。另外国产自主可供的算力相对来说,克服困难之后发展机会更大。 第二点,是新一代的算力体系和网络架构。 对未来机会来讲,我们更多需要的是连在一起的带宽和延时都很低的 GPU。可能我们根本就不需要服务器这个概念,需要的是几万张卡连在一起的能力。我们奇绩创坛这届有一个创业公司 Infracore 是一个清华的团队,就是做 RDMA,在以太网上面连接起来,叫 RoCE 第二代基础设施。 第三点,是大规模的训练体系、微调体系、推理体系等等跟大模型相关的基础设施。 第四点,大模型时代需要一个全新的数据系统的数据堆栈,尤其是 Embedding,向量数据库和基于向量数据库的检索系统。今天的数字化产业,它的内核技术是关系式数据库,是符号和文字的表格,在这个时代它是向量集合,是向量相互之间的组织结构和向量的检索。最近融资非常火爆,你要赚快钱就在这里赚,大量的公司可以做这个东西。 第五条,开发工具链,有新的机会,尤其是开发框架和新开的新框架。比如 Triton,它不是一个简单框架,它是一种特殊语言,它是基于大模型内在计算结构的需求而开发了多年的语言,[[OpenAI]] 并购的一家公司,但关键点在于它不是基于 GPU 的着色器 (shader)和 Cuda 工具链开发的,无论从商业发展角度来讲还是从投资角度来讲,这里都有战略性的机会。 最后有大量的开源的模型体系,开源的工具,开源的数据集,创新的机会就在开源这里。 新平台 [[文件:大模型带来的新范式21.jpg]] 在数字化基础当中,更大的机会是平台。 前面讲过,平台有前台和后台,商业机会价值非常大。对于这个平台,美国是 [[OpenAI]],有几个创业公司,有谷歌、有微软。中国有百度、阿里,百川智能是王小川的,光年之外是王慧文的,还有很多。大家可以设想一下,这些公司10年以后的体量有多大? 今天谷歌可以是1万亿美元的公司,这个将远不止1万亿美元,成功的概率可能不一定高,也会一定艰难,但是只要你有能力,这就是非常值得探索的机会,因为这个平台的体量实在太大了。 在新时代中,[[OpenAI]] 的平台基础体系都已经搭建好了,前后台系统已经准备好了,但它的关键应用(killer app)仍在发展中。目前,这个关键应用主要体现在前端的"code interpret",就是一个数据分析师的功能。[[OpenAI]] 自己想涉足的领域是教育和医疗,但它的平台基础和关键应用还在形成。 从平台商业化的角度看,我们目前主要关注中国和美国市场。全球范围内,只有这两个地区有平台公司。在美国,各平台之间,是一场激烈的竞争。从投资和创业机会来看,创业空间很有限,基本上没有了,市场主要被 [[OpenAI]]、Anthropic 等几家小公司以及谷歌和微软所占据。 新体验端和新设备端 [[文件:大模型带来的新范式22.jpg]] 在大模型时代,硬件的体验将不一样。 有一个比较典型意义的公司叫 Humane,是苹果出来做硬件的的团队,他们过去一直没有找到好的产品。做的硬件是你戴在身上的,这个硬件能看到你所看到的一切、听到你所听到的一切,它不断在帮你思考。 这个东西在很多场景比手机更管用。其他设备如头盔和眼镜等,也有机会。今天看到的是信息,你在眼睛里能看到的是知识、模型,比如“这个场地装修了5年才成,这个人做生意不靠谱”等等,是新的体验和新的操作系统,新的生态,这方面都存在着机会。 第三代系统(自主/自动化大模型平台机会) [[文件:大模型带来的新范式23.jpg]] 第三代自动驾驶、机器人组合的机会也加速到来,需要新的硬件,新的算力,新的开发体系,新的模态,一定有用大模型来驱动下一个拐点的机会。 第三代系统,核心是指三位一体。大模型是生成模型,可以生成指令,控制设备和行动。这些模型是双向的,它既感知认识、感知分析,又能够进行控制。所以,因为大模型的本质,到了第三系统中,这个时代将被加速进入。 它的核心是行动体系,尤其是自主体系、自动驾驶体系、机器人体系和空间计算体系,这些体系将有机地交互,可以系统性地用越来越低的价格去采取行动,满足人们的需求。 自动驾驶方面,有新的机会,为什么? 今天自动驾驶做了十几年了,体系还是以视觉为主的,泛化能力还是不够。我们人开车一点都不累,轻轻松松,听听音乐,讲讲话。我们为什么开车不累?因为我们有语言,我们能零样本泛化。比如,我们在路上开车,看到前面有一个老人举着一个旗子走过来,我们会知道还早,根本不用担心,慢慢开过去绕过他就是了。 但是今天的自动驾驶系统,遇到这个老人就会紧张的不得了,因为它从来没有见过,它不知道该怎么办,它没有泛化能力。所以我们可以有全新机会,用新一代的语言模型带来的泛化能力打通模态。当然用机器人、用大模型驱动新一代的机器人机会也一样大,机器人和自动驾驶将是人类最大的两个产业。 (四)数字化应用的机会 [[文件:大模型带来的新范式24.jpg]] 数字化的应用有两个重要的点,它一定是技术推动、需求拉动,一般是技术和需求相匹配才行。 这次技术的模型能力前面讲了,封装了所有的知识。所以这次的技术覆盖所有的需求,你要判断的是这个模型是不是足够强,模型在你这个领域的发展速度会不会很快。 [[文件:大模型带来的新范式25.jpg]] 判断1:模型的能力是怎样的? 首先我们必须做一个判断,在大模型时代的早期模型能力,我们预测模型发展的速度,对我所在这个需求,它是否有比较务实的机会去有效地满足用户和客户的需求?尤其是过去满足不了的需求。也就是说,第一你要判断是模型的能力,在早期模型的发展速度和模型能力,对我所在这个产业能改变多少? 判断 2:三位一体能建立起来的机会有多大? 第二个判断的是,三位一体的体验能够建立起来的机会有多大。 一开始,我们三位一体就是信息模型和行动体系组合在一起来满足这个需求。信息我们都可以给你,有二维的、模型的。前面讲过了,你要判断的就是行动体系是不是有可现实的机会可以做。有些可以,有些未必。 在这里举个例子,健身模式上可以用来做,比方说 Peloton,它以本来就是一个单车,我可以在上面给你信息,今天缺的就是模型,就是一个教练,是一个时刻提醒你告诉你怎么弄的。所以 Peloton 这样就是三位一体,好的模型它内容已经有了。 判断3:全方位颠覆的机会有多大? 大模型时代对你所在这个赛道,从开发生产的角度来讲,能够带来全方位颠覆的机会有多大?比如你是做炼钢的,那这次大模型给炼钢这个产业带来的研发体系变更不大。但如果,你是开发游戏的,那就全都变了,因为游戏任何环节它的开发都不一样。 技术推动:大模型为先,形成闭环 所以,在“技术推动”这个方面,我们采用这个三角形,用高中低来判断一下每个行业都要用这个技术推进的情况。 很多同学都在想:我这个领域能不能做?你一定要考虑你这个领域,你这个生意有没有壁垒。这里有一个简单的范式,你自己有数据,你可以自己开发模型,你可以用大模型来开发,你的模型被使用之后,使用的数据你拿得到,使用的数据回归到闭环,你的既有数据越来越强。如果你有这样一个结构,你这个生意肯定可以做。所以大模型为先,从数据到模型,到使用闭环,是这个时代落地的有效方式。 需求拉动:大模型为先,而非信息为先 需求拉动,要找到需求,对知识、对模型比较敏感的需求。同时,我们要强调一个概念:在这个时代,一定要做大模型为先的产品。 大模型为先:三位一体为王,自然语言为先 [[文件:大模型带来的新范式26.jpg]] 人类需求本质也是三位一体的,任何一件事情,我们既需要信息,又需要知识,又需要行动来满足我们的需求。 比如说电商,今天都是用的信息,模型几乎没有。 每一次看每一个领域,可以看这个领域里面的信息有多少,模型能有什么样的模型,行动有什么样的行动。大模型时代的产品,建议一定要做自然语言为先的产品。我们看到很多同学做产品,信息时代的惯性太大了,产品就是手机打开,看到图片、视频、文字,给出来的都是信息。这是过去的时代了。 今天做产品,起步就需要是自然语言交互,去思考“你跟我怎么交互”? 有机会、行动导向,信息只是提供了一个基础,三位一体是终局。如果创业赛道有机会三位一体,要大模型为先,抢先进去。 大模型基础的闭环壁垒 考虑一个领域,生意有没有壁垒,有一个简单的范式: 第一,你有自己的数据; 第二,你可以自己开发模型,用大模型来开发模型; 第三,你的模型被使用之后,使用的数据你能拿得到; 第四,使用的数据,返回过来有个闭环,你的自有数据越来越强。 如果有这样一个结构,这样一个三位一体的体验和闭环,大模型为先的时代里,落地是一定要做的。 1. 信息知识 [[文件:大模型带来的新范式32.jpg]] 大模型的第一仗 大模型时代的第一战为何是在搜索引擎战场上打响,例如 Bing 和 Bard。原因很简单,搜索引擎本身就是一个庞大的模型,是大模型时代最接近的产品。因此,制作一个大模型时代的产品时,搜索引擎基本上能迅速实现。其次搜索引擎作为一种产品,它有更多机会更好地满足用户需求。 我们可以进一步分析大模型时代的搜索引擎能满足用户的哪些需求,可以分为三大类: 第一类是寻找信息,例如要知道某家商店的电话号码、某公司的地址及员工人数等。当前的搜索引擎已经在满足这些需求方面做得不错,大模型时代只是在这方面的局部提升。 第二类,搜索引擎的更大需求和更高的满足需求是任务类的,英语称之为transaction query,即搜索关键词后有一系列明确的动作,如下载游戏、打电话或购买商品。大模型时代肯定会更好地满足这类需求。对于数字化行动,大模型可以直接为用户完成,如填表等。对于物理行动,大模型至少可以为用户规划下一步。这带来的挑战是广告模式是否仍然适用,或者这是否是一个机会,是否有比广告更有效的变现方式?这需要有抱负、有创造力的创业者去探索。 搜索引擎的第三类需求实际上是寻找知识,探讨问题,例如研究为什么中东永远无法实现和平。如今,用户通过输入关键词查阅大量文章来满足这一需求。然而,有了大模型,根本不再需要这样做。用户只需让大模型为其总结,中东和平的原因及为何无法实现等。大模型可以将这些要点总结成一张表。那么这种商业模式是什么?广告很难持续,那么订阅制和知识付费是否可行?同样,这是留给有远见、有勇气、有创造力的同学去探索的机会。 综合来看,Bing 和 Bard 之间的竞争将开辟一系列新的创新前沿。像美国的 You.com 这样的创业公司也有机会发展新一代搜索引擎,而中国市场我们拭目以待。 2. 内容 [[文件:大模型带来的新范式27.jpg]] 在内容领域,颠覆性创新的机会无处不在。 自古以来,只有少数人能够创作出高质量的内容,如优美的诗歌、引人入胜的小说、悦耳动听的歌曲和精彩纷呈的电影。然而,今天在大模型的支持下,我们可以看到更多的创意作品以更低的成本呈现出来。 在艺术创作中,有一位业界资深专家曾说过,只有当艺术家的思维方式出现“错位”时,才能创作出真正的杰作。我个人认为,大模型或许很难替代这种特质。未来,我们还需关注新一代脑科学的研究。 内容产业呈现出金字塔结构,底层是 UGC(用户生成内容)和 PGC(专业生成内容),上层则是营销和传播等环节。在 PGC 方面,大模型或许能提供一定程度的辅助,但并非创作高质量作品的关键。然而,在内容传播方面,大模型具有很大的替代潜力。 总结来说,首先,内容产业领域的颠覆性机会广泛存在,每个细分领域都有可能被颠覆和重塑。其次,内容产业的机会点在于发行环节的游戏规则将被彻底改变,因为大模型具备推广和发行的能力。UGC 方面同样拥有广阔的机会,因为大模型能生成丰富的内容。而在高端 PGC 领域,同样存在大量机会。核心在于,一流艺术家可以利用基于大模型的工具,将精力更加聚焦于原创性环节,而其他环节则可以利用大模型作为辅助工具。最终,基于大模型和脑神经科学相结合的技术,未来原创爆款的能力机会也将悄然到来。 3. 游戏 [[文件:大模型带来的新范式28.jpg]] 游戏领域是距离大模型颠覆体验最近的一个生态环境。在这里,我们已经看到了基于模型的资产生成场景,例如 Opus.ai 通过文字对话直接生成整个游戏场景,以及近期较为热门的 NPC 和数字世界的生成。超参数打造了长安城,而 AI Dungeon 则开发了对话交互式游戏。此外,Unity 最近展示了一种从语言交互到游戏开发的全新创作范式——copilot。 游戏大模型与平台型公司拥有广阔的发展想象空间,而巨头公司的精力有限,这为创业者带来了巨大的机遇。 制作环节发生变革:游戏产业的每个制作环节都发生了变化,因此很有可能形成一个全新的生产体系和产业生态。 游戏体验在改变:游戏本身是一个纯数字化的行动体系,每一个场景、每一个 NPC 都是基于模型的。 随着大模型带来的生产能力和模型创新能力,未来将探索并形成大量新一代游戏体验。甚至可以想象到自动生成整个游戏,包括游戏中的所有 NPC,与它们不断互动,形成一个充满活力的游戏世界。这一切都有可能实现。 4. 消费|电商 [[文件:大模型带来的新范式29.jpg]] 电商是一个很大的产业。 阿里巴巴了不起,中国电商也很强,电商有没有机会?一定有,为什么?道理很简单,大家想今天电商是怎样的产品? 今天电商给我们的都是信息,你看到的是价格多少?这个产品长得怎么样? 再下一个是消费电商。 电商,我个人觉得是完全有机会。今天的购物体系中模型上只能买便宜的,如果买一个高端的或者是基于场景的,那确实是要一个模型,是一个人和人之间交互的,尤其是基于场景。以场景为基础的购物的消费,是完全有机会的。 基于场景的购物机会 但我真正要买东西,比方说我要去买一双鞋,买一个帽子,一个好的、真正的交互体验更是不光带来信息,还会带来模型、带来知识。 “好的老板都会说,诶,你买这个鞋,买这顶帽子干什么?”“哎,我说一家四口要去夏威夷度假,哦,夏威夷温度是这样的,照片是这样的,这个帽子适合,这个鞋适合,对吧?” 这都是什么?都是知识,都是模型,这种商品交流才是真正有价值的,而不是给我看一些网页。 如果你是做电商,你是阿里,你既应该紧张,又应该兴奋,该紧张的是创业者要革你的命,幸福的是你自己也有机会。 5. 社交|社区 [[文件:大模型带来的新范式30.jpg]] 社交是有局部机会的。核心原因是有一种新的非常强的内容,只要你有别的内容,你就有机会重新建立社交关系的。 比如说这里有个例子,我有5个很好的模型,这模型让我炒股票、让我男女交友,然后做有高价值执行的这些模型,别的地方都没有,那我可以说这个模型在脸书上不能分享,你要分享这个模型必须邀请好友,你就等于是重新建立一个社交网。社交历史一直是这样的,有新的强锁内容的人都想重新建立社交网络,你只能到我这里来重新要求。但是这是一个局部的机会,真正要重新打造了一个很宽的社交的概率不是很高,但局部的社交网络像是专业性的社交网络,这是有机会的。 今天男女交友软件,比如 Tinder,是典型的信息产品,让你看到照片、年龄、身高、体重。这些信息并不是没有用,但也只是让人初步知道对方在物理条件方面是不是跟我合适。 但对方性格怎么样、第一次约会看什么电影,之后该吃什么,吃饭的时候讲什么笑话,都不知道。这些东西都是模型,马上就可以重做一遍。 在知识社区方面,中国有知乎,美国的知乎叫 Quora。Quora 创始人叫 Adam D'Angelo,他在 [[OpenAI]] 的董事会上,现在的 Quora,早就长得不一样了。 今天不是去 Quora 看文章、而是问问题去了,而是叫它给我研究一下这个问题,并帮我总结出来,是以对话的形式进行的了。之前获得知识,要看一大堆大 V 的文章;现在,你叫 [[ChatGPT]],帮你总结一下分析一下就可以了。 所以社区有大量的机会。 6. 通讯 [[文件:大模型带来的新范式31.jpg]] 类似 Zoom、腾讯会议这种产品,变革一定会很大,道理很简单,它是非常典型的搬运信息的产品。 今天已经有大量创业公司在做的事情是,30分钟会议结束后,把所有会议内容都给分析好了。因为我们每一次开会背后都有模型。 7. 医疗 [[文件:大模型带来的新范式33.jpg]] 医疗是在新的范式、新的时代当中机会最大的产业之一,可以完整的在多个维度,把大模型时代的能力充分运用起来。 首先,医疗的信息化,一切都可以用自然语言,用大模型重新做,每个护士、每个医生的能量都被放大。好的医生就是非常好的模型,一流的外科手术外科医生、好的老中医、有经验的护士,就是模型厉害。这些人可以把大模型作为工具,把他的模型加深,让这些人的才智、经验发挥得更强。 每一类诊断、每一类治疗都是专业模型,这些专业模型都可以做得更深,做得更好,迭代更快。 治疗手术都可以用到大量的机器人,专业机器人、服务机器人三位一体有大量的机会。因为医疗这个行业它必须三位一体制。 三位一体,有大量的机会。它需求的类别,必须有效组合在一起,三个都有很大的发展空间。 关于医疗这个产业对社会的影响: 第一,这里机会是非常非常大,因为中国本身是医疗是供不应求、供需不平衡,这次技术变革能够很大地改变这个。 第二,通过大模型,可以在中国把医疗这个产业做得更健康。相对来说美国的医疗行业是 GDP 的20%,服务质量差强人意,中国有机会做得更好,服务质量做得更高,成本做得更低。 第三,在中国用大模型做医疗,中国有一定的结构上的优势,因为大模型是需要大量的固定成本,这个时候政府的引导、政府的在基础设施和数据上的投入,能够起政策上的作用,都可以在多个维度让大模型时代的医疗做得更出色。 这是关于医疗的,就从多个维度,我们是有相当好的机会。 8. 教育 [[文件:大模型带来的新范式34.jpg]] 教育非常核心,挑战很大,机会更多。大家可能看到了,[[OpenAI]] 的战略合作伙伴的一个 TED 演讲,用大模型可以做一对一的教师,可以让每一个小孩个性化地学任何概念,大学职业培训,有大量的机会,那是共通性的。一个国家,一个地域只要教育好了,一切都会好。 9. 开发者 [[文件:大模型带来的新范式35.jpg]] 开发者的机会相当特殊。 首先我们讲个概念, YC 的创始人 Paul 写的一本书就黑客和画家《Hacker and Painters》,为什么黑客、画家那么重要?因为他们都是创造世界的人,在二维画布上创造世界。开发者本质上是驱动世界进步的一个核心的力量。 这一次为什么机会这么重要? 因为是在人类历史上首次让每一个人可以用自然语言来开发。这是大模型最吸引人的地方,过去只有码农通过专业训练才能实现,而现在不需要如此就都可以用自然语言。不光是用自然语言,你开发的对象抽象的层次、任务的拆解规划,都可以按照不同的需求来,每个人都可以开发,每个人都可以用不同的抽象的层次,用不同的规划体系,用适合你自己想要做的风格和解决的任务去开发。这代表着人类历史上空前的机会,有大量的创业者,大厂、小厂的创业者或者大厂,都有大量的创业机会。 10. 设计师 [[文件:大模型带来的新范式36.jpg]] 设计师跟开发者在本质上类似,但是设计师用大模型时代,这个产品已经高速在进行了。 微软有 Designer、Adobe 有 Firefly,有大量的创业公司,不管你是二维图像的设计师、三维结构的设计师、建筑物的设计师、家装装修的设计师,它都能够用大模型来充足提高设计师的设计能力、设计质量。但是这个发展过程是分阶段走的,今天的设计工具主要是在创意阶段,因为今天的大模型很容易生成图像、生成视频、生成三维结构,它的特性是人可以很快在看到这个设计后判断是所需与否。以后可以用大模型进入到每个设计过程的每个环节,从根本意义上提升整个设计行业,不管是哪一个设计的专业类别。 11. 研究员(科研) [[文件:大模型带来的新范式37.jpg]] 关于研究,这个可以说是我个人最感兴趣、潜力最为特殊的一个机会点。因为科学是人类最终极的生产力,但是科学的发展可以通过大模型来根本性的加速,在产品和创业创新的机会点上,起步的可以是为每个科学家提供副驾驶员、正驾驶员,为每个科学实验提供基于模型的开发、推理、自动化。 最重要的是大模型时代给科学的发展的范式带入到下一个阶段,也就是说我们不再是一个去解决具体的问题,而是用大模型带来的涌现的能力,去更系统的、更高效地去发现新的科学现象。 综合在一起,这里将带来大量的具体的创业创新的机会,更重要的是科学的发展将进入一个从来没有过的发展的速度。 12. OA/办公 [[文件:大模型带来的新范式38.jpg]] 微软在做的,已经很多了。 在 OA 办公这个领域,微软已经做了大量的工作。 微软的办公软件里面都有副驾驶员,微软这个季度财报里面已经汇报说,微软的主流客户当中有大量的客户和用户已经在活跃的使用 copilot 副驾驶员,在办公软件体系里面都在活跃的使用。 在办公软件过程当中,微软的产品创新还可以往下再走一步就是跟 Adept AI 这家公司,跟行动体系做更完整的连接,就更多的三位一体,因为有了 copilot 只是信息加模型。但是比如有很多行动就是填表,基本上就是 OA 的自动化,就是原来叫 RPA ,就像蓝眼科技这类的,都可以更好地做到三位一体,这里也给创业者带来更多的机会。 13. 营销与客户 [[文件:大模型带来的新范式39.jpg]] 营销行业是大模型能够立竿见影的一个行业,用了大模型以后马上就可以看到效果。因为营销离钱最近,这个从创业创新角度来讲是最直接的。这里面大厂也好,小厂也罢,是高度活跃。Salesforce 有爱因斯坦大模型,Adobe 有 Firefly 大模型,也有相当多的基于大模型做营销材料的,在营销上面的提升效益的创业创新机会系统性地存在,有大量可以探索的机会。 14. ERP [[文件:大模型带来的新范式40.jpg]] ERP 这个品类会有大量的创业创新的机会,它本质上是有机会做到三位一体。 因为今天的 ERP 基本上是模型加信息,它的模型的所代表的标的都是设备、企业资源,从以终为始的角度来讲,是非常好的机会是做三维一体,就是 ERP 接入机器人、接入工厂场景的实体物件的管理。这样的话我不光是有模型,不光是有信息,我还可以直接去做行动、做执行。今天 ERP 比方说排序,ERP比方说管理企业的物料,ERP比方说管理企业的财务账,它都是分开做的,一步步做的。这一次给我们带来机会就是三位一体,既有模型,又有信息,又有资金系统,这是第一个大的机会点。 第二个大的机会点就是今天的 ERP 系统,模型都是人搭建的,它僵硬难用。人要学这些模型,应该马上用自然语言,让每个模型都可以直接交互,同时这些人搭的模型要跟机器学习的模型更有机的融合在一起,让每个模型更灵活、更适应场景的变化。ERP 它僵硬就是因为企业在不断在更新,这个模型一直是脱节的,如果用新一代的大模型的方法做接入人搭的模型,这些模型就避免今天模型僵硬不好用,模型永远是脱节,跟不上企业的变更,这一切都有机会让 ERP 的模型进入到下个时代,它根本意义上是好用,它是自然语言可以交互,人不需要学这些模型,让模型来适应人,这些模型随着企业的不断地演变,它会自然地跟着演变而更好用。 最后还是三位一体,模型跟执行体系、跟设备的控制、跟质量的控制,可以通过新一代的技术直接融合在一起,真正意义上做到大模型时代的产品体验是三位一体的,这是 ERP 的机会,这里大厂有机会,小厂机会也一样的多,创业公司也一样有机会。 15. 生产制造 [[文件:大模型带来的新范式41.jpg]] 生产制造跟 ERP 一样,它是三位一体的机会,也就是说大模型时代和行动时代要同时一起做,它可以直接地向着三位一体、数字化三位一体,因为制造业今天,局部的信息化、局部的自动化它都是割裂的,它都是分开的。但这次的机会是让我们以大模型为先。 通过用大模型的方法揭露机器人、揭露机械臂、揭露控制体系,它可以系统性地、完整性地提升我们生产制造过程的有效性,让每个人可以用自然语言去参与生产过程,然后生产过程可以更高效的、更自适应工厂环境的变化,同时更有效的自动化。因为这些模型都可以控制机器人、控制机械臂、控制一条流水线、控制一台设备,就是大模型为线。 这个机会可以从工业也可以到农业、农田,核心是大模型为先,核心是三位一体,三位一体就是信息模型,行动是有机的组合在一起的。在中国的机会尤其是特殊,因为中国是全球最大的制造业国家,我们有最多的数据、最大的实体经济。在大模型时代全面地提升我们国家的新一代的制造的能力,这里大厂一定有机会,小厂机创业公司的机会也一样的丰富。 基本上就是我前面讲的,机器人自动驾驶、物理空间的计算和空间资源的管理,这三者有机组合在一起,用大模型来驱动,是未来执行体系的关键的组合。制造业是本质上就是用这个方法来控制每一台设备,控制每一条流水线,管理好每一条生产流程。 16. 政府城市 [[文件:大模型带来的新范式42.jpg]] 数字城市本质上跟医疗体系很类似,中国有相当大的优势,全世界做数字城市最多的是中国。而且城市是未来人类社会的最基本、最重要的社会机制,在这里有系统性地提高。 首先,第一代系统就是城市的信息化,可以用自然语言处理。今天都是城市已经信息化了,但是都是割裂、很难用的,至少是可以用自然语言处理,用模型把它所有的连在一起。 第二,城市的模型系统今天只有数字完胜,基本上局部用非常僵硬,不好用。因为今天应该用大模型,用更多的城市的模态,让城市的模型是灵活适应城市的变化,更柔和地去融入城市管理当中的方方面面。 第三,是三位一体,城市精细化的引领必须是信息模型执行体系在一起的,是通过移动端、通过 IoT 设备控制、通过机械臂、通过机器人、通过自动驾驶、通过空间计算,把这些有效的组合在一起,那城市精细化每个角落、每个社区、每一辆共享单车、每个服务都可以完整地用数字化三位一体来做得更好。 (五)改造世界 上述内容,将用数字化让人能够更好地认识自己、延伸自己能力相关的所有机会都讲完了,下面是如何来改变世界。 1. 新能源科技 [[文件:大模型带来的新范式43.jpg]] 首先,核心是新能源技术的研发体系,大模型将带来大量的研发体系上的新机会,设计也好、生产也好,都可以用大模型来提升效益。 第二,新一代的可去能源的运营、新一代的电网需要大量的数据、大量的模型的能力,把能源的供需平衡好、运营好。 第三,新一代核心技术,系统也好,部件也好,都可以切入大模型,直接植入大模型为先的技术。电池、触电设备、风电控制体系这一系列的核心技术都可以切入大模型为先的技术,让它做得更好。这里大厂已经有大量的机会在做了,对创业公司也打开了越来越多可以参与的创新机会。 2. 新生命科技(生命科学) [[文件:大模型带来的新范式44.jpg]] 第一,新的技术可以直接用到大量的生命科学体系当中。新的生命科学首先起步于今天深度学习的人工智能技术和相关的大模型技术,它本质上跟生命体系的计算过程在结构上是类似的。 第二,生命科学的产业结构越来越朝着今天的数字化工业的产业结构方向去走,在结构上会是非常类似的。有大量的计算和数据驱动直接生产、设计、制造,每个维度都可以用这个方法来做。 第三,大模型将对生命科学的基础研发和核心创新起到根本性的作用,尤其是在核酸、蛋白这一层,在其他维度的生命科学的结构维度做大模型,将根本改变我们的研发环节。就是用大量的数据和算力,通过涌现更高效的加速科学探索和研发的方方面面,系统性地提高这个产业的进展和创新的速度,这是关于生命科学体系。 3. 新材料科技(材料科学) [[文件:大模型带来的新范式45.jpg]] 材料科学体系跟生命科学体系大模型时代和数字化它所产生的效应是一致的。 在材料科学里面它更是产业驱动的,比如芯片所需要的材料,光伏、新能源需要的材料,这一切在产业发展上带来的机会更直接、更优先,它是产业驱动的。 在结构上,大模型将系统性地切入数据驱动、计算驱动的材料设计、研发、制造等方方面面,比如材料基因、计算驱动的新的材料设计、材料工艺、材料生产等等。 4. 新空间科技 [[文件:大模型带来的新范式46.jpg]] 真正把空间用新的空间技术用好,是从地面开始,自动驾驶、深海、轨道、轨道之外、指数深空,新的卫星的、新的行星上,包括火星,这是长期有系统化的机会,大模型在每一个环节在探索。 在通讯、在遥感、在空间制造都可以直接驱动探索创新和商业价值的获取,在这个当中既给国家和大学带来非常多的创新的机会,同时也给有远见、有抱负,愿意长期坚持的创业者一样带来非常多的机会。 尤其是像自动驾驶这样一个巨大的产品,以大模型为先的方法,今天可以触达的机会就很多,长期更快,这是目前面临的商业化最大的发展就是用技术、用大模型为领先的技术去探索更多的物理空间。 (六)新执行环境 [[文件:大模型带来的新范式47.jpg]] 新的时代把事情的机会把控好,我们需要一个新的执行体系。 首先,马太效应会非常明显,对于已经拥有强大算力/数据/技术和财务资源的组织来讲,他们会更具有优势,同时,对于拥有大量高质量数据的人,也会获得更多优势,而且大模型在生成内容时可能存在偏见,少数人的声音不被听见。 同时,壁垒和竞争格局也有其特性,初创企业应该寻找未被大厂覆盖的市场细分领域和定位,在AI领域不断探索新技术、新方法和新应用,利用更多技术专利和知识产权建立竞争壁垒,也要注重与大厂建立合作关系(比如共享资源和数据),同时也需要具备较强的适应性和灵活性,快速适应市场变化。 此外,也应具备广阔的国际化格局,这里既包括使用多种语言提供本地化服务,也要基于中国文化,提供相应的语言的工具和内容,另外,垂直领域大模型的解决方案也很重要,也要同时注重跨语言沟通和翻译工具,以及针对中文语料的数据分析。 另外,知识产权结构也会有新格局,我们会面对不同的法律环境和保护方法,垂直领域数据的占比也会增加,而模型算法的占比会降低,同时也会有不同的产权激励结构。 最后,初创企业也需要面对新型的社会关系,我们会有不同的政府监管环境,创业门槛也会大幅降低,创业者作为一种普世性职业的时代真正到来,同时人才需求也会发生变化,对应聘人才的技术能力要求会更高。 (七) “人”的机会空间 [[文件:大模型带来的新范式48.jpg]] 对于个人来讲,越来越重要的是你是不是有独到的见解,而且你有很大的心力,可以坚持不懈地追求这个愿景。 能力相对来讲越来越不重要,而你需要的是独到的能力,是能用好工具的能力。如果你的能力是别人或多或少都有的,那就越来越不重要了。 例如今天作为一个创业者,如果你是码农,开发技术很强,可能优势很大,但是未来这个优势越来越不重要,除非你有独到的开发能力。芯片设计、蛋白设计等等一样,今天这些能力起了重要的作用,但这个作用的相对重要性会越来越降低,因为大模型都能做这些东西。 对一个创始人来讲最重要的是独到的见解,尤其是对未来独到的看法和很强的心力,可以长期坚持努力把他独到的对未来的愿景可以实现出来,这是越来越重要的一个特性。 [[OpenAI]] 本身就是最好的一个案例,[[OpenAI]] 看好的是别人不看好的。[[OpenAI]] 的科研能力、开发能力在总体上是远远不如谷歌、他们就几百号人,但是他们做出来了,本身就是验证了这一点,它([[OpenAI]])有着不同的愿景、不同的看法,它走的路是别人不走的路,它坚持走下去了,它靠这些彻底改变了世界。大家如果要一个案例,看 [[OpenAI]] 就行了。 技术驱动发展带来的职业趋向 [[文件:大模型带来的新范式49.jpg]] 人类历史上由于生产力、生产关系的演变,在任何时代都有一类职业,它是最赚钱的,创造财富最多。 以前打猎最厉害,创造的财富最多。有一个时代武功最厉害,能打架的武士是最赚钱的。上个世纪末,在华尔街买公司、卖公司的人,是最赚钱的,也就是投资者。而这个世纪初,即使把风险算在内,创业者是创造财富最多的一个职业,毫无疑问。 在这个新时代创造价值、财富最多的是创业者,同时大模型时代为创业者带来不同的发展机会,你需要的资金越来越少,你开发的周期越来越短,你创造价值机会越来越多,以后有越来越多的人都可以做创业,投资的生态也将为此而变,使创业者的机会越来越可观,越来越普遍,越来越有价值。 同时在下个时代,最有价值的是科研,但不是传统意义的科研,是新一代的科研。这个科研的典型代表就是 [[OpenAI]] 。在 [[OpenAI]],你既是一个科研人员,同时又是码农,同时又可以做生态。既能够做科研写论文,又能够写代码,又能够做平台,是新一代的科学机构,是新一代的科学范式。 [[OpenAI]] 开了个先例。有越来越多的 [[OpenAI]] 在未来 10年、 20年、 30年、40 年会涌现,因为今天的创业生态是70年的历史,再往后 50 年,会有越来越多人做这个,这是新一代的科研的 open research。 (八)基础范式的演变 [[文件:大模型带来的新范式50.jpg]] 1. 科研的发展跟商业化合为一体 科学将进入第四范式和第五范式。新的科学范式需要数据、需要计算来发现新的科学现象,如果没有商业化,数据哪里来,算力哪里来?所以本质上,科研的发展必须逐步逐步跟商业化是合为一体。 今天引领信息科学的不是一流的大学,不是国立实验室,早就是大厂。而今天引领数字化最前沿的人工智能的已经不是大厂,是创业公司,是 [[OpenAI]],是 DeepMind。今天引领新空间科学的不是 NASA,不是波音,是一家创业公司,叫SpaceX。越来越多的产业,比如生命科学、材料科学都会朝这个方向走。这种范式的变化是结构性的,就是因为科学的发现跟商业化分不开了。 2. 从技术到价值:5个核心环节 今天全球的主流科学发展范式是1944年奠定的。1944年有一个人叫 Vaneva Bush,那个时候罗斯福总统,他判断二战快结束了。他叫这个人写一份报告,规划如何让美国在二战之后保持技术的领先?这个人做了一番研究之后,写了一本小册子,名字叫《Science: the Endless Frontier》(《科学:无尽的前沿》)。 他在书中提出了一个范式:中央政府收税,把这个税的钱交给两个地方,一个是研究型大学,在美国系统发展研究型大学,研究大学里面做基础研究,做应用研究,做工程研究,教授和研究生一起做;第二,把钱给国立研究院等机构。今天中国也好,欧洲也好,或多或少都是采用这个范式。 产生的结果是有大量的科研结果形成论文,然后这些论文待在书架上10 年或20 年。接着有些大厂、有些其他机构说这些基础研究可以来解决实际的问题的,这就是所谓的应用研究。应用研究是一般都是大学或者是研究机关或者是大厂在做。做完之后,发现这个可以做技术,就把技术做出来。比如说芯片封装技术、软件验证技术。这些技术做出来之后,有产品经理说这个技术可以做成产品,于是便把产品做出来。产品做出来,市场销售、运营的人说这个可以去卖,于是便把产品卖给客户。 技术驱动社会进步是这样一个流水线。所以从技术到为人类提供价值,都是有5个核心环节一路走下来的。 3. 创业公司开始做基础研究了 但今天我们看到趋势是越来越倒过来了。创业公司,它不光是做产品,做技术,做应用研究,也开始做基础研究了。为什么? 第一,科学的范式变了,科学发展离不开商业化。科学必须要有数据,必须要有算力,所以离不开商业化。 第二,我们的历史上从来没有一个探索体系叫创业体系。 创业体系是什么呢?它无缝不入,只要哪里有机会,哪里就有投资,就有想发财的年轻人。它比其他体系都更灵活,它能吸收人才,它有大量的资源可以用。因为今天全球的资本太多,都在找回报。如果你能改变世界,只要你真的行,都有人愿意投。我看到的一个现象是在一流大学,如伯克利、斯坦福,校内的每一个系长得越来越像一个基金,很多教授某种意义上都带了好几个创业团队,这个趋势越来越明显。 当然,今天主流科研模型有它的优势,它将继续在适合这个模式的领域中开拓科学新前沿。新的范式需要不断地探索、更新和创造。 四、奇绩创坛介绍 从某种意义上讲,奇绩创坛真正的创始人是 [[Sam Altman]]。 2014年,[[Sam Altman]] 担任 YC 掌门人,就马上来找还在微软任职的我,希望能加入他们。他说未来人类社会的进步,将由 10 家像谷歌这样伟大的公司来驱动。他判断,至少有3家在中国,而在当年,这些创始人可能还在高中、大学,“Qi, we need to find them, help them build a future.”。当时,虽然没有如他所愿,但也在我心里留下了种子。最终,在2018年8月1日,他推动了我加入 YC,担任 YC 合伙人并兼任 YC 研究院的院长。 [[OpenAI]] 是 YC 研究院第一个独立出来的研究项目,我们跟 Sam 花了不少时间设计 YC 中国。后来 Sam 决定全身心投入 [[OpenAI]] 的发展、卸任 YC 领导人一职,YC 有了新的领导人,加上地缘政治的影响,如实的说,这对当时的我们还是有影响的,但我们真的相信这件事,决定独立成为奇绩创坛。YC 给予了我们帮助,Sam 也一直支持我们,他们送我们到了他们能送达的最远的地方。 2019年11月,我们正式独立成为奇绩创坛,把 YC 的模式在中国本地化,设计了奇绩的独特模式:合伙人会在 Office Hour 中与创业者一起解决问题;此外,我们还会组织 Group Office Hour,让优秀的创业者互相学习;同时,我们会安排路演日,让创业者有机会接触到一流的投资机构;最后,我们还构建了一个为创业者提供长期、多维度支持的活跃社区。 我们的发展也非常快,三年多,我们已经做了7届创业营,收到5万多封申请,投了318家创业公司,我们的路演日在北京,每次都有1000多个投资者。 在大模型时代,我们奇绩也将迭代。我们推出了大模型日报,旨在为创业者提供前沿信息;我们也不断创新,基于大数据,正在开发一种可以帮助创业者解决难题的产品“创始人的 Co-Pilot”。 我们始终坚信“中国+技术”是早期创新创业的前沿,并将持续以独特可规模化的模式有效加速技术驱动的创业企业。 (全文完)
返回至
陆奇最新演讲全文实录、完整PPT和视频:大模型带来的新范式
。
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
社区主页
新闻动态
最近更改
随机页面
帮助
华师附中老三届
站群链接
社友网(sn)
产品百科(cpwiki)
产品与服务(sn)
社区支持农业(sn)
工具
链入页面
相关更改
特殊页面
页面信息