AI吞噬世界，严谨阐述我们看重物联网和小数据学习的原因

Siyu

2011年，Andreessen Horowitz联合创始人Marc Andreessen提出“软件正在吞噬世界（software is eating the world）”，原因是越来越多重要业务和行业正在依赖软件和线上服务运行。大概一年后，Y Combinator联合创始人Paul Graham提出“硬件复兴（the hardware renaissance）”，原因是看到硬件的原型设计、制造，以及产品购买变得更简单。目前来看，人工智能（AI）持续向各行各业渗透，物联网（IoT）融入越来越多的生产和生活场景，可以认为是这两股趋势的体现和深化。
“软件吞噬世界”不只是信息技术对各行业业态的改变，还改变着经济系统的运行机制。软件和线上服务有两个关键特性：一是几乎可以“零”成本无限复制，具有可扩展性（Haskel and Westlake, 2017），并且可扩展性极强；二是网络效应，即更多使用者和互补品可以提高软件和线上服务本身的效用和价值（Katz and Shapiro, 1986, 1992）。
如果没有可扩展性和网络效应，在对一项业务增加投资的过程中，一方面，市场上对相关生产要素（劳动力、土地、资本等）的需求增加，要素价格提高，公司边际成本升高；另一方面，这项业务产出的产品和/或服务在市场上的供给增加，其价格降低，公司边际收益减少。这是一种负反馈机制，当投资增加到公司边际收益与边际成本相等，即边际利润等于零时，公司赚取的利润就达到了最大化，公司和行业达到了增长极限。
如果所投资的业务是以软件和线上服务为主要业态，一方面，可以“零”成本无限复制的特性意味着，其销售量和使用量增加的过程中，相关生产要素价格几乎不会提高，公司边际成本可能不升反降；另一方面，网络效应意味着，其使用量增加的过程中，每一个用户和客户都可以获得更大价值，公司定价可以逐渐提高，边际收益可以不减反增。这是一种由加速回报引起的正反馈机制，处于正反馈循环的公司边际利润会越来越高。Alfred Marshall（cited in Arthur, 1999）认为，如果公司随着市场占有率增加而优势扩大，先获得好的开端的公司将获得垄断。
当然，这两个模型都没有考虑技术进步、用户需求和市场规模的变化。如果进一步考虑动态过程中随机事件的作用，Arthur（1999）认为，加速回报问题最好看作非线性随机过程。除了强可扩展性和网络效应，还有更多促进正反馈形成的因素，例如巴菲特的护城河理论中提到的无形资产（特别是品牌）、高客户转换成本、成本优势（特别是规模经济）（Dorsey, 2008），以及源自随机事件的路径依赖（Arthur, 1994）。
“硬件复兴”，即硬件产品的研发、生产和销售变得更简单的趋势，也在助推正反馈机制在经济系统中扮演更重要的角色。因为产品是想象力的实体化，是信息和想象力的体现（Hidalgo, 2015），高附加值产品的附加值往往包含强可扩展性、网络效应、无形资产、高客户转换成本等促进加速回报的因素。也就是说，通过软硬件及服务的结合，公司业态围绕硬件也可以进入边际利润越来越高的正反馈循环。
“软件吞噬世界”和“硬件复兴”对经济系统的改变体现为，使得正反馈机制的经济活动所占比重越来越大，越来越多的行业由趋向百家争鸣转变为趋向赢家通吃，这也是贫富差距扩大的原因之一。图1发布时间为2018年7月19日，显示美国五大科技公司（Apple、Amazon、Google母公司Alphabet、Microsoft、Facebook）合计市值为4.095兆美元，而标普500中市值排名靠后的282家公司合计市值为4.092兆美元（in Batnick, 2018）。
图1：美国五大科技公司合计市值超过标普500中市值排名靠后的282家公司

Batnick, 2018
从“软件吞噬世界”到“AI吞噬世界”，正反馈/护城河是风险投资机构（VC）不变的追求。我们从已经产生巨头或独角兽的业态和商业模式中至少可以总结出：基于平台经济的正反馈（电商、社交网络、共享经济）、围绕品牌价值的正反馈（硬件、软件、云服务）、以数据为核心的正反馈（搜索引擎、推荐引擎、AI解决方案）、战略投资驱动的正反馈（巨头通过战略投资构建和扩大自己的生态系统）。作为专注泛AI领域的基金，以数据为核心的正反馈是我们最看重的。
当前的第三波AI浪潮的主流技术路线是深度学习+大数据+GPU（以及FPGA、ASIC等）。深度学习的特点是要用大数据来“喂养”才能训练出“智能”，所以基本上AI公司有多少有效数据就有多高的“智能”。今天全球市值最高的几家科技互联网公司都是在2012年卷积神经网络（CNN）取得重大突破，深度学习地位确立之前，“碰巧”拥有海量用户和数据，因而率先进入了以数据为核心的正反馈循环。
按照这样的逻辑，接下来在泛AI领域可能脱颖而出的公司，或者收集特定领域有效数据的能力更强，或者利用数据训练算法并解决特定领域问题的能力更强，或者两者都有。
在移动互联网时代，“人”几乎是唯一的传感器和数据源，而随着5G成熟、传感设备进一步发展普及，IoT将解锁更多的AI应用场景，所以在第一个方向上，我们关注的包括各种IoT解决方案、工业和服务机器人、自动驾驶、智能家居等。图2-图9是我在2019世界人工智能大会（WAIC）展会上的随手拍。
图2：INNFOS智能柔性执行器（SCA）应用展示

WAIC，建裕投研团队
图3：达闼科技服务机器人，应用INNFOS SCA智能柔性关节

WAIC，建裕投研团队
图4：基于地平线公司边缘AI芯片和算法打造的智能车载设备

WAIC，建裕投研团队
图5：美团无人配送车搭载Velodyne激光雷达

WAIC，建裕投研团队
图6：“白蚁传感器”可以有，上排左数第二个

WAIC，建裕投研团队
图7：垃圾处理设备，也可以获得有价值的数据

WAIC，建裕投研团队
图8：汇纳科技客流大数据


WAIC，建裕投研团队
图9：合合信息数据可视化


WAIC，建裕投研团队
在第二个方向上，可能只有算法和AI芯片的底层技术突破才能支持利用更小的数据集和更低的算力成本实现更高的智能水平，我们关注的技术领域至少包括小样本学习、元学习、生成对抗网络、脉冲神经网络，以及类脑芯片等神经形态硬件。最后，针对这几个领域推荐几篇我非常喜欢的综述性论文，每段后附有链接。
小样本学习（FSL）旨在实现从有限示例中学习和对新任务的快速泛化，利用先验知识（prior knowledge），“通过一般化和类比，模拟人类从少数例子中获取知识的能力（mimics human's ability to acquire knowledge from few examples through generalization and analogy）”（Wang and Yao, 2019）。https://arxiv.org/pdf/1904.05046v1.pdf
元学习（Meta-Learning）旨在让机器在学习的过程中同时增强自己的学习能力，也是利用先验经验（prior experience），并且即便是“学习废气（learning exhaust）”也被用来构建持续提升的自动机器学习系统（AutoML），从而更高效地处理新的学习问题（Vanschoren，2018）。https://arxiv.org/pdf/1810.03548v1.pdf
图10展示的是不同的小数据学习方法之间的关系与交集，出自Guo-Jun Qi和Jiebo Luo两位学者2019年3月发表的论文，综述了小样本数据集的无监督（unsupervised）和半监督（semi-supervised）学习的最新进展。https://arxiv.org/pdf/1903.11260v1.pdf
图10：小数据学习方法全景图

Qi and Luo, 2019
生成对抗网络（GAN）在图10中被列为应对小数据挑战的重要工具之一，其可以创造更多数据来辅助学习。这个领域最近的重大进展应该是7月初DeepMind发布的无监督表征学习模型BigBiGAN（大型双向生成对抗网络），在ImageNet上的无监督表征学习和无条件图像生成方面刷新了纪录；BigBiGAN由生成器（generator）、编码器（encoder）和联合判别器（joint discriminator）构成（Donahue and Simonyan, 2019），其中的联合判别器结构创新可以认为是最关键的。https://arxiv.org/pdf/1907.02544v1.pdf
脉冲神经网络（SNN）结合神经形态硬件显然是适合IoT时代的底层技术范式，也是一定要关注的领域。事件驱动的信息处理模式使SNN相比传统深度神经网络可以有更高的能耗效率和数据训练效率；在神经形态硬件上运行时，SNN展现出低功耗、快速推理（fast inference）等优点（Pfeiffer and Pfeil, 2018）。https://www.frontiersin.org/arti ... ins.2018.00774/full
AI芯片方面，最近的重大突破应该是8月初由清华、灵汐科技等多家机构组成的团队研制的跨范式（cross-paradigm）计算芯片“天机（Tianjic）”登上了Nature封面；天机同时支持机器学习算法和类脑电路，实现了一个芯片兼容多种神经模型和算法（Pei, Deng, Song, et al., 2019）。希望这成为第三波AI浪潮以来，影响最深远的芯片架构之一。https://www.researchgate.net/pub ... c_chip_architecture

建裕基金专注于泛人工智能领域的私募股权投资，重点关注大数据、人工智能、智能家居、智能制造、物联网、工业互联网、芯片/集成电路等。



融资或寻求资源合作，欢迎关注公众号联系投资/投研团队。
References:[1] Andreessen, M. (2011) Why Software Is Eating the Worldhttps://a16z.com/2011/08/20/why-software-is-eating-the-world/[2] Graham, P. (2012) The Hardware Renaissancehttp://www.paulgraham.com/hw.html[3] Haskel, J. and Westlake, S. (2017) Capitalism without Capital: The Rise of the Intangible Economy. Princeton University Press[4] Katz, M. L. and Shapiro, C. (1986) Technology adoption in the presence of network externalities. Journal of Political Economy, 94(4): 822–841[5] Katz, M. L. and Shapiro, C. (1992) Product introduction with network externalities. Journal of Industrial Economics, 40(1): 55–83[6] Arthur, W. B. (1999) Complexity and the Economy. Science, 284(5411): 107-109[7] Dorsey, P. (2008) The Little Book That Builds Wealth: The Knockout Formula for Finding Great Investments. John Wiley & Sons[8] Arthur, W.B. (1994) Increasing Returns and Path Dependence in the Economy. University of Michigan Press[9] Hidalgo, C. (2015) Why Information Grows: The Evolution of Order, from Atoms to Economies. Basic Books[10] Batnick, M. (2018) The market cap of the top 5 S&P 500 companieshttps://twitter.com/michaelbatnick/status/1019680856837849090[11] Wang, Y. and Yao, Q. (2019) Few-shot Learning: A Survey. arXiv preprint arXiv:1904.05046[12] Vanschoren, J. (2018) Meta-Learning: A Survey. arXiv preprint arXiv:1810.03548[13] Qi, G. and Luo, J. (2019) Small Data Challenges in Big Data Era: A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods. arXiv preprint arXiv:1903.11260[14] Donahue, J. and Simonyan, K. (2019) Large Scale Adversarial Representation Learning. arXiv preprint arXiv:1907.02544[15] Pfeiffer, M. and Pfeil, T. (2018) Deep Learning with Spiking Neurons: Opportunities and Challenges. Frontiers in neuroscience, 12[16] Pei, J., Deng, L., Song, S., et al. (2019) Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature, 572(7767): 106-111
               

Siyu

大家好 我最新写的文章，欢迎交流 其中总结了两个方向：一是以IoT为入口，解锁更多的AI应用场景；二是寻求利用更小的数据集和更低的算力成本实现更高的智能水平。