16,816
个编辑
更改
无编辑摘要
Baihai IDP 新一代AI开发生产平台。
<br>
【编者按：大模型的成本问题一直以来是大家重点关注的问题，本文重点讨论了训练大型语言模型（'''[[LLMLLMs]]'''s）需要的成本，并简要介绍什么是）需要的成本，并简要介绍什么是'''[[LLM]]'''以及一些用于优化大模型推理表现的技术。
<br>
虽然很难准确预测'''[[LLMLLMs]]'''s未来会怎么发展，但可以肯定，如果成本问题得到解决，未来会怎么发展，但可以肯定，如果成本问题得到解决，'''[[LLM]]'''会成为我们生活中不可或缺的一部分！
<br>
以下是译文，Enjoy!】
在过去的一段时间，机器学习被认为是一门复杂的、只有少数人可以理解的专业技术。然而，随着机器学习相关的应用变得越来越强大，公众的兴趣也随之高涨，导致大量有关人工智能的内容涌现。直到2022年11月我们看到'''[[ChatGPT]]'''时，高潮出现了，并且在2023年3月的GPT-4发布时达到了第二波高潮，此时即使是原来对AI最怀疑的人也会对当下神经网络的能力感到惊讶。
<br>
人工智能受到了大量群众的关注，网络上出现了大量有关人工智能的内容。其中一些内容无疑是有价值的，但其中相当大一部分在传播恐惧和误导性信息，比如传播人工智能将取代所有人类工作或发现神经网络可以赚取巨额财富的秘密之类的内容。因此，消除关于机器学习和大型语言模型（'''[[LLMLLMs]]'''s）的误解，提供有价值的内容来帮助人们更好地了解这些技术变得越来越重要。）的误解，提供有价值的内容来帮助人们更好地了解这些技术变得越来越重要。
<br>
本文旨在讨论当下机器学习领域中经常被忽视或误解的内容——训练大型语言模型需要的成本。同时，本文还将简要介绍什么是'''[[LLM]]'''以及一些可能用于优化大模型推理流程的技术。通过全面的介绍，希望能说服读者这些技术并非凭空而来。了解数据规模和底层计算有助于我们更好地理解这些强大的工具。
[[文件:大语言模型成本拆解3.png|700px]]
<br>
一些流行的'''[[LLMLLMs]]'''s架构。图片由作者提供架构。图片由作者提供
<br>
目前没有关于'''[[ChatGPT]]'''特别是GPT-4参数数量的信息，但似乎它们大概是相近的。
动图封面
<br>
一些流行的'''[[LLMLLMs]]'''s架构。图片由作者提供架构。图片由作者提供
<br>
你可以发现'''[[ChatGPT]]'''是逐步生成答案，而且生成的内容有时是不完整的单词片段（chunks），这些片段（chunks）被称为tokens。
'''2.1 数据'''
<br>
'''[[LLMLLMs]]'''s需要大量数据来学习自然语言的模式和结构。估算数据的成本可能具有挑战性，因为公司通常使用其业务运营中长期积累的数据以及开源数据集。需要大量数据来学习自然语言的模式和结构。估算数据的成本可能具有挑战性，因为公司通常使用其业务运营中长期积累的数据以及开源数据集。
<br>
此外，还要考虑到数据需要进行清洗、标记、组织和存储，考虑到'''[[LLM]]'''的规模，数据管理和处理成本会迅速增加，特别是考虑到这些任务所需的基础设施、工具和数据工程师时。
