在使用ChatGPT的过程中，每次提问所消耗的电能，足以让一个普通家庭维持一天的运作。然而，著名数学家陶哲轩却认为，这项技术底层的数学原理，实际上都能在高中教材中找到答案。他并不是在开玩笑。作为菲尔兹奖获得者，他将大模型的构建拆解得一清二楚，得出的结论十分简明：其核心仅包含两种数学工具——微积分和矩阵乘法。别急着翻页，也许你会觉得这些概念与自己相距甚远，然而，今天的讨论将帮助你在下次看到“AI黑箱”或“神经网络奥秘”时，心中能够保持冷静。接下来，我们将深入探讨这些内容。
说到模型的训练，其实和教孩子认知动物没有太大区别。当模型第一次将猫认成狗时，怎么处理？我们会告诉孩子：“不，这是猫。”模型也照样在反馈中进行校正，经过自我对比后，它会分析错误的原因和程度。在这个过程中，微积分便发挥了它的作用，它能准确计算出每个参数对发生错误的“贡献”有多少。举个例子，假设涉及到一千个参数旋钮，如果模型出错，微积分将帮助我们分析：将第三个旋钮向左转半圈、将第七个旋钮向右转一圈，能最有可能提高正确率。这个过程被称为“梯度下降”。别看名字复杂，实际上就是在寻找最低点——沿着最陡的坡度到达谷底，再在那停下。
至于矩阵乘法，它的表现则更加直观。可以把整个模型想象成一个庞大的Excel电子表格，里面满是数字。当你输入一句话时，它会被转化为一组数字。接着，通过与第一层参数矩阵相乘，生成中间结果，再依次传递到下一层，反复的运算，最后得出结论。这一过程看似简单，但却极为高效。例如，当你问“苹果手机好用吗”时，模型首先将问题转化为数字向量，然后与第一层的参数进行矩阵乘法，经过数十次的计算，最终生成一个答案，如“苹果手机在系统和生态方面表现优越”。它为何能够判断“苹果”既指水果又指公司？这是因为在矩阵乘法的计算中，它能够自动评估“苹果”这个词与上下文的关系。当句子中包含“手机”和“iOS”时，模型倾向于将“苹果”理解为科技相关的实体；反之，如果上下文提及“甜”和“好吃”，它则会倾向于水果的理解。 吉祥体育app
虽然“注意力机制”的概念听上去很高深，但细究其原理，其实也不过是两个矩阵相乘，用以计算词与词之间的关联权重，再通过加权求和的过程进行处理。此时，或许你会疑惑：仅仅这些数学工具，难道足以构建出如此庞大的模型吗？答案并不在于数学本身，而在于其规模。千亿参数级别的大模型，在进行一次前向计算时，所需的矩阵乘法次数可谓天文数字。要训练这样一个模型，需要将海量数据不断输入，每一步都需计算梯度、调整参数，循环几百万次甚至上亿次。
而你如果仅用纸笔，理论上也可以模拟出一个小型的模型。用三层矩阵手动调整参数，你可以在一个周末内制作出一个简单的聊天机器人。然而，要让这样的模型在真实环境中发挥作用，必须在参数量、数据量和计算能力上进行大量投入。当达到一定规模时，模型的性能便会自然而然地显现出来。这不完全是数学的胜利，而更像是工程技术的成功。那些将AI神化的科普人士，或者对相关话题一知半解，或者故意让人觉得“你们不懂”。
陶哲轩的观点其实非常明确：基础的数学知识就只有这么多。微积分负责优化，矩阵乘法负责计算，两者相辅相成，一者负责调整方向，一者负责最终结果。如果模型在学习中遇到停滞，那是微积分在寻找问题；而如果模型能够流畅地生成文本，那则是矩阵乘法在强力运算。你真正应该关注的，不是是否有某种神秘的力量在运作，而是它的计算过程，以及在何时、为何会出错。 吉祥体育app
经过这些论述，如果下次有人告诉你：“只有博士才能理解AI”，你可以自信地告诉他们：在原理上，掌握基础的高中数学就足够了。真正的复杂性在于规模、数据量和计算资源，这些都是金钱和时间的问题，而非智力的问题。如果有兴趣上手实践，不妨安装Python，尝试几个矩阵乘法，编写一个简单的梯度下降调参demo，你将在一个下午内见证模型从无到有的转变。那一刻，你或许会和我一样，意识到所谓的人工智能，其实并不遥远。
