摩尔定律是英特尔联合创始人戈登摩尔在 1956 年提出的,预测计算机芯片上的晶体管数量每年将大约翻一番 (后来每年被英特尔首席执行官大卫・豪斯改成每 18 个月)。
近年来摩尔定律已经有明显的放缓趋势,但黄仁勋称至少在英伟达的 AI 芯片上,摩尔定律不仅没有放缓,而且英伟达的进步速度要远远超过摩尔定律。
黄仁勋表示:我们可以同时构建架构、芯片、系统、库和算法等,如果你这样做那么你就能比摩尔定律发展得更快,因为你可以在整个堆栈中进行创新。
与此同时黄仁勋也否认人工智能发展正在放缓的预测或分析,相反,黄仁勋称现在有三条活跃的人工智能扩展定律:
预训练:即人工智能模型从大量数据中学习模式的初始训练阶段
后训练:即使用人工反馈等方法微调人工智能模型的回答
测试时计算:在推理阶段让人工智能模型在回答每个问题后有更多时间思考
黄仁勋称摩尔定律在计算史上非常重要,因为该定律降低了计算成本,同样的事情也将发展在推理领域,英伟达提高了性能因此推理成本也会降低。
最后黄仁勋还表示无论是在性能还是成本承受能力方面,测试时计算的直接解决方案是提高计算能力,从长远来看,人工智能推理模型可用于为人工智能模型的预训练和后训练创建更好的数据。