“讲卡伤感情，没卡没感情”，沈向洋对大模型的八点思考
在2024外滩大会上，针对大模型时代的机遇与挑战，香港科技大学校董会主席、美国国家工程院外籍院士沈向洋分享了他的八项思考。以下是网易科技对沈向洋演讲内容的整理：思考一、算力是门槛
沈向洋表示，现在做大模型、做深度学习，首先最重要的事情是要有算力：从2010年、2012年开始，每年有6、7倍的增长，最近这几年稳定下来，大概每年有4倍的增长。
在沈向洋看来，算力的增长原因就是大模型越来越大、参数量越来越大，所以算力随着参数的增长，出现了一个平方向的增长。
沈向洋笑称，这几年他提出一句话，叫“讲卡伤感情，没卡没感情”，一个真正做大模型的公司，如果没有1万张卡，都没法说自己是做大模型的公司；如果没有卡、没钱，以后最大的问题就是贫穷限制了想象力。
他以摩尔定律为例，以前CPU的增长遵循着摩尔定律：18个月算力涨1倍；但现在，摩尔定律已经变成了黄氏定律，现在GPU一年得涨4倍的算力，一年涨4倍，十年下来就是100万倍。
这就是算力的门槛。
思考二、关于数据的数据
沈向洋表示，在GPT3出来的时候，大约是2个T的token；到了GPT4的时候，当时大概是12个T左右的数据，现在GPT4、GPT4O大概是20T的数据；而等GPT5出来的时候，预计大概会是200个T的数据，但互联网挖不出200T的数据，还需要想其他的办法解决数据的问题。在他看来，互联网40年积累的数据，似乎就是为了这样一个AI的时刻?
思考三、大模型的下一章
沈向洋表示，大模型发展到现在，下一步要做什么需要非常清晰的思路：从原来的语言模型、文本，接下来要做多模态；而目前的多模态Sora模型虽然做得非常好，但还不是那么强大，里面的物理性质是不能保证的，做不到一个世界模型。沈向洋认为，未来肯定要往具身智能走，一定要往机器人走，机器人的一个特别形态就是自动驾驶。
技术上来讲，沈向洋认为肯定要走生成和理解综合起来的道路，从而走向AGI。
思考四、大模型横扫千行百业
沈向洋表示，大模型现在对整个行业的影响，会有很多很多机会；回到对于算力的需求，今天做通用大模型至少需要上万张卡，而且再往前1万张A卡都不行了，需要1万张H卡；做行业大模型，比如要达到千卡级别；自己公司做企业大模型，可能要百卡训练；但更令人激动的事情是，未来将是个人大模型，现在比如联想、微软推的AIPC，苹果的Apple Intelligence，都是朝着Personal Intelligence在发展。
沈向洋分享的数据显示，到7月底中国备案大模型一共是备案了197个，大概有30%是通用大模型，70%是行业大模型，未来肯定是行业大模型越来越多。
思考五、AI Agent--从愿景到落地
沈向洋表示，目前大家都在讨论讲大模型出来后，人工智能时代真正了不起的超级应用会是什么？实际上超级应用一直存在，就是大家干不出来，那就是AI Agent。沈向洋认为，ChatGPT虽然很了不起、很强大，但是远远没有到Agent的地步。Agent是把人的生产力提高到了一个非常高的高度。在他看来，当下的工作流非常之复杂，但GPT目前还只能是单点的突破，真正要向前走，是要把工作流弄起来，要把行业进行分析，从本身的大模型应用框架到平台，再到知识技能、任务、对话全部接起来，才可以做到这样的结果。
在应用方面，沈向洋表示，他对很多中国公司未来的发展非常有信心。
思考六、重视AI的治理
沈向洋表示，今年世界人工智能大会的主题就是AI治理，这件事情非常重要，而且每个国家对这件事情看法也是有很多不一样的，这件事情AI对民众的冲击、公司的冲击、政府监管的冲击、社会发展的冲击，都令人担心，比如人工智能会不会影响美国大选的结果。
沈向洋认为，接下来人工智能发展很重要的一点，从全球各个国家角度来讲，一定要做主权人工智能，主权人工智能背后一定需要有一个主权云来支持主权人工智能的发展。
思考七、重新思考人机关系
沈向洋发问，GPT给我们带来的冲击，有多少是人机交互的震撼？又有多少到底是机器智能的发展？他表示，《纽约时报》专栏作家John Markoff写的《Machines of Loving Grace》梳理了过去50年计算机科学发展的两条主线，一条主线就是AI：Artificial Intelligence, 第二条线是IA： Intelligent Augmentation（智能增强）。实际上过去这几十年的进展主要是人机交互里面的突破，人工智能在相当长的时间里还是一个工具。过去这四五十年里，图形界面时代出了一个了不起的东西，叫做Windows，产生了一家伟大的公司，叫微软；互联网时代来了，出来一个东西，叫搜索，出来一家公司叫谷歌；然后到了移动互联网推荐，现在又到了AI时代，人机交互最本质的是什么？最本质的是对话，就像ChatGPT这样。ChatGPT加上微软，会不会成为AI时代最伟大的公司？只有时间才能够验证。
思考八、智能的本质，神经网络与符号系统的世纪之争
沈向洋表示，虽然GPT已经如火如荼了，甚至GPT6也可能出现；但实际从做学问的角度回过头来想想，今天对智能的理解还是非常有限的；这跟物理学非常不一样，物理上到浩瀚的星空，下到微小的量子，都希望弄一个大一统的理论来解释，但是今天深度学习虽然系统做的好像很像模像样，但是很多东西不可以解释，也不是很鲁棒（鲁棒性是指系统在异常和危险情况下生存的能力）。
沈向洋表示，GPT3出来了以后，有一个东西叫做智能涌现出来，但是为什么涌现出来？什么时候涌现出来？是什么方式涌现出来？这都是讲不清楚的。所以去年在香港科技大学聚集了一批海内外计算机科学家，在一起讨论涌现智能背后的数学原理到底是什么。
沈向洋最后总结，今天人工智能的发展还在一个相对来讲比较早期的阶段，但是行业上已经有很多的应用，值得下定决心做了，他对未来的发展充满信心。（平章）
页:
[1]