张钹： 硅基机器是否能产生意识？目前只有哲学上的争论

9月6日消息，在今日Baichuan2开源大模型发布会上，中国科学院院士、清华大学人工智能研究院名誉院长张钹表示，硅基的机器是否能具有意识，目前在科学上是没有条件讨论这个问题的，只存在哲学上的争论。
张钹表示，到现在为止全世界对大模型的理论工作原理、所产生的现象都是一头雾水，所有的结论都推导产生了“涌现现象”；而所谓涌现就是“给自己一个退路，解释不清楚的情况下就说它是涌现”，实际上这反映了我们对它一点不清楚。


在他看来，大模型为什么能够产生出来一个非常连贯的、多样化的人类语言，主要靠三个措施；一个措施是文本的语义表示，也就是把文本里的词包括句包括段落全变成向量，给构造一个连续的拓扑空间创造了条件；第二个措施是转换器，注意机制，注意机制可以保证上下文的一致性；最后一个，是下一个词的预测；在这三个条件训练下，就是在连续的拓扑空间中构造了非常光滑的流形，这个流形是局部度量空间，这个流形是代表词在它的条件概率分布，所以在这个流形里采样的时候出来的就是human like takes。
张钹认为，ChatGPT跟人类自然语言生成原理不一样的地方，最根本之处是ChatGPT生成的语言是外部驱动的，而人类是attention based推动的，是在自己意图的情况下驱动的；所以GPT自己都不知道自己在干什么，内容的正确性和合理性是不能保证的；如果想让GPT语言达到人类自然语言一样的语言，必须使计算机具有意识，但“硅基的机器有没有可能具有意识？目前来讲科学上是没有条件讨论这个问题的，现在只存在哲学上的争论。”
以下是张钹演讲实录：
今天我来参加百川这个7B、13B开源模型的发布会，首先表示祝贺，祝贺百川公司在成立短短几个月里就能推出来高质量的开源大模型，3个月内能下载量接近500万次，这是很大的成就。也为我国大模型产业作出贡献。
但是我今天要讲的不是这个，我重点借这个机会表示公司把这个开源模型定位在助力学术研究这点上，我要做讲解，表示对这样的工作的支持。
大家知道，到现在为止我们国家已经推出很多从几十亿到几百亿不同规模几十种的大模型，这些大模型主要集中在垂直领域的应用上，很少，至少现在没看到定位在助力学术研究上。我认为这个学术研究非常重要，这个学术研究研究什么，主要研究大模型本身。为什么有这个需要？这个工作非常迫切，非常重要。因为到现在为止全世界对大模型的理论工作原理、所产生的现象都是一头雾水，所有的结论都推导产生了“涌现现象”，所谓涌现就是给自己一个退路，解释不清楚的情况下就说它是涌现。实际上这反映了我们对它一点不清楚。所以我认为这个问题必须要把它搞清楚，我们才有可能发展出来中国特有的有中国特色的大模型。
在这个问题上我主要讲几个问题，一个问题，我们必须回答这样一个大的模型为什么能够产生出来一个非常连贯的、多样化的人类语言，说的全是人话，OpenAI为什么能够说出来Human like takes，说的全是人话，并不是我们知道它说的是什么，这个实际上是非常surprise的，大家不要认为一定是这样。所以OpenAI在做这个事情的时候是冒着很大的风险，其实它不清楚这么大规模的文本去训练它，究竟能不能收敛，收敛完以后究竟收敛到哪儿去。所以后来就出现了，虽然有好多质量不高，但是它觉得能成为Humnan like takes，这个是非常惊奇的事情。
我们怎么解决它，认识它，我的看法是这样，这里主要靠三个措施。一个措施是文本的语义表示，也就是说我们把文本里的词包括句包括段落全变成向量，不只是词变成向量，它经过抽象以后，上面各个都变成向量，这就给构造一个连续的拓扑空间创造了条件。如果原来是离散的，这个空间绝对不会有。第二个转换器，注意机制，注意机制可以保证上下文的一致性。最后一个下一个词的预测。我们可以看一下，在这三个条件训练下面它最后训练出来的是什么个什么东西，是在个紧的连续的拓扑空间中间构造了一个流形，这个流形是局部度量空间，这个数学性质非常之好的，直观地讲，就是它形成了一个非常光滑的流形，而且这个流形是代表词在它的条件概率分布，而且它的条件前面是整个文章，所以你在这个流形里头采样的时候它出来的一定是human like takes，不可能出来别的东西，因为它附近的都是语义相近的，即使偏一点语义也是相近的。这个问题我们需要研究，如果掌握了这个问题我认为我们今后不需要这么多的数据。因为大家后来也做了一些工作，当然它有一个门槛，你超过这个门槛以后这个流形才能形成，如果这个流形不形成的话，你这个数量没有到那么大的程度，但是这个数量究竟是多少，是不是我们现在需要的那样，这个是需要我们研究的问题。
第二个问幻觉。它为会产生幻觉？这个问题就涉及到ChatGPT跟人类自然语言生成原理不一样的地方。不一样的地方在什么地方，最根本的是，ChatGPT生成的语言是外部驱动的，而人类是attention based推动的，是在自己意图的情况下驱动的，所以它的生成是在意图控制下生成的，我们是在外部驱动下生成的，它自己都不知道自己在干嘛，所以它内容的正确性和合理性是不能保证的。所以因此在没有对齐之前，它基本上能达到60%，大量的是不合理的，不正确的，因为前面那种办法，构成流形的办法不能保证它内容是正确是合理的。所以只有经过ALignment才能解决这个问题，现在我觉得ALignment国内做的工作太少，不如国外的，大家想一下它之所以能从GPT3.5到GPT4，几个月的时间有那么多的变化，这主要就是ALignment的功劳，所以ALignment这方面我们是有点轻视的，我们觉得随便找几个人来标注就可以了，其实完全不对的，他们是世界上最优秀的团队来做这个事情。大家知道OpenAI干这个事的有80几个人，10个人是大陆过去的，中间骨干有3个人都在我们团队里面干过，是非常优秀的。所以这点我们国家可能不够重视。
这里头就涉及到治理和开放的问题，因为实际上我们做ALignment是做治理，希望它不产生（问题），但是大家一定要知道治理以后它的质量、多样性肯定下降，也就是说治理的越多，它的质量肯定受影响，所以这里头有一个非常重大的问题，我们如何去平衡这二者的关系，开放和治理。刚才说了产生这样的结果是必然的，如果要问ChatGPT最大的特点是什么，生成结果的多样化，这是它的灵魂，因为有了多样化以后才有可能有创造性，你如果追求多样化的话必然会产生错误，所以这两个是一个问题的两个方面，所以我们在治理的时候必须要跟质量一起做一个平衡。所以这个问题我觉得我们应该进一步研究。
我把这个语言暂时叫做GPT语言，我们在ChatGPT里头又生成一个我们从来没有见过的语言叫GPT语言，跟人类的自然语言我认为不一样，所以这里第五个问题，我们将来努力的方向是什么，我们是不是想把GPT语言把它完全对齐到人类的自然语言？我们看看它的可能性和必要性，我认为这个可能性不大，因为你要把GPT语言完全跟人类的自然语言一样，你必须解决一个问题--让GPT有自我意识。刚才我们说过GPT跟人类语言不一样的地方，它是外部驱动的，人类的自然语言是内部驱动的，是自我意识驱动的，intention based，你如果想使GPT语言达到人类自然语言一样的语言，你必须使计算机具有意识。一个硅基的机器有没有可能具有意识，目前来讲科学上是没有条件讨论这个问题的，现在只存在哲学上的争论。从哲学的争论来讲，现在有两条路按照唯物主义行为主义的观点来讲我们只要追求行为主义上的相似形，而不是追求内在机制的一致性，人工智能就有这一派，我们叫做唯物主义学派或者行为主义学派，现在人工智能绝大多数走的是这条道路，是人工智能的主流。
人工智能还有一个少数派是唯芯主义，他认为唯有内在系统达到跟人类一样才有可能达到真正的智能，这个我们认为很难做到或者做不到，因为硅基的机器是不是会做成跟人类碳基的智能一样，这个在哲学上有点说不通，更不用说科学上，更说不通。
最后要讲它的一个必要性。其实人工智能追求什么，追求机器的智能，希望这个智能跟人类的智能不一样，它某些方面比人类有优势，某些方面比人类优缺点，这是我们追求的目标，因为只有在这个目标情况下我们才能够得到人类和机器的和平共处。其实人工智能绝对不是去追求做一个机器跟人类一样，这个必要性绝对不需要。我们为什么要做出一个跟人类一样的机器？如果需要的话，我们多生几个人不就完了吗，干嘛非去造一个跟人类一样的机器呢，所以从必要性来讲没有必要，所以我觉得大家在这个上面争论，我认为意义不大。所以我觉得目前来讲最重要的，我们要研究、了解GPT语言，只有我们彻底了解了它，我们才能更好地发展它，使用它，或者说从产业的角度来讲才可以发展出更健康的人工智能产业。我希望百川智能公司能在这方面起引领作用，谢谢大家。
                    
               
               
               
               
               
               
                    
                        延伸阅读
                        
                           
                           
                           
                                特斯拉警告：全球性工厂关停将致第三季度产量和交付量下滑
                           
                           
                           
                           
                                一汽奥迪员工回应内部购车可以五折：属实 像天上掉饼
                           
                           
                           
                           
                                苹果发力对话式AI 每日投入数百万美元