更改

{{4}}作者：[[赵汀阳]] 　　摘要：人工智能危险之处不是能力，而是自我意识。只要人工智能拥有对自身系统的反思能力，就有可能改造自身系统，创造新规则，尤其是，如果人工智能发明一种属于自己的万能语言，能力相当于人类的自然语言，那么，所有的程序系统都可以通过它自己的万能语言加以重新理解、重新构造和重新定义，那么就非常危险。如果人工智能拥有了拟人化的情感、欲望和价值观，必然更为危险，因为人的欲望和价值观正是一切冲突的根源。----这个题目显然是模仿康德关于先天综合判断“何以可能”的提问法。为什么不问“是否可能”？可以这样解释：假如有可信知识确定人工智能绝无可能发展出自我意识，那么这里的问题就变成了废问，人类就可以高枕无忧地发展人工智能而尽享其利了。可问题是，看来我们无法排除人工智能获得自我意识的可能性，而且就科学潜力而言，具有自我意识的人工智能是非常可能的，因此，人工智能的自我意识“何以可能”的问题就不是杞人忧天，而是关于人工智能获得自我意识需要哪些条件和“设置”的分析。这是一个有些类似受虐狂的问题。