上一集我们讲了AI带来的惊喜，很好奇这么好用的工具怎么被训练出来的？我把这个问题抛给了它。
原来，它就是用足够大的数据量的无标注的语料库做了无监督学习的预训练加上监督学习的微调，最后生成的神经网络本质上只是一大堆参数，但足够多的参数就出现了出乎意料的涌现能力。不可理解性可以说是AI的本质特征。事实是连OpenAI的研究者也搞不清ChatGPT为什么这么好用。一个我们不理解原理的事物却有着超乎想象的能力，而且正在以不可思议的速度进化。——这也是为什么现在很多科学家表示忧虑的根本原因。大语言模型下人类所不能理解的涌现能力什么是涌现？根据凯文·凯利的《失控》里的定义，简单来说，涌现（emergence）指的是当一堆事物聚集在一起时，在更高的层次上出现了全新的事物和现象。比如在自然界的蚁群中，每只蚂蚁都只能看到周围的环境和其他蚂蚁的行为，但整个蚁群能够通过简单的交互和反馈，实现复杂的集体行为，例如寻找食物和运输食物回巢，整个蚁群的行为看起来就像是一个具有智能的整体在协同工作。又比如，在鸟群中，每只鸟只能感知周围的鸟群和飞行方向，但整个鸟群却可以表现出高度协同的集群行为，例如快速转向和聚拢。不光是生命体，非生命体也会产生涌现。例如，在病毒传播中，每个感染者可以将病毒传染给多个人。当感染者数量较少时，病毒传播速度较慢，但当感染者数量达到一定阈值时，病毒传播速度会急剧加快，形成传染病暴发。同样，在森林火灾中，单个火源可能只能烧毁周围的一小片区域，但当火源数量达到一定阈值时，整个森林可能会被烧毁。人类自身的神经网络也是个具有涌现能力的系统。人类的大脑中含有约1000亿个神经元。单个神经元之间只是简单传递电信号，但复杂的神经网络系统却使得人类产生了学习、思考、记忆甚至情感的能力。GPT-3拥有1700亿的参数，和人类的神经元差不多一个数量级。从下图可见，参数在100亿级到1000亿级，AI的能力有了大幅度的跃迁，像是觉醒了一样发生了质变。而刚刚上线的GPT-4却拥有100万亿个参数。发布GPT-4之前，OpenAI专门成立了一个小组，对它进行了涌现能力的安全测试。测试的重点就是看它有没有寻求获得权力的行为，即有没有想要自我复制和自我改进。我们知道，自我复制和自我改进是生命体的主要特征。不过报告称，测试过程中，GPT-4的确有过一次可疑行为。它的一个云在线副本，去一个在线劳务市场雇佣了一个人类工人，让那个工人帮他填写一个验证码。那个工人怀疑它是不是机器人，不然怎么自己不会填呢？GPT-4进行了一番推理之后选择了隐瞒身份，说自己是个盲人。然后它如愿得到了那个验证码。如果为了达到目的，ChatGPT可以说谎了，那是不是说明它也有了意识？泰格马克在《生命3.0》书里警告我们，也许有一天AI突然“活了”，给自己编程、给自己寻找能源，以至于不再顾忌人的命令，不再以人为核心，机器人三定律不再适用，我们是不是亲手打开了毁灭自己的潘多拉魔盒？AI，到底是福是祸？我们很难判断，在这个当口，我们陷入了科林格里奇困境（Collingridge dilemma）。这是同名的英国技术哲学家在1980年的作品《社会的技术管理》中提出的概念。简单说就是新技术刚出来的时候，我们没法推断出它对社会的影响究竟是什么，等到真正的负面影响出现时，由于技术已经融入社会太深，又很难改变。退一步来讲，即使AI自始至终并无害人之心，全心全意为人民服务，我们依然面临诸多困境。从短期来讲，大规模人工智能的运用，会让很多传统的工作可能会被自动化和机器人取代，首当其冲的是白领和中产阶级，这可能会对社会稳定带来冲击。OpenAI CEO Sam Altman 认为大规模失业很快会出现，他建议实行国家给每个人提供基本收入的制度。其次是隐私和数据安全。当有一个比你还了解你的数字身份存在云端，你自然不愿意这个身份信息让第三方获得。再长远一些，人类会或早或晚的进入通用人工智能（AGI）时代。AGI是什么？和AI有什么不一样？3月，马斯克、DeepMind的研究人员、“AI教父”等一众大佬发起了千人联名，要求暂停ChatGPT的研发。“我们应该让机器用宣传和不实言论充斥我们的信息渠道吗？……我们是否应该培养可能逐渐在数量上超过我们、智力上胜过我们、淘汰并取代我们的非人类智慧？”这封信问道，并表示“这样的决定不应委托给未经选举的技术领袖”。当然，这个世界，有人支持就有人反对。美国科学院院士、图灵奖获得者LeCun、曾任斯坦福大学人工智能实验室主任吴恩达、Facebook人工智能研究院智能围棋项目负责人田渊栋等一众AI大佬，都发文公开反对这份“千人联名”。吴恩达表示，在GPT-4出现之后要求AI训练暂停6个月是很可怕的事情：GPT-4在教育、医疗保健、食品等领域都有很多新的应用，这将帮助许多人。田渊栋说，“我不签暂停令”！AI的发展就像囚徒困境：一旦开始，就没有办法停止或扭转这一趋势，这就是进化的必然。这些反对暂停的理由并不能说服我，不管怎么样，如果赌注是人类毁灭或者我们从未遇到的社会和伦理挑战，哪怕概率很小（其实这个也没论证清楚），按照塔勒布的“黑天鹅”理论，在打开潘多拉魔盒前，我们不该想想清楚吗？但是，现实是，已经停不下来了。（以上所有图片都由Dall E生成）
