神经网络是模糊的,符号系统是支离破碎的。稀疏自动编码器帮助我们将它们组合起来。

神经模型和符号模型以根本不同的方式压缩世界,而稀疏自动编码器 (SAE) 提供了连接它们的桥梁。后神经网络是模糊的,符号系统是支离破碎的。稀疏自动编码器帮助我们将它们组合起来。首先出现在《走向数据科学》上。

来源:走向数据科学

早在我们制造计算机和人工智能之前,我们就已经建立了旨在系统地推理人类行为的机构——法院。法律体系是人类最古老的推理引擎之一,以事实和证据为输入,以相关法律为推理规则,以判决为输出。然而,从人类文明一开始,法律就一直在不断发展。最早的成文法——《汉谟拉比法典》(约公元前 1750 年)——代表了将道德和社会推理形式化为明确的象征规则的首批大规模尝试之一。它的美在于清晰和统一——但它也很僵化,无法适应环境。几个世纪后,普通法传统,如多诺霍诉史蒂文森案(1932)所塑造的传统,引入了相反的哲学:基于先例经验和案例的推理。正如我们所知,当今的法律体系通常是两者的结合,而不同国家的比例有所不同。

法律 成文法 汉谟拉比法典 普通法 多诺霍诉史蒂文森案 (1932)

与法律体系中的紧密结合相比,人工智能中的类似范式对——象征主义和联结主义——似乎更难联合起来。后者主导了近年来人工智能发展的浪潮,其中一切都是通过大量数据和计算资源隐式学习的,并通过神经网络中的参数进行编码。事实上,这个方向在基准性能方面已被证明非常有效。那么,我们的人工智能系统中真的需要符号组件吗?

象征意义 联结主义

符号系统与符号系统神经网络:信息压缩的视角

高通滤波器 低通滤波器 离散化 清晰的边界 (UIUC,is_a,机构) 平滑 属性符号系统神经网络 属性 符号系统 神经网络 幸存信息 离散的、模式定义的事实 稳健性 高