摘要 由于其自我学习和进化特性,人工智能 (AI) 系统比传统的社会技术系统更容易出现意想不到的后果,也更难控制。为了解决这个问题,机器伦理学家提议通过设计人工道德代理来在人工智能系统中构建道德 (推理) 能力。我认为这很可能会导致更多而不是更少的意想不到的后果,并且可能会减少而不是增加人类对此类系统的控制。相反,我建议我们应该通过为人工智能系统的进化制定一系列元价值观,将人工智能系统置于人类有意义的控制之下。除此之外,这还需要对人工智能系统进行负责任的实验,这可能无法保证完全控制或防止所有不良后果,但仍然可以确保人工智能系统及其进化不会失控。