AI/ML模型通常被视为“黑匣子”,这是由于不透明的模型训练过程并挑战了破译的边缘效应。解释和解释模型可能是一个重大挑战。SR 11-7要求将实施该理论的模型方法和处理组件,包括数学规范和数值技术和近似值,应详细说明,并特别注意优点和局限性。该指南还强调了将模型构成有效挑战的重要性,因为其概念性的声音是独立验证的关键方面。通过遵循SR 11-7,我们认为可以使用特征重要性分析,本地和全球解释性等方法来解决与可解释性和解释性有关的问题。
自动驾驶汽车、社交和工业机器人、基于图像的医疗诊断、基于语音的知识和控制系统(例如 Alexa、Siri)以及推荐系统是一些应用领域,其中 AI/ML 辅助数字工件已经支持日常惯例和活动。可解释人工智能 (XAI) 和可解释机器学习 (IML) 都是关注用户为应对自动化系统渗透社会、经济、工业和科学环境的激增而创造的术语。例如,当自动驾驶汽车发生碰撞时,有什么好的解释?当 Alexa 被要求解释为什么英国的通货膨胀率如此之高,而通常的回答却非常不合适时,有什么好的解释?当社交媒体巨头为粉丝提出建议并向普通用户投放广告时,有什么好的解释?这些问题,特别是在任务关键型或影响生命的系统中,是由此类系统日益复杂的情况所引发的,在解释和解释其决策、结果或行为时,这些系统不可避免地会变成“黑匣子”。尽管已经采取了一些有趣的算法方法和实现(例如 LIME、IBM Protodash 和 SHAP(SHapley Additive exPlanations))来应对这一挑战,以看透“黑匣子”并理解其行为,但这些方法和实现主要由 ML 开发人员推动,旨在改进 ML 模型,而不是为系统消费者提供结果的某种解释或解释。在更广泛的多学科背景下,“什么是对外行用户的良好解释”这个问题的答案变得更具挑战性,正如我们呼吁的那样,从哲学到社会学、经济学和计算机科学。在此背景下,XAI 应该涉及需要解决的另一个层次的讨论:我们作为人类与 AI 系统的关系。尽管如此,“解释”一词源自拉丁语动词“explanare”,字面意思是“使水平”。因此,讨论和科学
深度学习 (DL) 是机器学习 (ML) 的一个子领域,专注于开发深度神经网络 (DNN) 模型 (Shahroudnejad,2021)。DNN 是能够在各种任务上实现高性能的复杂模型。许多深度神经网络模型都是不可解释的黑匣子,这通常导致用户对它们的信任度降低 (Miller,2019)。这种可解释性和信任度的缺乏可能会产生负面影响——人们可能会使用会犯错误的人工智能,或者不使用可以提高获得期望结果的机会的人工智能。为了提高黑盒模型的可解释性和可信度,可解释人工智能 (XAI) 研究专注于开发方法来以人类可以理解的方式解释这些模型的行为 (Molnar,2020)。
最小信息完备正算子值测度 (MIC-POVM) 是量子理论中一种特殊的测量,其中其 d 2 结果的统计数据足以重建任何 d 维量子态。因此,MIC-POVM 被称为量子信息的标准测量。在这里,我们报告了一项纠缠光子对实验,我们认为这是第一次证明遵循与设备无关的协议(即,将状态准备和测量设备建模为黑匣子,并仅使用输入和输出的统计数据)的量子比特 MIC-POVM。我们的认证是在选择自由、无通信和公平抽样的假设下实现的。© 2020 美国光学学会根据 OSA 开放获取出版协议的条款
在监管人工智能产品方面,需要考虑一些具体挑战。从定义上讲,机器学习涉及计算机从经验中学习的能力的演变,因此使用这种技术的设备可能今天符合标准,明天就不符合了。1 人工智能还可能能够通过匹配来自不同数据点的数据来重新识别匿名数据。11 另一个主要问题是“黑匣子”现象。机器学习系统中发生的复杂决策很难被人类解开和理解,在某些情况下,该过程将是开发人员或技术公司的专有产品。这在评估系统的可靠性和确定偏见是否损害了其决策方面带来了问题。
机电系统系统的特征是它们的组件与不同技术领域之间的协同相互作用。这些相互作用使系统能够获得更多的功能,而不是独立考虑的组件的功能之和。传统的设计方法不再足够,并且需要新的协同和多学科的设计方法,并在不同学科的专家之间进行密切合作。sysml是用于系统建模的通用多视图语言,并被确定为对此工作的支持。在本文中,提出了一种基于SYSML的方法。此方法包括两个阶段:一个具有外部观点的黑匣子分析,提供了全面且一致的设置要求,以及逐渐导致系统内部体系结构和行为的白盒分析。
学术图书馆可以采用证明和验证作为查询信息系统和资源的手段。这包括越来越多地本身就是机器学习系统或使用机器学习方法开发的收藏。将“收藏视为数据”的认可是朝着这个方向的一个重要转变。21 在适当的情况下,证明和验证应伴随机器学习衍生的内容和系统。图书馆还必须参与 XAI 作为授权,以评估现有、正在出现或必要的公共政策影响。目前,图书馆在这方面缺乏宣传。对政策和治理框架的要求提醒我们,机器学习“远非纯粹的机械,它深刻而不可避免地具有人性”22,虽然复杂且不透明,“但‘黑匣子’里充满了人。”23
摘要:本文探讨人工智能引入医学领域的话题。技术提供的机遇可以改善医疗保健服务并使其更加高效;同时,必须通过遵守宪法秩序将人工智能的使用纳入健康保护的管理之中。文章通过反思深入探讨了人与机器的关系,强调需要建立支持医生的人工智能系统,以便能够在技术创新和人类代理的作用之间建立积极的关系。该论文的基本假设是需要开发以人类为中心的人工智能系统,以保护人类尊严和医疗保健人员的决策能力。此外,医疗管理的专业性也受到关注,其特殊性解释了对算法黑匣子的厌恶和对可解释的人工智能系统的倾向。
