近年来,增强学习(RL)已成为一种有力的工具,可在光网络(例如路由和波长分配(RWA)[1]等光网络中解决复杂而染色的优化问题[1],路由,调制和频谱分配(RMSA)[2]以及虚拟网络嵌入[3]。RL实现的性能效果表明其在现实世界中的应用潜力。但是,与其他机器学习(ML)算法类似,RL模型具有黑盒性质,使它们难以解释。这种特征使RL模型难以信任,因此在实际的光网部署中采用。对于监督的ML模型,Shap(Shapley添加说明)[4]是一种可解释的AI方法,已被广泛采用。Shap是一种基于合作游戏理论的方法,用于量化单个特征对模型决策过程的影响。Shap值提供了对每个功能的相对重要性(影响)的见解,从而估算了它们如何对模型的输出做出贡献。将这种解释性框架应用于传播质量(QOT)预测任务时,已显示出有希望的属性[5]。最近,由于需要解释和使RL模型的决策过程透明的驱动,可解释的RL(XRL)受到了越来越多的关注。在光网络的上下文中,XRL的概念仍然相对尚未探索。先前建议通过反向工程网络状态[6]或网络中资源使用分析(链接)来解释和解释RL模型的决策[1,7]。但是,这些研究并未分析不同特征如何影响RL药物的决策。因此,在光网络背景下,RL代理学到的政策仍然存在一段差距。这至关重要,因为网络运营商需要在其在实际网络中部署之前了解RL学习策略背后的推理。在这项工作中,我们旨在利用Shap(Shapley添加说明)[4]来解释应用于RMSA问题的RL模型的行为。为此,我们提出了一种使用训练有素的RL代理的观察和行动来以有监督的学习方式训练ML模型的方法。由Shap使用所得的ML模型来提取解释。与[2]中的RMSA问题的每个组件分别求解,RL代理解决路由问题,基于路径长度的调制格式选择以及基于第一拟合策略的频谱分配。我们分析了该问题的三种变化,改变了奖励函数和选择RL代理的不可行的动作的可能性。我们特别有兴趣解释重要的网络和LightPath请求特征,该特征导致RL模型拒绝该请求。结果允许我们确定哪些功能和哪些值范围影响RL代理接受或拒绝LightPath请求。我们观察到,通过更改奖励功能,RL策略会更改拒绝请求时所考虑的重要功能。引入了防止RL模型采取不可行的措施的掩码,使功能的重要性更加均匀地分布在不同的路由选项上。我们认为,提出的方法对于增加将在真实网络中部署的RL模型的可信度可能是有价值的。
2022 年 9 月 30 日 2021 年 9 月 30 日 2022 年 9 月 30 日 2021 年 9 月 30 日 集团财务目标 平均有形股东权益税后回报率 1 8.2% 1.5% 8.1% 4.8% 成本收入比 2 71.6% 88.9% 72.7% 81.7% 普通股一级资本比率 13.3% 13.0% 13.3% 13.0% 杠杆率 6,7 4.3% 4.7% 4.3% 4.7% 损益表 总净收入,十亿欧元 6.9 6.0 20.9 19.5 信贷损失准备金,十亿欧元 0.3 0.1 0.9 0.3 总非利息支出,十亿欧元5.0 5.4 15.2 15.9 调整后成本(不含转型费用),单位:十亿欧元 3 4.8 4.7 14.9 14.6 税前利润(亏损),单位:十亿欧元 1.6 0.6 4.8 3.3 利润(亏损),单位:十亿欧元 1.2 0.3 3.7 2.2 归属于德意志银行股东的利润(亏损),单位:十亿欧元 1.1 0.2 3.2 1.8 资产负债表 4 总资产,单位:十亿欧元 1,498 1,326 1,498 1,326 净资产(调整后),单位:十亿欧元 5 1,065 1,002 1,065 1,002 平均生息资产,单位:十亿欧元998 946 982 929 贷款(贷款损失准备总额),十亿欧元 503 456 503 456 平均贷款(贷款损失准备总额),十亿欧元 498 449 487 440 存款,十亿欧元 631 586 631 586 贷款损失准备,十亿欧元 5.0 4.8 5.0 4.8 股东权益,十亿欧元 62 57 62 57 资源 4 风险加权资产,十亿欧元 369 351 369 351 其中:操作风险 RWA,十亿欧元 58 65 58 65 杠杆敞口,十亿欧元7 1,310 1,119 1,310 1,119 有形股东权益(有形账面价值),单位为十亿欧元 5 55 51 55 51 优质流动资产(HQLA),单位为十亿欧元 227 217 227 217 流动性储备,单位为十亿欧元262 249 262 249 员工数量(全职员工) 84,556 84,512 84,556 84,512 分支机构 1,572 1,805 1,572 1,805 比率 税后平均股东权益回报率 1 7.4% 1.4% 7.2% 4.3% 信贷损失准备金占平均贷款的基点 28.1 10.4 23.9 7.9 贷存比 79.7% 77.9% 79.7% 77.9% 杠杆率(报告/分阶段实施) 7 4.3% 4.8% 4.3% 4.8% 流动性覆盖率 136% 137% 136% 137% 每股信息 每股基本收益 欧元0.58 欧元 0.15 欧元 1.48 欧元 0.83 欧元 稀释每股收益 0.57 欧元 0.14 欧元 1.46 欧元 0.81 欧元 基本流通股账面价值 5 欧元 29.62 欧元 27.32 欧元 29.62 欧元 27.32 欧元 基本流通股有形账面价值 5 欧元 26.47 欧元 24.46 欧元 26.47 欧元 24.46 欧元 1 基于 AT1 息票后归属于德意志银行股东的利润(亏损);有关更多信息,请参阅本报告的“附加信息:非公认会计准则财务指标” 2 非利息支出总额占计提信贷损失准备前净利息收入加上非利息收入的百分比 3 调整后成本的对账表在“附加信息:非公认会计准则财务指标”部分提供;调整后成本” 4 期末 5 更多信息请参阅本报告“附加信息:非公认会计准则财务指标” 6 从 2022 年第一季度开始,杠杆率数字按报告形式呈现,因为已取消全负载定义,因为这仅会产生无关紧要的差异;早期期间的比较信息仍基于德意志银行之前的全负载定义 7 杠杆率敞口和相关比率(全负载和分阶段引入)已更新至 2021 年 9 月 30 日,以反映有关现金池结构的内部政策指导 由于四舍五入,本文件中出现的数字可能与提供的总数不完全相加,百分比也可能无法准确反映绝对数字