主算法(算法 1)首先从我们需要解决的目标 6 实例(算法 2)创建一个子实例任务池,并可能从其他未解决的实例中创建子实例以进一步提高性能(选项 MIX)。通常,任务池包含 100,000 个任务或子实例。8 在每次迭代中,采样器/老虎机从池中挑选一批任务子实例并将其传递给 9 RL 代理。一批通常有 500 个任务或子实例(算法 3)。10 基于蒙特卡洛树搜索(算法 4)的 RL 代理,借助神经网络(CNN 或 11 GNN)进行增强,尝试解决这些实例。对于批次中的每个实例,MCTS 都会在给定的资源预算下寻找一个解决方案,对于生成的每个成功解决方案,MCTS 还会为策略/价值深度网络(训练器)生成一系列新的训练数据,以进一步更新其网络参数。每个实例的 MCTS 成功/失败状态都会发送回采样器/老虎机以调整其权重。每次成功的尝试不仅会生成一个有效的解决方案,还会为训练器改进策略/价值数据,以训练代理的深度网络。训练器会保留一个大小为 100000 的池子,用于存储 MCTS 生成的最新训练数据,并训练网络。每个训练批次都会均匀随机抽样。所有实验均在配备 2x18 19 核 Xeon Skylake 6154 CPU 和 5 个 Nvidia Tesla V100 16GB GPU 的机器上完成,所有训练组件均使用学习率为 0 的 Adam。 002作为默认优化器。MCTS模拟次数R设置为1600,Exp3每次迭代采样的batch size M设置为500。
拓扑优化图1(a)描绘了TO的物理模型。拓扑设计空间由400×400×100 nm 3的矩形区域定义,这是测量1的较大电磁场模拟区域的一部分。1 µm×1。1 µm×600 nm。在设计空间下方放置了100 nm厚的SIO 2底物。使用具有高斯模式的R -CPL使用几乎薄的透镜(Na 0.25),以垂直角度将其定向到底物表面上。位于底物表面上的梁腰部在底物表面的直径为982 nm。波长为532 nm,距离基板的光源位于420 nm。tio 2被选为设计材料,其折射率为2。51185 + 0。01128 i在设计波长处,通过椭圆测量法对通过原子层沉积制备的118 nm厚的TIO 2膜进行了实验测量。有限差频域法被用作麦克斯韦求解器[17,40]。用4 nm cu-bic网格离散模拟区域,将最外面的五层分配为完美匹配的层,该层吸收了仿真空间内单个对象散射的电磁场。在TO框架内,配偶的介电函数桥接了设计材料E R和周围空气介质(E 0)的值,形成为E R = E 0 +ρ(E M-e 0)。在这里,设计变量ρ是连续的真实标量,范围为0至1。文献[16,40]中记录了TO的更多细节。我们的设计变量的初始值被设置为随机数字,均匀跨越0.5至0.7。我们采用了基于梯度的优化算法将设计值ρ向0或1驱动,其中ρ= 1的分布代表优化的结构。另外,为了鼓励设计变量的二线化,我们使用sigmoid函数实现了一种投影过滤方法。计算是在具有NVIDIA TESLA V100 SXM2(32 GB)的GPU节点上进行的。
