摘要。月球着陆器问题在强化学习领域提出了巨大的挑战,因此需要创建能够在月球表面安全着陆的自主航天器。在这项研究中,研究并检查了三种突出的增强学习算法,即深Q-Network(DQN),Double Deep Q-Network(DDQN)和策略梯度,并进行了检查并检查以解决此问题。最初,将神经网络和Q学习的DQN算法利用以学习最佳着陆政策。通过通过神经网络培训近似Q值,该航天器学会了做出明智的决定,从而成功着陆。随后,使用减轻高估偏差的DDQN算法。利用两个神经网络(一个用于行动选择,另一个用于评估),DDQN可提高稳定性和收敛性,从而产生精致的着陆策略。此外,这项工作探讨了策略梯度方法在此问题中的应用。通过使用梯度上升直接优化策略,该航天器可以最大化累积奖励,从而实现有效而准确的降落。通过广泛的模拟来评估该算法的性能,该模拟涵盖了不同的月球表面条件。结果证明了这些方法的有效性,展示了它们促进成功和燃油效率的航天器登陆的能力。总而言之,这项研究有助于了解Lunar Lander问题的DQN,DDQN和政策梯度算法。这些发现突出了每种算法的独特优势及其在自主航天器上的潜力。这项研究所获得的见解对未来的月球任务中智能着陆系统的发展具有影响,从而推进了航空航天应用中强化学习领域。
11 月 26 日,着陆器从太空坠落到地面,让 JPL 的任务控制室紧张了 6 分钟。但这台价值 8.14 亿美元的着陆器完全按照脚本执行了。当它穿过隔热罩后面的大气层时,整个房间都安静下来,这是计划中的短暂失联。然后传来阵阵掌声,因为通讯恢复了,着陆器传来减速的迹象——首先是降落伞打开,然后是着陆推进器启动。JPL 工程师 Christine Szalai 介绍着陆器的下降过程时说道:“三十米。二十米。确认着陆。”随后的庆祝活动一直有些平淡,直到 6 小时后确认着陆器已经展开太阳能电池板,这些电池板将为其为期 2 年的任务提供动力。这是美国宇航局在九次尝试中第八次成功登陆火星,除苏联的火星 3 号任务(1971 年在软着陆后一分钟内失败)外,其他航天机构尚未能匹敌这一壮举。
Pragyan 被安置在 Vikram 着陆器内。Vikram 着陆后,Pragyan 将在月球表面推出。Chandrayaan-2 于 2019 年 8 月 19 日进入月球轨道。当轨道器模块仍在月球轨道上时,复合航天器于 2019 年 9 月 6 日释放了 Vikram 着陆器进行着陆。在约 2.1 公里的高度,它与地球地面站失去联系,Vikram 被认为已坠毁。虽然着陆器丢失,但轨道器仍在继续工作并发回月球表面的高清图像。
月球表面上最大的移动性需求驱动因素之一是将货物从其降落地点转移到其使用点。许多因素推动了货物点的使用点,其中许多因素需要与着陆点分离(例如,由着陆器的阴影,兰德斯污染造成的黑暗或从着陆器羽状表面相互作用中弹出弹出)。这些搬迁距离可能包括以下因素:•与着陆器遮蔽(数十米)•由于着陆器与现有基础设施和登陆器的划分之间的分离,降落器爆炸弹性射出限制(> 1,000 m),或者是在可用的区域陆地上(以5,000 m的可用区域范围)(以5,000 m)的形式汇总的元素汇总(以便5,000 m),以供元素汇总到5,000 m的lun intim intim intim insive tos toe lugn of 5,000 m)。建筑“月球遗址选择”白皮书。[4]
月球表面上最大的移动性需求驱动因素之一是将货物从其降落地点转移到其使用点。许多因素推动了货物点的使用点,其中许多因素需要与着陆点分离(例如,由着陆器的阴影,兰德斯污染造成的黑暗或从着陆器羽状表面相互作用中弹出弹出)。这些搬迁距离可能包括以下因素:•与着陆器遮蔽(数十米)•由于着陆器与现有基础设施和登陆器的划分之间的分离,降落器爆炸弹性射出限制(> 1,000 m),或者是在可用的区域陆地上(以5,000 m的可用区域范围)(以5,000 m)的形式汇总的元素汇总(以便5,000 m),以供元素汇总到5,000 m的lun intim intim intim insive tos toe lugn of 5,000 m)。建筑“月球遗址选择”白皮书。[4]
chandrayaan-3由土著着陆器模块(LM),推进模块(PM)组成,其目的是开发和展示行星间任务所需的新技术。着陆器具有在指定的月球部位软地面的能力,并部署了漫游者在月球迁移过程中对月球表面进行原位化学分析的能力。着陆器和流动站有科学的有效载荷,可以在月球表面进行实验。PM的主要功能是将LM从发射车注射到最终月球100 km圆形极性轨道,并将LM与PM分开。除此之外,PM还具有一个科学的有效载荷形状,作为一个增值,已运行了Lander模块的分离后。Chandrayaan-3确定的发射器是LVM3 M4。
缺乏能够在金星表面运行和生存的长寿命电源从根本上限制了对这颗迷人星球的实地探索。作为 NASA 创新先进概念 (NIAC) 第一阶段研究的一部分,评估和开发了一种创新的任务架构,利用无线方式将电力从在金星大气中运行的车辆传输到地面着陆器。确定的最有前途的架构是动力飞机,它使用高温太阳能电池阵列在金星大气的上游收集太阳能,并将这些能量存储在机载高温可充电电池中。然后,这个空中平台将下降到云层下方,通过激光能量束将能量传输到金星表面的着陆器。地面着陆器将包括一个激光能量转换器,用于接收光束光能,将其转换为电能,并将其传输到机载高温可充电电池,供着陆器负载使用。在能量传输之后,飞机将上升到更高的高度,再次启动这个循环。通过微波传输传输电力的方案在技术上不可行,因为大气对这些波长的吸收作用很大。同样,对以轨道平台为收集和传送平台的架构的分析也发现,出于同样的原因,在技术上不可行。将气球技术用于飞行器/传送平台显示出一定的前景,但是,这种任务架构需要多个气球平台才能在 60 天的任务中实现着陆器的目标平均功率水平(10 W),以及某种技术成熟度较低的控制机制(叶片或转子)才能飞越着陆器位置。NIAC 第二阶段研究提出了结合激光功率传送的基于飞机的概念以供进一步开发。
Omni-Heat™ Infinity 是 Columbia Sportswear 开发的一项专有热反射技术,将随 Intuitive Machines 即将发射的 Nova-C 月球着陆器进入太空。在此次发射前的实验室模拟中,Intuitive Machines 的研究人员确定,Columbia 创新的 Omni-Heat Infinity 面料的金色金属箔将有助于使月球着陆器免受太空严酷温度的影响,太空温度可能在 -250° 到 250° 华氏度之间变化。
4 《关于各国探索和利用外层空间(包括月球与其他天体)活动原则条约》,于 1967 年 10 月 10 日通过,18 UST 2410, 610 UNTS 205(以下简称《外层空间条约》)。 5 Valentina Vecchio,《外层空间条约中的习惯国际法:空间法作为国际公法演进的实验室》,3 G ERMAN J. OF S PACE L AW 66, 501 (2017)。 6 Leonard David,《Luna-25 着陆器重启俄罗斯登月热潮》,《科学美国人》(2020 年 8 月 27 日)。https://www.scientificamerican.com/article/luna-25-lander-renews-russian-moon-rush/ 7 同上。私营实体计划的月球任务包括“Astrobotic Peregrine 着陆器将于 2021 年 6 月发射,Intuitive Machines 将于 2021 年 10 月紧随其后,[Masten Space Systems] 定于 2022 年 12 月发射,Astrobotic 的 VIPER 将于 2023 年发射其更大的 Griffin 着陆器。” Darrell Etherington,SpaceX 将于 2022 年向月球发射 Masten 的第一个着陆器,TEC H C RUNCH (2020 年 8 月 26 日),https://techcrunch.com/2020/08/26/spacex-will- launch-mastens-first-lander-to-the-moon-in-2022/。日本公司 ispace 还计划于 2022 年执行登月任务。Mitsuru Obe,《日本 ispace 旨在成为月球商业活动的“门户”,《新日本航空》(2020 年 8 月 20 日),https://asia.nikkei.com/Business/Aerospace-Defense/Japan-s-ispace-aims-to-be-gateway-for- lunar-business-activity》。
中国人非常了解“阿波罗效应”,登月所激发的乐观情绪造就了整整一代科学家和工程师。从这个意义上讲,这是阿波罗计划的延续,其中的一个重要方面是“开放”中国的空间科学任务,不仅进行国际合作,而且通过广泛的活动让公众参与其中。中国广为庆祝的国家航天日是 4 月 24 日,这一天是 1970 年中国首次发射卫星的纪念日。去年的亮点是嫦娥四号月球着陆器和月球车模型的展览。与美国一样,对于最近的月球任务,中国学生也被邀请为着陆器选择名称。