强化学习(RL)是决策问题中广泛的技术,构成了两个基本操作 - 政策评估和政策改进。提高学习效率仍然是RL的关键挑战,许多努力着重于使用合奏批评来提高政策评估效率。,当使用多个批评家时,政策改进过程中的演员可以获得不同的梯度。先前的研究将这些梯度合并在一起而没有考虑它们的分歧。因此,优化政策改进计划对于提高学习效率至关重要。本研究的重点是调查合奏批评家对政策改进引起的差异分歧的影响。我们介绍了梯度方向不确定性的概念,以此来衡量政策改进过程中使用的梯度之间的分歧。通过解决梯度之间的分歧,我们发现梯度方向不确定性较低的过渡在政策改进过程中更可靠。基于此分析,我们提出了一种称为von Mises-fisher经验重新采样(VMFER)的方法,该方法通过重新采样过渡过渡和为梯度方向不确定性较低的过渡提供了更高的信心来优化政策改进过程。我们的实验表明,VMFER显着地执行基准,并且特别适合RL中的整体结构。
1 2 3 4 MD-82 商用客机头等舱的精确高分辨率边界条件和流场 6 7 刘伟 1 , 温继洲 1 , 赵江月 1 , 尹伟友 1 , 沈晨 1 , 赖代一 1 , 林朝欣 8 2 , 刘俊杰 1 , 孙河江 1,* 陈庆艳 1,3 9 10 1 天津大学环境科学与工程学院,天津 300072,11 中国 12 2 波音民用飞机环境控制系统,华盛顿州埃弗里特 98203,美国 13 3 普渡大学机械工程学院,印第安纳州西拉斐特 47907,美国 14 15 * 电子邮件地址:sunhe@tju.edu.cn 16 17 摘要 18 19商用客机客舱对于创造热舒适和健康的客舱环境至关重要。除了客舱几何形状和家具外,流场还取决于扩散器处的热流体边界条件。为了研究客舱内的流场,本文介绍了一种获取客舱几何形状、扩散器边界条件和流场的程序。本研究使用激光跟踪系统和逆向工程生成了 MD-82 飞机客舱的数字模型。尽管该系统的测量误差很小,但仍然需要近似和假设以减少工作量和数据量。几何模型还可用于轻松计算空间体积。采用热球风速计 (HSA) 和超声波风速计 (UA) 组合来获取扩散器处的速度大小、速度方向和湍流强度。测量结果表明,实际客舱内的流动边界条件相当复杂,速度大小、速度方向和湍流强度在不同缝隙开口之间差异很大。还使用 UA 测量 20 Hz 下的三维空气速度,这也可用于确定湍流强度。由于流动的不稳定性,应至少测量 4 分钟才能获得准确的平均速度和湍流信息。结果发现,流场速度低、湍流强度高。这项研究为验证计算流体力学 (CFD) 模型提供了高质量数据,包括客舱几何形状、扩散器边界条件和 MD-82 商用客机头等舱的高分辨率流场。 关键词:客机客舱;客舱几何形状;流场;实验;扩散器 41 42 1. 引言 43 44 商用客机客舱中的空气分布用于维持乘客和机组人员的热舒适度 45 和空气质量。这些空气分布可以控制空气温度和 46 空气速度场,并可以稀释气体和颗粒浓度。尽管 47 航空航天工业在过去 48 十年中已经改善了飞机客舱的热舒适度和卫生状况(Space et al.,2000),空气分配系统需要进一步改进。49
1 2 3 4 MD-82 商用客机头等舱的精确高分辨率边界条件和流场 6 7 刘伟 1 , 温继洲 1 , 赵江月 1 , 尹伟友 1 , 沈晨 1 , 赖代一 1 , 林朝欣 8 2 , 刘俊杰 1 , 孙河江 1,* 陈庆艳 1,3 9 10 1 天津大学环境科学与工程学院,天津 300072,11 中国 12 2 波音民用飞机环境控制系统,华盛顿州埃弗里特 98203,美国 13 3 普渡大学机械工程学院,印第安纳州西拉斐特 47907,美国 14 15 * 电子邮件地址:sunhe@tju.edu.cn 16 17 摘要 18 19商用客机客舱对于创造热舒适和健康的客舱环境至关重要。除了客舱几何形状和家具外,流场还取决于扩散器处的热流体边界条件。为了研究客舱内的流场,本文介绍了一种获取客舱几何形状、扩散器边界条件和流场的程序。本研究使用激光跟踪系统和逆向工程生成了 MD-82 飞机客舱的数字模型。尽管该系统的测量误差很小,但仍然需要近似和假设以减少工作量和数据量。几何模型还可用于轻松计算空间体积。采用热球风速计 (HSA) 和超声波风速计 (UA) 组合来获取扩散器处的速度大小、速度方向和湍流强度。测量结果表明,实际客舱内的流动边界条件相当复杂,速度大小、速度方向和湍流强度在不同缝隙开口之间差异很大。还使用 UA 测量 20 Hz 下的三维空气速度,这也可用于确定湍流强度。由于流动的不稳定性,应至少测量 4 分钟才能获得准确的平均速度和湍流信息。结果发现,流场速度低、湍流强度高。这项研究为验证计算流体力学 (CFD) 模型提供了高质量数据,包括客舱几何形状、扩散器边界条件和 MD-82 商用客机头等舱的高分辨率流场。 关键词:客机客舱;客舱几何形状;流场;实验;扩散器 41 42 1. 引言 43 44 商用客机客舱中的空气分布用于维持乘客和机组人员的热舒适度 45 和空气质量。这些空气分布可以控制空气温度和 46 空气速度场,并可以稀释气体和颗粒浓度。尽管 47 航空航天工业在过去 48 十年中已经改善了飞机客舱的热舒适度和卫生状况(Space et al.,2000),空气分配系统需要进一步改进。49
1 2 3 4 MD-82 商用客机头等舱的精确高分辨率边界条件和流场 6 7 刘伟 1 , 温继洲 1 , 赵江月 1 , 尹伟友 1 , 沈晨 1 , 赖代一 1 , 林朝欣 8 2 , 刘俊杰 1 , 孙河江 1,* 陈庆艳 1,3 9 10 1 天津大学环境科学与工程学院,天津 300072,11 中国 12 2 波音民用飞机环境控制系统,华盛顿州埃弗里特 98203,美国 13 3 普渡大学机械工程学院,印第安纳州西拉斐特 47907,美国 14 15 * 电子邮件地址:sunhe@tju.edu.cn 16 17 摘要 18 19商用客机客舱对于创造热舒适和健康的客舱环境至关重要。除了客舱几何形状和家具外,流场还取决于扩散器处的热流体边界条件。为了研究客舱内的流场,本文介绍了一种获取客舱几何形状、扩散器边界条件和流场的程序。本研究使用激光跟踪系统和逆向工程生成了 MD-82 飞机客舱的数字模型。尽管该系统的测量误差很小,但仍然需要近似和假设以减少工作量和数据量。几何模型还可用于轻松计算空间体积。采用热球风速计 (HSA) 和超声波风速计 (UA) 组合来获取扩散器处的速度大小、速度方向和湍流强度。测量结果表明,实际客舱内的流动边界条件相当复杂,速度大小、速度方向和湍流强度在不同缝隙开口之间差异很大。还使用 UA 测量 20 Hz 下的三维空气速度,这也可用于确定湍流强度。由于流动的不稳定性,应至少测量 4 分钟才能获得准确的平均速度和湍流信息。结果发现,流场速度低、湍流强度高。这项研究为验证计算流体力学 (CFD) 模型提供了高质量数据,包括客舱几何形状、扩散器边界条件和 MD-82 商用客机头等舱的高分辨率流场。 关键词:客机客舱;客舱几何形状;流场;实验;扩散器 41 42 1. 引言 43 44 商用客机客舱中的空气分布用于维持乘客和机组人员的热舒适度 45 和空气质量。这些空气分布可以控制空气温度和 46 空气速度场,并可以稀释气体和颗粒浓度。尽管 47 航空航天工业在过去 48 十年中已经改善了飞机客舱的热舒适度和卫生状况(Space et al.,2000),空气分配系统需要进一步改进。49
1 2 3 4 MD-82 商用客机头等舱的精确高分辨率边界条件和流场 6 7 刘伟 1 , 温继洲 1 , 赵江月 1 , 尹伟友 1 , 沈晨 1 , 赖代一 1 , 林朝欣 8 2 , 刘俊杰 1 , 孙河江 1,* 陈庆艳 1,3 9 10 1 天津大学环境科学与工程学院,天津 300072,11 中国 12 2 波音民用飞机环境控制系统,华盛顿州埃弗里特 98203,美国 13 3 普渡大学机械工程学院,印第安纳州西拉斐特 47907,美国 14 15 * 电子邮件地址:sunhe@tju.edu.cn 16 17 摘要 18 19商用客机客舱对于创造热舒适和健康的客舱环境至关重要。除了客舱几何形状和家具外,流场还取决于扩散器处的热流体边界条件。为了研究客舱内的流场,本文介绍了一种获取客舱几何形状、扩散器边界条件和流场的程序。本研究使用激光跟踪系统和逆向工程生成了 MD-82 飞机客舱的数字模型。尽管该系统的测量误差很小,但仍然需要近似和假设以减少工作量和数据量。几何模型还可用于轻松计算空间体积。采用热球风速计 (HSA) 和超声波风速计 (UA) 组合来获取扩散器处的速度大小、速度方向和湍流强度。测量结果表明,实际客舱内的流动边界条件相当复杂,速度大小、速度方向和湍流强度在不同缝隙开口之间差异很大。还使用 UA 测量 20 Hz 下的三维空气速度,这也可用于确定湍流强度。由于流动的不稳定性,应至少测量 4 分钟才能获得准确的平均速度和湍流信息。结果发现,流场速度低、湍流强度高。这项研究为验证计算流体力学 (CFD) 模型提供了高质量数据,包括客舱几何形状、扩散器边界条件和 MD-82 商用客机头等舱的高分辨率流场。 关键词:客机客舱;客舱几何形状;流场;实验;扩散器 41 42 1. 引言 43 44 商用客机客舱中的空气分布用于维持乘客和机组人员的热舒适度 45 和空气质量。这些空气分布可以控制空气温度和 46 空气速度场,并可以稀释气体和颗粒浓度。尽管 47 航空航天工业在过去 48 十年中已经改善了飞机客舱的热舒适度和卫生状况(Space et al.,2000),空气分配系统需要进一步改进。49