XiaoMi-AI文件搜索系统
World File Search System损耗函数
CVPR 2024的第一位解决方案自主挑战赛
A100 GPU。批处理大小设置为64，随机GRA-211 DIENT下降（SGD）[2]和基本学习率为0.05。212训练包括100个时期，队列大小为213，动量编码器为3,276,800。类似于Mocov2 [4]中描述的En-214 Hancements，我们利用了相同的215损耗函数和数据增强技术； （2）点216云预测阶段。在此阶段，我们在32 nvidia a100 gpus上训练217型。训练涉及218使用5帧的历史多视图图像和迭代219 219变压器解码器6次，以预测点云220，即接下来的3秒钟，每个框架间隔为0.5 sec-221 ONDS。为了保存GPU内存，我们在每个训练步骤中分离出222个其他预测的梯度。使用ADAMW [8] Opti-224 Mizer，初始学习速率为2E-4的系统223的系统进行了8个预训练时期，并通过余弦退火策略调整了225。226
基于深度学习的侧面...
摘要。基于深度学习的侧渠道分析代表了最强大的侧通道攻击方法之一。由于其在处理原始功能和对策方面的能力，它成为SCA社区的事实上的标准方法。最近的作品显着改善了来自各种观点的深度学习攻击，例如高参数调整，设计指南或自定义的neu-ral网络体系结构元素。仍然，对学习过程的核心 - 损失函数的核心已被不足。本文分析了现有损耗函数的局限性，然后提出了一种新型的侧道渠道分析优化损耗函数：焦距损耗比（FLR），以应对其他损失函数中观察到的识别缺陷。为了验证我们的设计，我们1）考虑了各种情况（数据集，泄漏模型，神经网络体系结构）和2）进行彻底的实验研究，2）与基于深度学习的侧渠道分析（“传统”的侧通道分析和侧通道分析的范围分析）进行比较。我们的结果表明，FLR损失在各种条件下都优于其他损失函数，而没有像最近的一些损失功能建议那样的计算开销。
科学艺术与梅蒂尔（SAM）
我们提出了一种自适应物理学的深层均质化神经网络（DHN）方法，以制定具有不同微结构的弹性和热弹性周期性阵列的全场微力学模型。通过完全连接的多层连接的单位细胞溶液通过最大程度地限制根据应力平衡和热传导部分微分方程（PDE）的残差之和，以及无界面的无牵引力或绝热边界条件。相比，通过引入具有正弦函数的网络层直接满足周期性边界条件。完全可训练的权重施加在所有搭配点上，这些搭配点与网络权重同时训练。因此，网络会在损耗函数中自动为界面附近（尤其是单位细胞解决方案的具有挑战性的区域）中的搭配点分配更高的权重。这迫使神经网络在这些特定点上提高其性能。针对有限元素和弹性解决方案的自适应DHN的精度分别用于椭圆形和圆柱孔/纤维的弹性解决方案。自适应DHN比原始DHN技术的优点是通过考虑局部不规则的多孔架构来证明合理的，孔隙 - 孔相互作用使训练网络特别缓慢且难以优化。
![arxiv：2305.10811v2 [Quant-PH] 2024年1月23日](/simg/4\497bad8dd5a8d24d2dea7bb1cf1c70c624c874f9.webp)
arxiv：2305.10811v2 [Quant-PH] 2024年1月23日
在纯状态断层扫描中，独特的确定性（UD）的概念 - 从测量结果中确定纯状态的能力 - 至关重要。本研究提出了一种研究UD的新变分方法，为与UD测量方案的结构和认证相关的挑战提供了强有力的解决方案。我们提出了一种有效的算法，该算法可以最大程度地减少特定定义的损耗函数，从而使UD和非UD测量方案之间的分化。这导致在各种维度中发现了许多最佳的纯国保利测量方案。此外，我们辨别纯状态（UDP）中唯一确定的对齐和在利用Pauli测量时在量子系统中所有状态（UDA）中唯一确定的对齐，强调了其在纯状态恢复下的内在鲁棒性。我们进一步解释了损失功能的物理含义，并由理论框架加强。我们的研究不仅可以推动量子状态断层扫描中对UD的理解，而且还为实验应用提供了宝贵的实践见解，强调了在数学最佳和实验性实用主义之间需要平衡方法的必要性。
从模拟的Electro- ...
准确的初始轨道确定（IOD）对于太空域意识（SDA）至关重要。这项研究引入了一种iod方法，旨在增强用电光（EO）传感器的短距离角度调查的未知空间对象的初始检测的轨道预测准确性。方法论将机器学习模型与轨道力学原理集成在一起。该模型在各种轨道方案的模拟观测数据集上进行了训练，包括低地球轨道（LEO），中地球轨道（MEO），地理轨道（GEO）和高度椭圆形轨道（HEO）。比较分析表明，所提出的方法的表现优于传统的纯粹角度方法，例如拉普拉斯，高斯和好东西方法，相对于观察者，角度误差的中位数降低。这种改进提高了后续跟踪工作的可靠性。网络体系结构具有两个长的短期内存（LSTM）层，然后是完全连接的（密集）层，在使用基于物理学的损耗函数预测位置和速度状态向量时，可以实现最佳结果。这些发现强调了机器学习在提高SDA功能方面的潜力。
期刊预释放-Aston Publications Explorer
锂离子电池（LIBS）广泛用于许多田地，例如电动汽车和能源存储，直接影响设备性能和安全性。因此，健康状况（SOH）评估对于LIB使用至关重要。但是，大多数现有数据驱动的SOH建模方法忽略了电池健康预测的固有不确定性，这降低了模型的可靠性。为了解决这个问题，本文提出了一个基于深度学习框架的新型SOH评估模型。SOH结果源自深度特征的分位分布，从而使SOH值具有相关的置信区间。这增强了SOH评估结果的可靠性和概括。此外，为了完成深层模型的优化，开发了基于Wasserstein距离的分位数Huber（QH）损耗函数。此功能集成了Huber损耗和分位回归损失，从而使模型可以根据分布输出进行优化。使用NASA数据集对所提出的方法进行了验证，结果证实了所提出的方法可以在考虑不确定性时有效地估计LIB的SOH。SOH分布的合并增强了SOH评估模型的可靠性和概括能力。
自主停车的TD3中损失函数的比较分析
自主停车是一种革命性的技术，它随着深度强化学习的兴起，尤其是双胞胎延迟的深层确定性政策梯度算法（TD3），它改变了汽车行业。尽管如此，由于Q值估计的偏见，在确定在特定状态下采取的行动的良好时，TD3的鲁棒性仍然是一个重大挑战。为了研究这一差距，本文分析了TD3中的不同损失函数，以更好地近似真正的Q值，这对于最佳决策是必不可少的。评估了三个损失功能；平均平方错误（MSE），平均绝对误差（MAE）和HUBER损失，通过模拟实验进行自动停车。结果表明，HUBER损失的TD3具有最高的收敛速度，而最快的演员和批评损失收敛。发现Huber损失函数比孤立使用的MSE或MAE这样的损耗函数更强大，更有效，这使其成为TD3算法中现有损失函数的合适替代。将来，当估计的Q值代表以特定状态采取行动的预期奖励的估计Q值时，将使用Huber损失的TD3用作解决TD3中高估问题的基本模型。
一种自适应的半空间投影方法，用于稀疏正则化的随机优化问题
在各种下游应用中，稀疏正则化的优化问题无处不在，例如深层神经网络（DNNS）的特征选择和压缩。尽管如此，当将这种正则化与随机损耗函数结合使用时，文献中现有的方法并不能很好地执行。，设计具有转换保证的计算有效算法并可以计算组较高的解决方案是一项挑战。最近，提出了一种半空间的预测梯度（HSPG）方法，部分解决了这些挑战。本文介绍了我们称之为ADAHSPG+的HSPG的大大增强版本，这取得了两个明显的进步。首先，与HSPG所要求的假设相比，ADAHSPG+在明显较宽的假设下具有更强的收敛结果。通过将差异技术与新的自适应策略整合在一起，以迭代预测解决方案的支持来实现这种改善。第二，与HSPG相比，ADAHSPG+的参数调整要少得多，从而使其更实用和用户友好。通过设计自动和自适应策略来选择每次迭代中采用的步骤类型并更新关键的HyperParam-eters来实现这一进步。我们提出的ADAHSPG+算法的数值有效性在凸面和非凸基准问题上都证明了。源代码可在https://github.com/tianyic/adahspg上找到。
差异私有随机凸的速度更快...
保留培训数据的隐私已成为一个重要的考虑因素，现在对于机器学习算法来说是一项艰巨的任务。要解决隐私问题，依从于密码学的差异隐私（DP）（Dwork等，2006）是一个强大的数学保存计划。它允许进行丰富的统计和机器学习分析，现在正成为私人数据分析的事实上的符号。保证差异隐私的方法已被广泛研究，最近在行业中采用（Tang等，2017； Ding等，2017）。作为机器学习和差异隐私社区中最重要的问题之一，在过去的十年中，DP模型中的经验风险最小化问题（即DP-erm）在（Chaudhuri等人，2011年）开始，已经在过去的十年中进行了很好的研究，例如（Bassily等，2014; Bassily等，2014; Wang et ant; Jin，2016年，Kifer等人，2017年，Wang等人，2018a，2019b；dp-dp-erm，其人口（或预期）版本，即私人的固定式凸优化（DP-SCO），近年来从（Bassily等，2014）开始受到很多关注。特定于（Bassily等，2019）首先提供了DP-SCO的最佳速率，具有（ϵ，δ）-DP的一般凸损耗函数，这与DP-MERM中最佳速率不同。后来（Feldman等，2020）通过提供一般性定位技术，将此问题扩展到强烈凸出和（或）非平滑案例。此外，如果损耗函数平滑，它们的方法具有线性时间复杂性。对于非平滑损失函数，（Kulkarni等，2021）最近提出了一种仅需要亚限级梯度复杂性的新方法。虽然已经有大量有关DP-SCO的研究，但问题仍然远远不够知名度。一个关键的观察结果是，所有以前的作品仅着眼于损失函数是一般凸或强凸的情况。但是，还有许多问题甚至比强凸功能强，或者落在凸功能和强烈凸功能之间。在非私人对应物中，各种研究试图通过对损失函数施加其他假设来获得更快的速度。并且已经表明，实现比一般凸损失函数速率快的速率确实可以（Yang等，2018; Koren and Levy，2015; van Erven等，2015），或者甚至可以达到与强凸的强劲速率相同的速率，即使函数也不强劲，karimi et al al an al al an al al and act al and act al and act an al al an al an al an al al an al al an al al al al al al al al al al al al al al al al al al al al al al al al al al a al al a al al act 201 v exe et a al and lie et as act 2010 8。 Al。，2017）。以此为动机，我们的问题是，对于具有特殊类别的人口风险功能的DP-SCO问题，是否有可能比一般凸的最佳人口和（或（或）强烈凸出案例的最佳人口风险率更快？在本文中，我们通过研究一些类别的人口风险功能来提供有效的答案。尤其是，我们将主要关注种群风险功能满足Tysbakov噪声条件（TNC）1的情况，其中包括强烈凸功能，SVM，SVM，ℓ1频繁的随机性优化和线性回归为特殊情况
大语言模型提取药物建议模型
摘要 - 药物的建议是智能医疗保健系统的重要方面，因为它涉及根据患者的特定健康需求规定最合适的药物。不幸的是，当前正在使用的许多复杂模型倾向于忽略医疗数据的细微差别语义，同时仅依靠身份。此外，这些模型在处理涉及第一次访问医院的患者的病例中面临重大挑战，因为他们缺乏以前的处方历史。为了解决这些问题，我们利用大语模型（LLM）的强大语义理解和投入性特征。我们的研究旨在使用LLMS转变现有的药物建议方法。在本文中，我们介绍了一种名为“大语言模型”提炼药物建议（领导者）的新方法。我们首先创建适当的提示模板，使LLM能够有效建议药物。然而，LLM直接整合到推荐系统中会导致特定于药物的孔外问题。我们通过使用新颖的输出层和精制的调谐损耗函数来调整LLM来处理它。尽管基于LLM的模型表现出显着的功能，但它们在推理过程中受到高度计算成本的困扰，这对医疗保健行业来说是不切实际的。为了减轻这种情况，我们开发了一种功能级知识蒸馏技术，该技术将LLM的熟练程度转移到了更紧凑的模型中。为了简化实验的可重复性，我们在线发布实施代码1。在两个现实世界数据集（MIMIC-III和MIMIC-IV）上进行的广泛实验表明，我们提出的模型不仅可以提供有效的结果，而且还具有有效的效率。