自LMRL研讨会上一次在Neurips 2022(https://www.lmrl.org/)举行,对生物学的代表性学习兴趣已经激起了新的想法,并引发了传统方法,并引发了如何通过机器学习来最佳地捕捉生物系统复杂性的讨论。大规模公共DNA和RNA测序,蛋白质序列和3D结构,质谱和细胞绘画数据集(跳跃CP,RXRX3,人类细胞图集)的可用性促进了许多大型“基础模型”的生物学模型(Rozenblatt-ordos-poss-ord。2021; Fay等。2023; Chandrasekaran等。2023)。这些模型旨在从嘈杂,原始和非结构化的高维数据中提取“有意义的”表示,以解决各种生物学问题。
Long 博士是人工智能领域的领军人物,领导着 UTS 的开创性研究。Long 博士是联邦学习方面的专家,联邦学习是一种先进的人工智能技术,可在提供个性化智能的同时确保数据隐私。Long 博士的工作得到了广泛认可,他的研究成果发表在 NeurIPS 和 ICML 等顶级人工智能会议上。他的论文在短短一年内(2023 年)就获得了超过 6,373 次引用。在他的领导下,基础模型和联邦学习研究小组正在推动具有现实影响的创新,特别是在医疗保健、物联网和社交媒体等关键领域。他的工作吸引了超过 400 万美元的行业投资,突显了他的研究为社会带来的切实利益。
[1]辛西娅·鲁丁(Cynthia Rudin)。停止解释用于高赌注决策的黑匣子机器学习模型,然后使用可解释的模型。自然机器智能,1(5):206–215,2019 [2]MarcoTúlioRibeiro,Sameer Singh和Carlos Guestrin。“我为什么要信任您?”:解释任何分类器的预测。Corr,ABS/1602.04938,2016。[3] Sebastian Bach,Alexander Binder,GrégoireMontavon,Frederick Klauschen,Klaus-RobertMüller和Wojciech Samek。通过层次相关性传播对非线性分类器决策的像素智慧解释。plos One,10(7):1-46,07 2015。[4] Alina Barnett,Jonathan SU,Cynthia Rudin,Chaofan Chen,Oscar Li。这看起来像:深入学习可解释的图像识别。在神经信息处理系统会议论文集(Neurips),2019年。
参考文献。 [1] Allen 等人 (2022 年)。一个庞大的 7T fMRI 数据集,用于连接认知神经科学和人工智能。自然神经。 [2] Ilharco 等人 (2021 年)。OpenCLIP。 [3] Podell 等人 (2023 年)。Sdxl:改进潜在扩散模型以进行高分辨率图像合成。ICLR。 [4] Meng 等人 (2022 年)。SDEdit:使用随机微分方程引导图像合成和编辑。ICLR。 [5] Reddy 等人 (2010 年)。读懂心灵之眼:在心理意象过程中解码类别信息。神经图像。 [6] Wallace 等人 (2022 年)。RTCloud:一种基于云的软件框架,用于简化和标准化实时 fMRI。神经图像。 [7] Scotti 等人 (2023 年)。重建心灵之眼:具有对比学习和扩散先验的 fMRI 到图像。NeurIPS。
案例研究2:GPT-3与Glam Next是一个大型NLP模型,在ML社区和2020年的媒体上受到了很大的关注:GPT-3是一种自动回归语言模型,具有1750亿个参数,10×10倍的参数,比当时的任何非pare语模型多于任何非pare语言,并且比其他ML比其他ML多。11将GPT-3放入具有透明度的GPT-2,其前身GPT-2具有1.5个二元参数,并且使用≤02亿的变压器模型。由OpenAI开发的GPT-3在Microsoft Cloud Data Center中对10,000 V100 GPU进行了培训(2017年NVIDIA V100针对ML进行了优化)。在会议上获得最佳纸张奖和Neu-allal信息处理系统研讨会(NEURIPS)的获奖者,最近的GPT-3纸已经具有> 3,500次引用,并成为了主流媒体的头条新闻。
最优传输是研究概率分布的强大数学框架。它在图像/信号处理、系统控制、物理、金融、经济学和机器学习中有着广泛的应用。在本课程中,我们将系统地介绍最优传输理论。我们将介绍最优传输中的经典主题,例如 Kantorovich 对偶、Wasserstein 距离、梯度流、位移插值等。我们还将研究最近的发展,例如熵正则化、与随机控制的联系、Wasserstein 生成对抗网络和统计最优传输。将详细讨论最优传输的算法和应用。学生有望在学期结束前建立坚实的最优传输背景。本课程以项目为基础。学生将有机会对这个及时的主题进行研究,并可能在 NeurIPS 等顶级场所发表论文。
参考。[1] Allen等。(2022)。一个庞大的7T fMRI数据集,用于桥接认知神经科学和人工智能。自然神经。[2] Ilharco等。(2021)。OpenClip。[3] Podell等。(2023)。SDXL:改进高分辨率图像合成的潜在扩散模型。ICLR。 [4] Meng等。 (2022)。 sdedit:带有随机微分方程的引导图像合成和编辑。 ICLR。 [5] Reddy等。 (2010)。 阅读思维的眼睛:心理图像期间的解码类别信息。 神经图像。 [6] Wallace等。 (2022)。 rtcloud:一个基于云的软件框架,可简化和标准化实时fMRI。 神经图像。 [7] Scotti等。 (2023)。 重建思想的眼睛:通过对比度学习和扩散先验的fMRI至图像。 神经。ICLR。[4] Meng等。(2022)。sdedit:带有随机微分方程的引导图像合成和编辑。ICLR。 [5] Reddy等。 (2010)。 阅读思维的眼睛:心理图像期间的解码类别信息。 神经图像。 [6] Wallace等。 (2022)。 rtcloud:一个基于云的软件框架,可简化和标准化实时fMRI。 神经图像。 [7] Scotti等。 (2023)。 重建思想的眼睛:通过对比度学习和扩散先验的fMRI至图像。 神经。ICLR。[5] Reddy等。(2010)。阅读思维的眼睛:心理图像期间的解码类别信息。神经图像。[6] Wallace等。(2022)。rtcloud:一个基于云的软件框架,可简化和标准化实时fMRI。神经图像。[7] Scotti等。(2023)。重建思想的眼睛:通过对比度学习和扩散先验的fMRI至图像。神经。
•研究了通过竞争性二聚化网络执行的计算(Cell 2024)。•开发了简单的减少阶模型,用于预测2型糖尿病中的血糖(混乱2023)。•开发了神经系统重症监护病患者和1型糖尿病的重症患者葡萄糖预测的建模和预测方法(《生物学信息学杂志》 2023年)。•将杂种动力学建模框架应用于学习碳水化合物吸收率(Health 2022的神经时间赛)。•设计基于物理的数据驱动的混合模型框架,用于预测动态系统;在离散时间和连续时间(AMS 2022的通信)中,Markovian和非Markovian模型不足。•在集合卡尔曼过滤器中实现了新的状态空间约束,该滤波器通过二次优化形成了约束状态更新(2019年反问题)。
2023年2月7日口头表现。AAAI/SIGAI 2023博士财团。华盛顿特区,2022年8月12日口头演示。USENIX安全。波士顿,马萨诸塞州4月13日2021嘉宾演讲。佛蒙特大学人工智能。伯灵顿,VT,2018年12月7日口头演示(简短)。神经批评和纠正趋势研讨会。蒙特利尔,QC,2018年8月8日口头演示。数据科学芝加哥聚会重点,IDEO。芝加哥,伊利诺伊州伊利诺伊州2017年8月14日口头演示(简短)。KDD关于采矿和学习的研讨会。Halifax,NS,2016年10月13日口头表现。 职业混音器,UMass Amherst数据科学中心。 阿默斯特,马萨诸塞州,2015年5月18日海报。 新英格兰机器学习日,微软研究。 剑桥,马萨诸塞州Halifax,NS,2016年10月13日口头表现。职业混音器,UMass Amherst数据科学中心。阿默斯特,马萨诸塞州,2015年5月18日海报。新英格兰机器学习日,微软研究。剑桥,马萨诸塞州
在本报告中,我们描述了在 NeurIPS 2021 上举办的开放催化剂挑战赛,该挑战赛的重点是使用机器学习 (ML) 来加速寻找可以驱动将可再生能源转化为可储存形式的反应的低成本催化剂。具体来说,挑战赛要求参与者开发用于松弛能量预测的 ML 方法,即给定吸附质-催化剂系统的原子位置,目标是预测系统松弛或最低能量状态的能量。为了在这项任务上表现出色,ML 方法需要近似密度泛函理论 (DFT) 中的量子力学计算。通过对这些进行准确建模,可以估计催化剂对化学反应总体速率的影响;这是筛选潜在电催化剂材料的关键因素。挑战赛鼓励整个社区在这项任务上取得进展,获胜方法将直接松弛能量预测相对于之前的最先进水平提高了约 15%。