Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications
这篇论文被 NeurIPS 2024 的机器学习和压缩研讨会接受。压缩大型语言模型 (LLM) 通常会导致性能下降,尤其是对于知识密集型任务。在这项工作中,我们深入研究了压缩如何破坏 LLM 的固有知识以及可能的补救措施。我们首先对损害的性质提出两种猜想:一是某些知识在 LLM 压缩后被遗忘(或抹去),因此需要压缩模型从具有附加参数的数据中(重新)学习;另一个假设知识是内部的……
Philip Zimbardo, 91, Whose Stanford Prison Experiment Studied Evil, Dies
他的研究极具煽动性,使他在校园里很受欢迎。但他对好人如何变坏的探索引发了道德问题。
Экспериментальное исследование по использованию ChatGPT для робототехнических приложений
微软的研究人员在 OpenAI 上投资了数十亿美元,最近将 ChatGPT 集成到其 Bing 搜索引擎中,扩大了 ChatGPT 控制机械臂和无人机的能力。
Five things to do in virtual reality – and five to avoid
对实验研究的综述揭示了如何最好地使用VR以及为什么它努力成为消费者的巨大。
外壳设计可以通过影响防御性行为行为饲养的翼鼠(hithaposidae)来改善俘虏的饲养(hithaposidae thorell,1869年)通常是大型蜘蛛,通常是大型蜘蛛,这些蜘蛛经常在私人集合中被囚禁在私人集合中,在公共集合中占有份额,并研究了动物(例如,研究(例如)研究(例如)研究(例如)研究。然而,有关俘虏维护狼蛛的许多信息都是基于反复试验的方法,因此,民间传说饲养而不是循证饲养是典型的。除了蜘蛛的福利外,由于攻击性的防御行为,包括咬人,尤其是许多旧世界的狼蛛。橙色狒狒狼蛛(pterinochilus murinus pocock,1897年)是一种非常普遍保存的非洲harpacti
Ученые Пермского Политеха улучшили процесс проектирования биоразлагаемых костных имплантатов
彼尔姆理工大学的科学家对植入物在生理环境中的行为进行了实验研究,以提高其设计的准确性和效率
Cracking the Proton Code: Unveiling the Secrets of the Universe’s Building Blocks
新方法将理论基础与质子结构的实验研究相结合 量子色动力学的进展揭示了夸克和胶子如何在质子中结合,将理论物理与实际实验联系起来,通过高能碰撞解码质子的结构。 量子色动力学 质子和其他受强核力束缚的亚原子粒子是 [...]
肯特州立大学和克利夫兰自然历史博物馆最近领导的一项实验研究表明,从高处狩猎可以显著提高标枪的投掷效率,同时可能降低用投矛器投掷的飞镖的有效性。
What Is the Impact of Learning a Skill on Khan Academy?
对教师的启示:在课堂上使用 Khan Academy 作者:Bogdan Yamkovenko 和 Kodi Weatherholtz 我们最近的准实验研究强调了 Khan Academy 对学生成长的重大影响,为教师决定如何将其融入课堂提供了宝贵的见解。研究重点:数学落后 我们知道最近的考试成绩 […] 文章《学习技能对 Khan Academy 有何影响?》首先出现在 Khan Academy 博客上。
为了追求可持续和高效的能源解决方案,蒂斯赛德大学的 Mudhafar Al-Saadi 和 Michael Short 教授组成的研究小组提出了一种创新的基于多智能体的人工智能控制系统,用于直流微电网中的即插即用电池。发表在《电池》杂志和多篇 IEEE 论文和文章上的方法和实验研究概述了一种有前途的方法来增强 […]
Data & Society Welcomes Tamara Kneese as Senior Researcher and Project Director of AIMLab
2023 年 7 月 12 日 – Data & Society 很高兴地宣布 Tamara Kneese 已加入该组织,担任算法影响方法实验室 (AIMLab) 的高级研究员和项目总监。在此职位上,Kneese 将监督 AIMLab 对算法影响评估的新公共利益模型的高影响力实验研究的战略和协调。她会[...]
Enigmas of gender and cooperation in social dilemmas
当经典的囚徒困境 (PD) 游戏反复进行多轮时,合作是否能维持?男性配对的合作是否几乎是女性配对的两倍?这两项发现都是在半个多世纪前发表的一项非常大的美国实验中报告的。现在,一项使用更严格的方法和统计技术的实验研究 [...]
摘要:神经网络(NN)擅长解决监督学习领域的一些复杂的非线性问题。这些网络的一个突出应用是图像分类。过去几十年的大量改进提高了这些图像分类器的能力。然而,神经网络仍然是解决图像分类和其他复杂任务的黑匣子。进行的许多实验研究了神经网络如何解决这些复杂的问题。本文拆解了特定材料分类器的神经网络解决方案,结合了卷积层。使用多种技术来研究该问题的解决方案。这些技术专门关注哪些像素对神经网络做出的决策有贡献,以及每个神经元对决策的贡献。本次调查的目的是了解神经网络的决策过程,并利用这些知识对材料分类算法提出改进建议。
摘要:神经网络(NN)擅长解决监督学习领域的一些复杂的非线性问题。这些网络的一个突出应用是图像分类。过去几十年的大量改进提高了这些图像分类器的能力。然而,神经网络仍然是解决图像分类和其他复杂任务的黑匣子。进行的许多实验研究了神经网络如何解决这些复杂的问题。本文拆解了特定材料分类器的神经网络解决方案,结合了卷积层。使用多种技术来研究该问题的解决方案。这些技术专门关注哪些像素对神经网络做出的决策有贡献,以及每个神经元对决策的贡献。本次调查的目的是了解神经网络的决策过程,并利用这些知识对材料分类算法提出改进建议。
Making causal inferences in economics: Do better grades lead to higher salaries?
在上一篇文章中,我讨论了经济学专业的变化性质以及在社会科学研究中实现实验理想的重要性。我简要讨论了实现随机化或至少是假想随机化的逻辑,甚至一些方法论方法,以便使我们的治疗组和对照组尽可能相似,以便进行比较。在这篇文章中,我将使用一个我喜欢教给学生的例子来说明如何使用自然实验研究设计进行因果推断。快速提醒:自然实验本身并不是实验。它们只是为我们提供了一种利用观察数据来模拟实验环境的好方法。让我们使用最基本的例子,看看学生成绩和收入之间的关系——这是一个通常在学生中热烈讨论的话题——成绩越好,薪水越高吗?考虑下图中显示的成绩和收入之间的相关性。它使用美国数据,按高中平均绩点 (GPA) 计算男女工
滥用药物对霍尔伯特女士,RL Hough和Pa Wood的无家可归者精神病人的住房稳定的影响。目的:研究检查了无家可归的精神病患者的两年住房结果,他们参加了对支持住房的实验研究。住房成果与客户特征之间的关系,例如[…]邮政阅读列表首先出现在偶然的经济学家上。
本文展示了在无源和有源干扰影响下,将频谱相关信号处理的参数方法应用于超视距十米距离雷达的时空信号处理实际任务的可能性。参数方法基于使用具有有限数量可调参数的数学模型。这项工作展示了圣彼得堡电工大学“LETI”多年来在十米范围的超视距无线电定位领域进行的理论和实验研究的结果。参数方法已应用于时间、频谱和空间域中的信号处理,包括它们的非等距和准连续结构。