I.介绍在过去的十年中,无人驾驶汽车(UAV)的进步非常出色,在平民和军事环境中远远超出了其最初的目的。最初用于救援任务,监视和映射等任务,但无人机现在在紧急撤离工作和创新智能城市的创建中至关重要。这些多功能飞机在民用建设项目,有效的房地产管理和监测气候模式中也发挥了至关重要的作用。无人机具有由大小,重量和功率(交换)等因素确定的独特分类,这些因素会显着影响其飞行持续时间,高度范围和沟通能力。高空平台(HAP)的集成提高了沟通能力,从而导致海拔平台之间的至关重要的战略决策,以最大程度地提高存储和覆盖范围。尽管无人机的进步迅速迅速,但对其进化和潜力的彻底评估仍然难以捉摸。从2010年到2022年将无人机应用到Sky Rocket的潜力,重点是尖端第五代连接性(5G)连接的整合。这种技术飞跃增强了无人机在多个领域的性能,包括可操作性,可伸缩性和通信。毫不奇怪,无人机应用市场在2022年飙升至200亿美元以上,展现了其对全球规模的重大影响。[1]
主要问题 我们的现代计算系统消耗了太多能源。它们不是日益成为我们日常生活一部分的复杂人工智能 (AI) 应用程序的可持续平台。我们通常看不到这种情况,特别是在基于云的系统的情况下,因为我们通常更关心它们的功能——它们有多快;有多准确;每秒有多少个并行操作?我们已经习惯了几乎即时地获取信息,以至于我们不会考虑计算系统为我们提供这种访问时对能源和环境的影响。然而,每次谷歌搜索都有成本:数据中心目前每年使用约 200 太瓦时的能源,预计到本世纪末将增长约一个数量级 1 。诚然,并非所有数据密集型计算都需要机器学习 (ML) 或人工智能,但我们看到人工智能的部署如此广泛,以至于我们必须关注其环境成本。我们还应该考虑物联网 (IoT) 和自主机器人代理等应用程序,它们可能不需要总是启用人工智能,但仍必须降低其能耗。如果无数联网设备的能源需求过高,物联网的愿景就无法实现。最近的分析表明,对计算能力的需求增长远远超过了摩尔定律 2 所带来的改进。计算能力需求现在每两个月翻一番(图 1a)。尽管如此,通过智能架构和软件硬件协同的结合,已经取得了显著的进步。
在不进行侵入性近场操作的情况下从远场获取场景的亚波长信息是波工程学中的一个基本挑战。然而,众所周知,波在复杂介质中的停留时间决定了波对扰动的敏感度。现代编码孔径成像仪利用复杂介质提供的自由度 (dof) 作为天然多路复用器,但并未认识到并利用将感兴趣的物体放置在复杂介质外部或内部之间的根本区别。在这里,我们表明,只需用混响被动混沌腔将亚波长物体封闭在其远场中,就可以将定位亚波长物体的精度提高几个数量级。我们认为深度学习是一种合适的抗噪工具,可以提取编码在多路复用测量中的亚波长定位信息,实现远超训练数据中可用的分辨率。我们在微波领域展示了我们的发现:利用简单可编程超表面的配置自由度,我们使用仅强度的单频单像素测量,在混沌腔内沿弯曲轨迹定位亚波长物体,分辨率为 λ = 76。我们的研究结果可能在光声成像以及基于回响弹性波、声音或微波的人机交互方面具有重要应用。
近年来,计算机科学领域一直热议量子力学的潜力。量子计算利用叠加和纠缠原理,其计算能力远超传统计算机 [1]。此外,量子互联网还有潜力提供超越传统互联网系统的优势和能力,例如安全通信 [2] 或分布式计算 [3]。量子互联网是一个连接终端节点的网络,终端节点的范围从具有一个量子比特的简单量子设备到大规模量子计算机 [4]。最近的研究表明,现实世界中量子互联网的可能性达到千米级,例如使用光纤 [5] 可实现 248 公里,使用卫星 [6] 可实现 1203 公里。一种愿景是,跨洲的云数据中心将通过量子互联网连接起来,量子纠缠可实现即时、一致且安全的数据传输。自 20 世纪 60 年代以来,数据库系统经历了重大发展,从早期的层次化和网络模型过渡到 70-80 年代广泛采用的关系模型 [7] 和关系数据库。随着万维网的诞生和 90 年代基于 Web 的应用程序的激增,我们见证了分布式数据库和面向对象数据库的兴起 [8],[9]。在 2010 年代,大数据技术、NoSQL 数据库和云计算的出现进一步重塑了数据管理的格局 [10]。随着数据在数量和种类上持续急剧增长,传统的数据管理手段最终将达到极限。量子计算凭借其革命性的潜力,将成为数据管理系统持续发展中的关键未来技术。
她的忠诚 安娜·玛丽(这是德兰嬷嬷小时候的名字)刚满十三岁,上帝就把她亲爱的母亲召唤到自己身边。她一直是她母亲的甜蜜安慰,尤其是在她母亲奄奄一息的最后几个小时里,她更是她天堂般的慰藉,从未离开过她身边。整个沉闷的夜晚,安娜·玛丽守在母亲身边祈祷,她唯一的愿望就是把她所能给的一切都给即将离开她的母亲,而她最爱的母亲。因此,我们看到,即使在少女时代,圣洁的德兰嬷嬷也忘我而忠诚地坚持着。难怪在晚年,她似乎很容易就放弃了本该属于自己的睡眠和休息。当工作或慈善事业使她无法在适当的时间吃饭时,她会完全不吃饭,以免给她的修女们增加额外的工作。在她亲爱的母亲去世后,安娜·玛丽不想让外界帮助她处理那些必须做的事情,因为在她挚爱的母亲的遗体永远被埋葬之前,这些是她能做的最起码的事情。她亲自全权负责葬礼安排;照顾好一切,以远超她年龄的远见和勇气面对局面。然而,她可以像利雪圣母、圣婴耶稣圣女德肋撒一样说得好,从一开始,她的道路就布满荆棘,而不是玫瑰。从此,困难接踵而至;然而,此时她已经掌握了完全依赖上帝的艺术,因此没有障碍对她来说太过困难。她面对所有障碍,以她天生的适应能力掌控每一种情况。
我很荣幸受佩尔·雅各布森基金会邀请发表这次重要演讲,加入参加该系列演讲的杰出演讲者行列,也很高兴见到这么多朋友和同事。我上次有机会参加年会是在 2000 年秋季。有些事情保持不变,有些事情已经改变。当时美国大选势均力敌,人们对油价上涨十分担忧,人们希望通过共同努力减轻最贫穷国家的债务负担。这些事情都让人有似曾相识的感觉。但事情也发生了变化。地缘政治环境与当时相比大不相同,也更加令人担忧。也许部分原因是由于这个原因,另一个主要差异——全球失衡模式总体大幅增加,尤其是美国经常账户赤字——可能没有得到应有的关注。今天下午我想讨论的就是全球失衡和美国经常账户赤字的问题。目前,美国经常账户赤字每年远超 6000 亿美元,占 GDP 的 5.5%。它占全球 GDP 的 1% 以上,吸收了全球所有盈余国家累计经常账户盈余的近三分之二。所有这些数字都是史无前例的。美国从未出现过如此大的经常账户赤字,也没有一个国家的赤字占全球经济的比例如此之大。至少,这种独特的不平衡值得仔细研究。
美国宇航局的星光计划和突破摄星计划概念化了通过定向能驱动的小型相对论航天器进行快速星际旅行。这一过程与传统的太空旅行截然不同,用小型、快速、廉价和易碎的航天器取代大型和缓慢的航天器。这些晶片卫星的主要目标是在深空旅程中收集有用的图像。我们介绍并解决了伴随这一概念的一些主要问题。首先,我们需要一个物体检测系统,可以检测我们从未见过的行星,其中一些行星包含我们可能甚至不知道在宇宙中存在的特征。其次,一旦我们有了系外行星的图像,我们就需要一种方法来拍摄这些图像并按重要性对它们进行排序。设备故障,数据速率很慢,因此我们需要一种方法来确保对人类最重要的图像是优先进行数据传输的图像。最后,机载能量最小,必须节约和谨慎使用。不应错过任何系外行星图像,但错误地使用能量会造成损害。我们引入了基于模拟器的方法,利用人工智能(主要是计算机视觉)来解决这三个问题。我们的结果证实,模拟器提供了极其丰富的训练环境,远超真实图像,可用于训练模型,以研究人类尚未观察到的特征。我们还表明,模拟器提供的沉浸式和适应性环境与深度学习相结合,让我们能够以一种难以置信的方式导航和节省能源。
大型语言模型 (LLM) 最近已被证明在各种 NLP 任务中表现出色。为了解决多步骤推理任务,少样本思维链 (CoT) 提示包括一些手工制作的分步推理演示,使 LLM 能够明确生成推理步骤并提高其推理任务准确性。为了消除人工工作,零样本思维链 (CoT) 将目标问题陈述与“让我们一步一步思考”连接起来作为 LLM 的输入提示。尽管零样本思维链 (CoT) 取得了成功,但它仍然存在三个缺陷:计算错误、缺步错误和语义误解错误。为了解决缺步错误,我们提出了计划和解决 (PS) 提示。它由两个部分组成:首先,制定计划将整个任务分成更小的子任务,然后根据计划执行子任务。为了解决计算错误并提高生成的推理步骤的质量,我们扩展了 PS 提示,增加了更详细的说明,并衍生出 PS+ 提示。我们在三个推理问题的十个数据集上评估了我们提出的提示策略。在 GPT-3 上的实验结果表明,我们提出的零样本提示在所有数据集上的表现始终远超零样本 CoT,与零样本思维程序提示相当或超过零样本思维程序提示,并且在数学推理问题上具有与 8 样本 CoT 提示相当的性能。代码可以在 https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting 找到。
矩阵乘法 (MatMul) 通常占据大型语言模型 (LLM) 总体计算成本的主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度,这一成本只会增长。在本研究中,我们证明了 MatMul 操作可以完全从 LLM 中消除,同时在十亿参数规模下保持强劲性能。我们的实验表明,我们提出的无 MatMul 模型的性能与最先进的 Transformer 相当,后者在推理过程中需要更大的内存,并且参数规模至少高达 27 亿。我们研究了缩放规律,发现我们的无 MatMul 模型与全精度 Transformer 之间的性能差距随着模型规模的增加而缩小。我们还提供了该模型的 GPU 高效实现,与未优化的基准相比,在训练期间可将内存使用量降低高达 61%。通过在推理过程中使用优化的内核,与未优化的模型相比,我们的模型的内存消耗可减少 10 倍以上。为了准确量化我们架构的效率,我们在 FPGA 上构建了一个定制的硬件解决方案,该解决方案充分利用了 GPU 无法处理的轻量级运算。我们以 13W 的功耗处理了数十亿参数规模的模型,其吞吐量远超人类可读的吞吐量,使 LLM 的效率更接近人脑的水平。这项工作不仅展示了 LLM 在保持高效性能的同时可以精简到何种程度,还指出了未来加速器在处理下一代轻量级 LLM 时应针对哪些类型的运算进行优化。我们的代码实现可在 https://github.com/ridgerchu/matmulfreellm 获取。
由于其独特的光学和电子特性,垂直的范德华异质结构(VDWH)引起了光电应用的大量关注,例如光检测,光收获和光发射二极管。为了完全利用这些特性,了解跨VDWH的界面电荷转移(CT)和重组动力学至关重要。然而,界面能量和缺陷态对石墨烯转变金属二北核化金(GR-TMD)VDWH的界面CT和重组过程的影响仍在争论中。在这里,我们研究了具有不同化学成分(W,MO,S和SE)的GR-TMD VDWH中的界面CT动力学和可调的界面能量。We demonstrate, using ultrafast terahertz spectroscopy, that while the photo-induced electron transfer direction is universal with graphene donating electrons to TMDs, its efficiency is chalcogen-dependent: the CT efficiency of S atom-based vdWHs is 3–5 times higher than that of Se-based vdWHs thanks to the lower Schottky barrier present in S-based vdWHs.相比之下,从TMD到GR的电子反传递过程定义了电荷分离时间,它依赖金属依赖性,并由TMDS的中间隙缺陷水平支配:W过渡金属基于vDWH的电荷分离极为长,远超过1 ns,这比基于MO的VDWH远超过了PS Experation 10 s的基于MO的VDWH。与基于MO的TMD相比,这种差异可以追溯到基于W的TMD中报告的更深层次的中间隙缺陷,从而导致了从被困状态到石墨烯的后电子转移的变化能量。我们的结果阐明了界面能量学和缺陷的作用,通过在GR-TMD VDWH中定制TMD的化学组成和重组动态,这是优化光电设备的优化,尤其是在光电检测领域中。