MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
What’s New in Computer Vision and Object Detection?
是否想写出您的第一篇 TDS 文章？我们始终欢迎新作者的投稿。在开始本周的精彩文章选集之前，我们想花点时间感谢所有读者、作者和更广泛社区的成员，感谢他们帮助我们实现一个重要的里程碑，因为我们的关注者指望 Medium 刚刚实现……我们非常激动——并感谢所有支持我们使 TDS 成为蓬勃发展、以学习为重点的出版物的人。祝愿未来有更多的成长和探索！回到我们的常规业务，我们选择了三篇最近的文章作为本周的亮点，重点介绍了计算机视觉和物体检测等令人兴奋的领域的尖端工具和方法。随着多模态模型的覆盖范围不断扩大，自动驾驶、医疗保健和农业等用例成为主流，数据和机器学习从业者必须随时了解最新发展。（如果您现在对其
SenseNova 5.5 – China’s first real-time LLM beats GPT-4o
中国 AI 开发商 SenseTime 发布了其升级版多模态 SenseNova 5.5 模型，并声称它代表了最先进的技术。升级后的模型是在 SenseNova 5 发布几个月后推出的，SenseTime 表示 SenseNova 5 与 GPT-4 Turbo 不相上下。据报道，升级后的 600B 参数 SenseNova 5.5 整体性能提高了 30%。该公司发布的基准测试分数显示，其模型击败了 GPT-4o 和 Anthropic 的 Claude Sonnet 3.5 模型。SenseNova 5.5 擅长的基准测试是中国模型通常使用的基准测试。如果他们使用 GPQA、Humaneva
Here’s the Most Buglike Robot Bug Yet
昆虫长期以来一直是机器人的灵感来源。昆虫世界充满了微小、完全自主、高度机动、节能、多模式、自我修复的生物，我可以继续列举下去，但您明白我的意思 - 昆虫既是机器人专家的灵感来源，也是他们沮丧的来源，因为让机器人拥有接近昆虫的能力非常困难。不过，我们确实取得了进展。在上个月发表在 IEEE 机器人与自动化快报上的一篇论文中，来自上海中通大学的机器人专家展示了我认为我见过的最像虫子的机器人虫子。多模式无尾扑翼机器人www.youtube.com好吧，它可能看起来不是最像虫子的，但它可以做很多非常像虫子的事情，包括爬行、水平起飞、飞行（具有六个自由度控制）、悬停、着陆和必要时的自动复位。 JT-fl
Introducing Falcon2: Next-Gen Language Model by TII
关于 TII 性能最佳的开源、多语言和多模式语言模型的一切
TinyAgent: Function Calling at the Edge
LLM 能够通过普通语言（例如英语）执行命令，这使得代理系统能够通过协调正确的工具集（例如 ToolFormer、Gorilla）来完成用户查询。这与最近的多模式努力（例如 GPT-4o 或 Gemini-1.5 模型）一起扩大了 AI 代理的可能性范围。虽然这非常令人兴奋，但这些模型的模型大小和计算要求通常要求在云端进行推理。这可能会给它们的广泛采用带来一些挑战。首先，将视频、音频或文本文档等数据上传到云端的第三方供应商可能会导致隐私问题。其次，这需要云/Wi-Fi 连接，而这并不总是可行的。例如，部署在现实世界中的机器人可能并不总是有稳定的连接。除此之外，延迟也可能是一个问题，因为将大量数
Репортаж с PHDays Fest 2: эксперт УЦСБ рассказал о возможностях использования ИИ в ИБ
5月23日，在莫斯科国际网络节Positive Hack Days上，加州大学圣巴巴拉分校科学技术工作副主任尼古拉·多穆霍夫斯基（Nikolai Domukhovsky）作了题为《为何人工智能在信息安全以外的所有领域都取得胜利》的报告。事实证明，这个话题与网络安全专家息息相关，大厅里几乎没有空座位。演讲一开始，尼古拉谈到了过去10年人工智能的主要成功。人工智能成果已经从基础研究的范畴转变为急需的应用解决方案的地位，没有它我们将无法想象我们的生活。现在正处于进步的顶峰，大型语言模型也正在变得多模态——神经网络可以根据你的描述构建图像、纠正它、编写文本等。许多人利用这些机会，不幸的是，这些技术已经
Video Friday: Robots With Knives
来自日本横滨 IEEE 国际机器人与自动化会议 (ICRA) 的问候！希望您喜欢我们在 TikTok、YouTube 和 Instagram 上的短视频。它们只是我们对 ICRA 的深入报道的预览，在接下来的几周内，我们会为您准备大量文章和视频。在今天的“视频星期五”版本中，我们为您带来了会议上展示的十几个最有趣的项目。欣赏今天的视频，并敬请期待更多 ICRA 帖子！未来几个月即将举行的机器人活动：RoboCup 2024：2024 年 7 月 17 日至 22 日，荷兰埃因霍温SICSR 2024：2024 年 10 月 23 日至 26 日，丹麦奥登塞Cybathlon 2024：2024
Pogo Stick Microcopter Bounces off Floors and Walls
我们倾向于从地面开始思考跳跃机器人。也就是说，它们从地面开始，然后通过跳跃，将空中阶段融入其运动中。但是，空中机器人没有理由不能从另一个方向进行跳跃，即在飞行中添加跳跃地面阶段。Hopcopter 是我见过的第一个尝试这种跳跃方式的机器人，它非常有效，将一个微型四旋翼飞行器与一个弹性腿结合起来，在空中跳跃。Songnan Bai、Runze Ding、Song Li 和 Bingxuan Pu 那么，为什么在空中值得为一个功能完好的四旋翼飞行器添加弹簧单高跷呢？嗯，飞行当然是一项宝贵的能力，但确实需要大量能量。如果你仔细观察鸟类（该领域公认的专家），你会发现它们往往会花费大量时间尽力不飞翔，通
Big Context Windows Are a Big Deal
上周，我试用了 Google 最新的生成模型：Gemini 1.5，这是一个多模式庞然大物，可以处理长达一小时的视频、11 小时的音频、30,000 行代码或 700,000 个单词。就上下文长度而言，这是一个巨大的飞跃：Gemini 接受的输入是其最强大的前身 Claude 2.1 的 5 倍。我一直兴奋地期待着长上下文窗口时代的到来，不仅因为它们使生成模型能够解决全新类型的问题，还因为它们可能会改变我们使用 LLM 进行开发的方式。但我有点操之过急了。首先，让我与您分享一些我最喜欢的 Gemini 1.5 实验。使用 VideoAI Family Video Archive 2.0 进行提
Multiple AI models help robots execute complex plans more transparently
多模态系统使用经过语言、视觉和动作数据训练的模型来帮助机器人制定和执行家庭、建筑和制造任务的计划。
Artificial Intelligence in Natural Hazard Modeling: Severe Storms, Hurricanes, Floods, and Wildfires
GAO 的发现GAO 发现，机器学习是一种使用算法来识别信息模式的人工智能 (AI)，它正在应用于严重风暴、飓风、洪水和野火等自然灾害的预测模型，可能导致自然灾害。一些机器学习模型在日常预报中得到实际应用，例如可以缩短严重风暴预警时间的模型。机器学习的一些用途被认为接近可操作，而另一些则需要多年的开发和测试。GAO 确定了将机器学习应用于该领域的潜在好处，包括：从而增加建模成本。通过更充分地利用可用数据、使用传统模型无法使用的其他数据以及创建合成数据来填补空白，提高模型的准确性。通过改进集成建模（从众多模型生成组合预测的过程）以及更好地利用历史数据来减少模型输出的不确定性。使用机器学习预测自然
Google’s Gemini AI is going to surpass ChatGPT
突破性的 NLP 模型 Gemini AI 将超越现有基准。凭借其多模态能力、跨各个领域的可扩展性以及在 Google 生态系统中的集成潜力，Gemini AI 代表了 AI 技术的重大飞跃。
2023/10/11 Teams Developing Datasets to Support DARPA Triage Challenge
创伤医学观察研究基础设施 (RITMO) 工作旨在将从创伤患者受伤后早期获得的大量多模式传感器、干预和医疗结果数据整合到一个数据库中。通过使用去识别化的患者数据，研究人员可以确保患者隐私受到保护。 RITMO 收集的数据将支持 DARPA 分类挑战计划，以识别新的生理特征，从而增强在严峻、复杂和造成大规模伤亡的环境中的分类决策。
IEEE Transactions on Artificial Intelligence, Volume 5, Issue 6, June 2024
1) 特邀编辑：非平稳数据的 AutoML作者：Ran Cheng、Hugo Jair Escalante、Wei-Wei Tu、Jan N. Van Rijn、Shuo Wang、Yun Yang页数：2456 - 24572) 用于异构遥感图像中无监督变化检测的自引导自动编码器作者：Jiao Shi、Tiancheng Wu、Alex Kai Qin、Yu Lei、Gwanggil Jeon页数：2458 - 24713) 用于实时追踪水污染的学习驱动动态多模态优化算法作者：Xuesong Yan、Xing Guo、Jin Chen、Chengyu Hu、Wenyin Gong、Liang
