XiaoMi-AI文件搜索系统
World File Search SystemTerabytes
引用本文：Michael Yankoski、Tim Weninger 和 Walter Scheirer (2020) 一种用于监控在线虚假信息、制止暴力和保护选举的人工智能预警系统，《原子科学家公报》，76:2，85-90，DOI：10.1080/00963402.2020.1728976
这些担忧促使像我们这样的人工智能研究人员与和平研究领域的学者建立了新的研究合作关系，和平研究是一个跨学科领域，致力于分析冲突与和平的原因。这两个领域的交叉是有意义的。例如，一个旨在标记在线发布的所有伪造图像、视频或音频片段的系统必须扫描发布的每一点内容——考虑到每分钟产生的 TB 级数据，这绝非易事。相反，我们正在开发系统，其具体目标是帮助防止在特定地点和特定时间因恶意虚假信息而导致的暴力事件——这些地方很可能爆发暴力事件。通过借鉴和平研究的经验教训，人工智能开发人员可以将预警系统定位到最有可能出现虚假信息导致选举操纵或暴力事件的地方。
人工智能：隐私和民主的风险
人工智能 (AI) 是当代最具颠覆性的技术。随着它进入我们生活的每个角落，其影响甚至可能使互联网的发展相形见绌。许多人工智能应用已为人所熟知，例如语音识别、自然语言处理和自动驾驶汽车。其他实现不太为人所知，但应用也日益广泛，例如内容分析、医疗机器人和自主战士。这些技术的共同点是能够从非结构化数据中提取情报。每天都会产生数百万 TB 的有关现实世界及其居民的数据。其中大部分都是噪音，意义不大。人工智能的目标是过滤噪音、找到意义并采取行动，最终以比人类单独实现的更高的精度和更好的结果采取行动。机器的新兴智能是解决问题和创造新问题的有力工具。
从保险角度看物联网风险 - CRO 论坛
“如今，计算机，以及互联网，几乎完全依赖于人类获取信息。互联网上大约 50 PB（1 PB 等于 1,024 TB）的数据几乎都是由人类通过打字、按下记录按钮、拍摄数码照片或扫描条形码捕获和创建的。问题是，人类的时间、注意力和准确性有限，所有这些都意味着他们并不擅长捕获有关现实世界事物的数据。如果我们拥有了解事物所有知识的计算机，它们无需我们的帮助就能使用它们收集的数据，我们将能够跟踪和统计所有事物，从而大大减少浪费、损失和成本。我们会知道什么时候需要更换、修理或召回物品，以及它们是否是新鲜的还是已经过了最佳使用期。”
人工智能：隐私和民主的风险
人工智能 (AI) 是现代最具颠覆性的技术。随着人工智能进入我们生活的每个角落，其影响甚至可能超过互联网的发展。许多人工智能应用已经为人所熟知，例如语音识别、自然语言处理和自动驾驶汽车。其他实现不太为人所知，但部署越来越多，例如内容分析、医疗机器人和自主战士。这些的共同点是它们能够从非结构化数据中提取情报。每天都会产生数百万 TB 的有关现实世界及其居民的数据。其中大部分都是噪音，没有明显意义。人工智能的目标是过滤噪音、找到意义并采取行动，最终实现比人类自身更精确、更好的结果。新兴的机器智能是解决问题和创造新问题的有力工具。
历史性的 ARP 和 HARP 被动声学录音......
在海军先前的资助下，斯克里普斯鲸鱼声学实验室使用声学记录包 (ARP) 和高频声学记录包 (HARP) 收集了大量被动声学数据。如果没有适当的数据存档方法，这些数据可能会损坏或丢失。美国国家环境信息中心 (NCEI) 一直致力于创建国家基础设施，以保存被动声学监测数据并使其可供公众获取以供未来分析。该项目将重点保存 1999 年至 2009 年间收集的最古老的数据集，总计约 100 兆兆字节 (TB) 的记录数据。存档这些数据集包括合并数据集、确保元数据完整性以及将这些数据集物理传输到 NCEI。项目团队将与海军实体和 NCEI 工作人员合作，开发和简化存档流程，以提高未来存档工作的可行性。
2024年6月
本月的许多领域都发生了重大事件和事件。在一个有趣的地缘政治和商业上的沮丧中，卡巴斯基被禁止进入美国，这将在全球范围内造成严重的破坏，不仅在美国。披露了一个新的MoveIT漏洞，虽然最初认为严重程度相对较低，但在MoveIT软件依赖性中，它被发现在数小时内与零日链。这将严重性提高到了关键，并提高了更广泛的软件供应链零日的幽灵。在一项活动中，随着越来越多的事件揭露，大约有150名雪花云数据分析服务的客户已被攻击者利用被盗的凭证来窃取数据和PII的攻击者，并妥协了受害者，其中包括几个家喻户晓的名字。还发布了有关2023年中国针对Fortinet防火墙的新信息，该信息发现自从修补脆弱性作为零日
白皮书地球观测中的大数据 - BDVA |
基于卫星的地球观测 (EO) 数据量正以每天数 TB 的速度增长：例如，2014 年 4 月 3 日发射的 Sentinel-1A 已经以每天 2.5TB 的速度每 12 天提供一次高分辨率 SAR 全球数据。此后，其他 Sentinel 任务也开始运行：Sentinel-2A 和 Sentinel-3A 分别于 2015 年 6 月 23 日和 2016 年 2 月 16 日发射。它们在满负荷运行的情况下每天提供 0.8 TB（分别 0.3 TB）的图像数据。Sentinel-1B 于 2016 年 4 月 25 日发射，Sentinel-2B 于 2017 年 3 月 7 日发射，最近，Sentinel 5P 于 2017 年 10 月 13 日发射。其他任务即将启动。这些将提供大量异构格式的数据（具有不同的空间和时间分辨率）。推广的哥白尼免费开放获取政策为工业界和学术研究界创造了前所未有的机会。
人工智能；机器学习 - 哥白尼
我们现在面临的挑战之一就是理解卫星定期传送的这些 PB 级数据，并将它们与地球上收集的其他数据（例如通过地面基础设施、连接传感器或互联网和社交媒体上的开放数据）联系起来。因此，这里的重点实际上是从这些大数据中提取相关的“信息”和“情报”。用肉眼观察不再是一种选择。数据太多，类型也太多。仅哨兵卫星每天就传送了 TB 级的数据，而人类操作员需要几百年才能查看卫星传来的数据，所以我们需要机器来完成这项工作。这就是人工智能发挥作用的地方。它是一种非常强大的工具，提供了一种新的、自动化的、可扩展的方式来完成这项工作。人工智能和地球观测卫星真的是天作之合。
GLOBE Observer：利用人工智能驱动的公民科学推进地球系统知识的案例研究
公民科学和人工智能 (AI) 相互补充，充分利用了人类和机器的优势。公民科学生成数 TB 的原始数字、文本和图像数据，对这些数据的分析需要自动化技术才能有效地进行处理。相反，AI 计算机视觉技术在训练过程中可能需要数以万计的图像，而公民科学项目非常适合提供大型数据库。在此，我们描述了 AI 工具如何应用于 GLOBE Observer 公民科学数据生态系统，其中图像识别算法支持数据提取过程、保护用户隐私并提高数据保真度。GLOBE 公民科学数据已用于开发自动数据分类程序，从而实现蚊子幼虫和土地覆盖标签的信息发现。这些进步使 GLOBE 公民科学家数据可用于环境和健康研究，以及 GeoAI 一般领域工作的机器学习科学家。
用于空间领域感知应用的加速 AI 驱动大气预测 丹尼·费尔顿 诺斯罗普·格鲁曼公司 玛丽·艾伦·克拉多克、希瑟·凯利、兰德尔·J·阿利斯、埃里克·佩奇、杜安·阿普林 诺斯罗普·格鲁曼公司 摘要 太空激光和监视应用经常受到大气效应的影响。气溶胶、云和光学湍流引起的大气衰减和扭曲会产生有害影响，从而对任务结果产生负面影响。2019 年 AMOS 会议上简要介绍的一篇论文介绍了 2017 年在哈莱阿卡拉峰安装的地面仪器。这些仪器仍在积极收集数据，它们正在提供前所未有的空间环境实时表征，包括精确的大气传输损耗。虽然实时测量是理解和表征空间环境的第一步，但仅靠它们是不够的。为了优化任务规划，许多应用都需要对空间环境进行准确的短期大气预测。虽然大气预报并不是什么新鲜事，但最近随着 21 世纪人工智能 (AI) 技术的应用，大气预报的技能得到了极大提升。这些技术是高性能计算 (HPC) 和深度学习 (DL) 的结合。本演讲的主题是使用来自地面大气收集系统的 TB 级数据训练预测模型，并使用图形处理单元 (GPU) 加速其训练和推理的能力。本研究侧重于预测的三个时间尺度。这些时间尺度包括短期（0 到 60 分钟）、中期（1 小时到 3 小时）和长期（3 到 48 小时）。这些时间尺度代表激光和/或监视应用和任务的各种决策点。在短期预测情况下，多种 DL 技术应用于从光学地面站 (OGS) 收集的本地数据。这些 DL 技术包括使用 U-Net 卷积神经网络和多层感知器 (MLP) 和随机森林 (RF) 模型的集合。 MLP 用于从激光云高仪和红外云成像仪 (ICI) 等仪器收集的点数据。对于中间时间尺度，卷积长短期记忆 (LSTM) 网络和 U-Net 均使用来自 NOAA 地球静止卫星云图集合的图像进行训练。最后，组合 U-Net 和自动编码器神经网络用于训练由 HPC 数值天气预报 (NWP) 模型模拟的大气预测器以进行长期预测。NWP 会产生许多 TB 的数据，因此，使用这些神经网络是优化其预测能力的理想选择。本研究利用了多种 HPC 资源。其中包括由四个 NVIDIA Tesla V100 GPU 组成的内部 GPU 节点以及毛伊高性能计算中心 (MHPCC) 的资源。结果表明，在几乎所有情况下，这些预测技术都优于持久性，而且偏差很小。使用 HPC 和 DL 推理实时进行预测的能力是未来的重点，将在会议上报告。1. 简介大气衰减和失真降低了太空激光和监视应用的功效。特别是，云层可以部分或完全遮挡目标，并阻止或要求降低光通信系统的数据速率。但是，通过准确表征和预测大气影响，可以减轻许多负面影响。本研究的目的是开发和完善一种最先进的大气预测系统，该系统可生成高分辨率的大气衰减预测，以支持太空激光和监视应用的决策辅助。为了实现这一目标，HPC 和 AI 的进步与数 TB 的高分辨率地面和太空大气数据集合相结合。多种 HPC 资源用于处理本研究所需的地面和卫星数据，并使用四个 NVIDIA Tesla V100 GPU 加速 AI 预测技术的训练和推理。该技术用于进行多时间尺度大气预测：1 小时预测、2 小时以上预测和 48 小时预测。最长 1 小时；最长 2+ 小时；最长 48 小时。最长 1 小时；最长 2+ 小时；最长 48 小时。
用于空间领域感知应用的加速 AI 驱动大气预测 丹尼·费尔顿 诺斯罗普·格鲁曼公司 玛丽·艾伦·克拉多克、希瑟·凯利、兰德尔·J·阿利斯、埃里克·佩奇、杜安·阿普林 诺斯罗普·格鲁曼公司 摘要 太空激光和监视应用经常受到大气效应的影响。气溶胶、云和光学湍流引起的大气衰减和扭曲会产生有害影响，从而对任务结果产生负面影响。2019 年 AMOS 会议上简要介绍的一篇论文介绍了 2017 年在哈莱阿卡拉峰安装的地面仪器。这些仪器仍在积极收集数据，它们正在提供前所未有的空间环境实时表征，包括精确的大气传输损耗。虽然实时测量是理解和表征空间环境的第一步，但仅靠它们是不够的。为了优化任务规划，许多应用都需要对空间环境进行准确的短期大气预测。虽然大气预报并不是什么新鲜事，但最近随着 21 世纪人工智能 (AI) 技术的应用，大气预报的技能得到了极大提升。这些技术是高性能计算 (HPC) 和深度学习 (DL) 的结合。本演讲的主题是使用来自地面大气收集系统的 TB 级数据训练预测模型，并使用图形处理单元 (GPU) 加速其训练和推理的能力。本研究侧重于预测的三个时间尺度。这些时间尺度包括短期（0 到 60 分钟）、中期（1 小时到 3 小时）和长期（3 到 48 小时）。这些时间尺度代表激光和/或监视应用和任务的各种决策点。在短期预测情况下，多种 DL 技术应用于从光学地面站 (OGS) 收集的本地数据。这些 DL 技术包括使用 U-Net 卷积神经网络和多层感知器 (MLP) 和随机森林 (RF) 模型的集合。 MLP 用于从激光云高仪和红外云成像仪 (ICI) 等仪器收集的点数据。对于中间时间尺度，卷积长短期记忆 (LSTM) 网络和 U-Net 均使用来自 NOAA 地球静止卫星云图集合的图像进行训练。最后，组合 U-Net 和自动编码器神经网络用于训练由 HPC 数值天气预报 (NWP) 模型模拟的大气预测器以进行长期预测。NWP 会产生许多 TB 的数据，因此，使用这些神经网络是优化其预测能力的理想选择。本研究利用了多种 HPC 资源。其中包括由四个 NVIDIA Tesla V100 GPU 组成的内部 GPU 节点以及毛伊高性能计算中心 (MHPCC) 的资源。结果表明，在几乎所有情况下，这些预测技术都优于持久性，而且偏差很小。使用 HPC 和 DL 推理实时进行预测的能力是未来的重点，将在会议上报告。1. 简介大气衰减和失真降低了太空激光和监视应用的功效。特别是，云层可以部分或完全遮挡目标，并阻止或要求降低光通信系统的数据速率。但是，通过准确表征和预测大气影响，可以减轻许多负面影响。本研究的目的是开发和完善一种最先进的大气预测系统，该系统可生成高分辨率的大气衰减预测，以支持太空激光和监视应用的决策辅助。为了实现这一目标，HPC 和 AI 的进步与数 TB 的高分辨率地面和太空大气数据集合相结合。多种 HPC 资源用于处理本研究所需的地面和卫星数据，并使用四个 NVIDIA Tesla V100 GPU 加速 AI 预测技术的训练和推理。该技术用于进行多时间尺度大气预测：1 小时预测、2 小时以上预测和 48 小时预测。最长 1 小时；最长 2+ 小时；最长 48 小时。最长 1 小时；最长 2+ 小时；最长 48 小时。