Scaling Laws for Mixture Pretraining Under Data Constraints
随着语言模型的扩展，它们所需的数据量也在增长，但许多目标数据源（例如低资源语言或专业领域）本质上在大小上受到限制。一种常见的策略是将这种稀缺但有价值的目标数据与丰富的通用数据混合在一起，这提出了一个基本的权衡：混合物中的目标数据太少会使模型在目标域中暴露不足，而太多的目标数据会过度重复相同的示例，从而产生收益递减并最终导致过度拟合。我们在 2,000 多次语言模型训练中研究了这种权衡……
New method could slash the energy needed for future computer memory
随着人工智能变得更加强大和广泛使用，每天创建的数据量正在以惊人的速度增长。每个人工智能聊天机器人对话、在线搜索、流媒体视频、科学模拟和推荐系统都依赖于大量信息的存储、处理和传输。这种不断增长的需求给 […] 文章《新方法可以削减未来计算机内存所需的能量》首先出现在 Knowridge Science Report 上。
データセンター需要の拡大をどう受け止めるか－データセンター需要の拡大と立地分散の必要性－
■摘要 在视频分发、云服务、新一代人工智能普及的背景下，通信流量长期增长，对存储、处理和分发数据的数据中心的需求也在不断扩大。特别是，生成式人工智能不仅需要高性能的计算设备，还需要大量的电力、强大的冷却设备和宽带通信网络，无论是数量还是质量都在改变需求。另一方面，日本的数据中心集中在东京和大阪地区，容易遭受大规模灾害、大面积停电以及电力和土地限制。未来需要根据用途将功能分配给区域基地，并综合考虑电力和通信基础设施、脱碳和区域资源。此外，与当地社区共存、稳定发展的关键是具体论证对所在地区的利益和负担，并尽早进行对话。 ■目录 1 - 简介 2 - 通信流量和数据中心需求的增加 1 - 什么是通信
