AI21 Labs Jamba-Instruct model is now available in Amazon Bedrock
我们很高兴地宣布 Jamba-Instruct 大型语言模型 (LLM) 已在 Amazon Bedrock 中推出。Jamba-Instruct 由 AI21 Labs 构建，最值得注意的是支持 256,000 个令牌上下文窗口，这使其特别适用于处理大型文档和复杂的检索增强生成 (RAG) 应用程序。什么是 Jamba-Instruct Jamba-Instruct 是指令调整版本的 […]
Microsoft Accidentally Exposes 38TB of Sensitive Data
云安全公司 Wiz 最近的一份报告显示，由于涉及共享访问签名 (SAS) 令牌的错误配置，微软的人工智能研究部门无意中暴露了惊人的 38 TB 敏感数据。
An empirical analysis of compute-optimal large language model training
我们问一个问题：“对于给定的计算预算，最佳模型大小和训练令牌数量是多少？”为了回答这个问题，我们训练了各种大小和各种标记数量的模型，并根据经验估计了这种权衡。我们的主要发现是，当前的大型语言模型对于其计算预算来说太大了，并且没有在足够的数据上进行训练。
Introducing GoodAI LTM Benchmark
作为我们在持续学习领域研究工作的一部分，我们正在开源一个基准，用于测试代理在非常长的对话中执行涉及高级使用记忆的任务的能力。除其他外，我们评估代理在需要动态维护记忆或长期整合信息的任务上的表现。我们正在开源：现行的 GoodAI LTM 基准。我们的 LTM 代理。我们的实验数据和结果。我们表明，信息的可用性是解决这些任务的必要条件，但不是充分条件。在我们的初始基准中，具有 8k 上下文的对话 LTM 代理与具有 128k 个令牌的长上下文 GPT-4-1106 相当。在内存要求高出 10 倍的更大基准测试中，我们的具有 8k 上下文的对话式 LTM 代理的性能比上下文大小为 128,000
