XiaoMi-AI文件搜索系统
World File Search SystemMMLU
AI的状态：中国
1。根据路透社（AA 1月31日）2。bytedance是一家私人公司。REUTERS的估值3。 华为是一家私人公司。 路透社的估值（2023）4。 人工分析智能指数：一系列语言模型智能和推理评估数据集的平均值。 目前包括MMLU，GPQA Diamond，Math-500和Humaneval。 5。 根据公司的索赔和可比结果估算，尚未通过人工分析独立基准。REUTERS的估值3。华为是一家私人公司。路透社的估值（2023）4。人工分析智能指数：一系列语言模型智能和推理评估数据集的平均值。目前包括MMLU，GPQA Diamond，Math-500和Humaneval。5。根据公司的索赔和可比结果估算，尚未通过人工分析
生成验证者：作为下一句话预测的奖励建模
验证者或奖励模型通常用于增强大语言模型（LLM）的推理性能。一种常见的方法是最好的N方法，其中LLM生成的N候选解决方案由验证者排名，并且选择了最好的解决方案。基于LLM的验证者通常被培训为判别性分类器以评分解决方案，但它们并未利用验证的LLM的文本生成能力。为了克服这一限制，我们使用无处不在的下一步预测目标提出了培训验证仪，共同核对和解决方案生成。与标准验证符相比，这种生成验证符（GENRM）可以从LLM的几个优点中受益：它们与指导调整无缝集成，启用了经过思考的推理，并且可以通过多数投票利用额外的测试时间计算来获得更好的验证。我们证明GENRM的表现优于歧视性，DPO验证者和LLM-AS-A-a-gudge，导致了最佳N的性能增长，即5％→45。算法任务的3％和73％→93。GSM8K的4％。 在易于硬化的概括设置中，我们观察到28％→44的改善。 数学的6％，37。 9％→53。 MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。GSM8K的4％。在易于硬化的概括设置中，我们观察到28％→44的改善。数学的6％，37。 9％→53。 MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。数学的6％，37。9％→53。MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。MMLU摘要代数为5％。此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。
DeepSeek-R1：通过增强学习激励LLM中的推理能力
•分数：MMLU的90.8％，MMLU-PRO的84.0％，GPQA钻石的71.5％。•胜过DeepSeek-v3，但尾随OpenAI-O1-1217。•与其他封闭式模型相比，教育任务擅长于教育任务。SimpleQA：胜过DeepSeek-V3，展示了强大的事实查询处理。
人工智能分析 AI 回顾 2024 年亮点...
1.人工分析质量指数：一系列语言模型智能和推理评估数据集的平均值。目前包括 MMLU、GPQA Diamond、MATH-500 和 HumanEval。根据实验室声称的某些非当前模型的评估结果进行估算。发布日期基于模型的首次公开发布。2.人工分析质量指数是根据实验室声称的某些模型（非当前或 API 尚不可用）的评估结果进行估算的。
PHI-3技术报告：手机本地有能力的语言模型
We introduce phi-3-mini , a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a 电话。我们的培训数据集是用于PHI-2的扩展版本，该版本由大量过滤的公开可用的Web数据和合成数据组成。该模型还可以进一步符合鲁棒性，安全性和聊天格式。我们还提供了针对4.8T令牌训练的7B，14B型号的参数缩放结果，称为Phi-3-Small，Phi-3中，均比Phi-3-Mini（例如，MMLU上的75％，78％，在MT-Bench上的8.7，8.7，8.7，8.7，8.7，8.7，8.7）。为了增强多语言，多模式和长篇文化功能，我们在PHI-3.5系列中介绍了三个模型：Phi-3.5-Mini，Phi-3.5-Moe和Phi-3.5-Vision。与其他类似规模的开源模型相比，具有66亿个活动参数的16 x 3.8B MOE模型，在语言推理，数学和代码任务方面取得了卓越的性能，例如Llama 3.1和Mixtral系列，以及与GEMINI-1.5-FLASH和GPT-FLASH和GPT-FLASH和GPT-4O-MINI相比。与此同时，Phi-3.5-Vision是一个源自PHI-3.5- mini的42亿个参数模型，在推理任务方面表现出色，并且擅长处理单片图像和文本提示，以及多图像和文本提示。
Claude 3 模型家族：Opus、Sonnet、Haiku
我们推出了 Claude 3，这是一个新的大型多模式模型系列 - Claude 3 Opus 是我们功能最强大的产品，Claude 3 Sonnet 兼具技巧和速度，以及 Claude 3 Haiku ，是我们速度最快、价格最便宜的模型。所有新模型都具有视觉功能，可以处理和分析图像数据。Claude 3 系列在基准评估中表现出色，并在推理、数学和编码指标上树立了新标准。Claude 3 Opus 在 GPQA [1]、MMLU [2]、MMMU [3] 等评估中取得了最佳效果。Claude 3 Haiku 在大多数纯文本任务上的表现与 Claude 2 [4] 一样好甚至更好，而 Sonnet 和 Opus 则明显优于它。此外，这些模型在非英语语言中表现出更高的流利程度，使其更适合全球受众。在本报告中，我们对我们的评估进行了深入分析，重点关注核心能力、安全性、社会影响以及我们在负责任的扩展政策 [5] 中承诺的灾难性风险评估。
Adapt-Prouner：适应性的结构修剪，用于有效的小语言模型培训
小语言模型（SLM）由于在边缘设备中的广泛应用而引起了学术界和行业的极大关注。为了获得具有强大性能的SLM，传统方法要么从头开始预训练模型，这会产生大量的计算成本，或者压缩/修剪现有的大语言模型（LLMS），这会导致性能下降，并且与预训练相比差不多。在本文中，我们研究了涉及结构化修剪和模型训练的加速方法家族。我们发现1）层面的适应性修剪（适应性培训）在LLM中非常有效，并且对现有的修剪技术的改善具有显着改善，2）适应性修剪，配备了进一步的训练导致模型，可与模型相当，与那些从抓挠中进行预训练的模型相当，3）逐步训练，仅通过促进培训，而仅通过互动而进行较小的培训（仅在较小的培训中），并且仅通过互动而进行互动（仅在较小的情况下），并且促进了较小的培训。一次5％）。对Llama-3.1-8b的实验结果表明，适应性抗性的表现要优于常规修剪方法，例如LLM-PRUNER，FLAP和SLICEGPT，平均在平均基准的准确度中以1％-7％的速度为1％-7％。此外，改编普朗纳（Adapt-Pruner）在MMLU基准测试上恢复了Mobilellm-125m的性能，并通过从其较大的对应物中修剪来降低代币，并发现了超过多个基准标记Llama-3.2-1B的新型1B模型。
大型语言模型是否反映认知语言处理？
大型语言模型 (LLM) 在文本理解和逻辑推理方面表现出了卓越的能力，这表明 LLM 学习到的文本表征可以促进其语言处理能力。在神经科学中，大脑认知处理信号通常用于研究人类的语言处理。因此，很自然地会问 LLM 的文本嵌入与大脑认知处理信号的对齐程度如何，以及训练策略如何影响 LLM-大脑对齐？在本文中，我们使用表征相似性分析 (RSA) 来测量 23 个主流 LLM 与大脑 fMRI 信号之间的对齐程度，以评估 LLM 对认知语言处理的模拟效果。我们通过实证研究了各种因素（例如，训练前数据大小、模型缩放、对齐训练和提示）对这种 LLM-大脑对齐的影响。实验结果表明，预训练数据大小和模型缩放与 LLM-大脑相似性呈正相关，1 而对齐训练可以显著提高 LLM-大脑相似性。明确的提示有助于 LLM 与大脑认知语言处理的一致性，而无意义的噪声提示可能会削弱这种对齐。此外，各种 LLM 评估（例如 MMLU、Chatbot Arena）的表现与 LLM-大脑相似性高度相关。
市场上的市场
•DeepSeek似乎比其他前沿模型更有效地训练了45倍的型号。清楚，DeepSeek的大多数方法已经存在。这是最大的成就：面对筹码禁令，弄清楚如何立即部署它们，并介绍其自身的自我增强学习•专家的混合：GPT-3.5使用其整个模型来解决培训和推理，尽管可能只需要一小部分模型。相比之下，GPT-4和DeepSeek是专家（MOE）模型的混合物，它们仅激活解决每个问题所需的模型的各个部分。DeepSeek V3的参数为6,710亿个，但在任何给定时间中只有370亿个活动•MLA是指“多头潜能”，这是对DeepSeek保持较小的存储器的行话，而在运行的过程中，•其他deepseek效率方法在运行•与BF16或FP3精确的过程中存储的其他deepseek效率方法，这些方法是供应fp3的精确量，它们是精确的。模型还使用多言语预测（MTP），而不仅仅是预测下一代币，这将准确性降低了约10％，但提出速度却增加了一倍，但DeepSeek声称V3非常便宜，需要2.7毫米H800 GPU小时，这是$ 2/GPU时的费用，只需$ 2/GPU时，只有5600万美元2美元。Llama 3.1 405B最终训练运行的GPU小时数量可比数量高约10倍3。需要进行更多的分析来确定这种过度专业化是否是一个更广泛的问题•DeepSeek今天早上刚刚宣布了另一个版本：多模式模型（文本，图像生成和解释）。DeepSeek明确指出，这是最终培训的成本，不包括“与先前的研究和消融实验相关的架构，算法或数据相关的成本”•DeepSeek V3性能与OpenAI的4O和Anthropic的SONNET-3.5竞争，并且似乎比Llama最大的培训成本更好。DeepSeek提供的API访问为每百万个令牌0.14美元，而Openai则收取每百万个令牌4 $ 750;也许某种程度的损失领导者定价•DeepSeek可能“过度指定”其模型：它在MMLU基准测试上做得很好，但是当问题略有变化时，其性能的下降速度比其他型号更快。毫不奇怪，DeepSeek不假装数据隐私并存储所有内容
基因组的大型语言模型
大语言模型（LLM），例如GPT-3.5 1，GPT-4 2，Gemini 3和Claude 4，是在大型13个数据集中训练的高级模型，能够生成与人类言语非常相似的文本。llms在各种任务中表现出色，例如回答14个问题2，生成编程代码5和分析图像6。最近的研究还强调了它们在基因组研究中的强大能力15。例如，在单细胞RNA-seq数据中，GPT-4可以产生与人类专家提供的细胞类型注释相符的细胞类型注释，仅使用标记基因信息作为输入7。此外，可以利用由GPT-3.5生成的基因嵌入17来创建单细胞嵌入以用于各种下游分析8。18这些研究表明，LLM在基因组学领域具有知识，并且有可能作为基因组研究的知识19基础。这样的基于LLM的基因组知识基础可以通过20减少定位和检索可靠信息所需的时间来显着受益于基因组研究，这一过程通常是跨学科的21个具有有限基因组专业知识的跨学科21研究人员的时间。此外，现代LLMS的先进推理和分析能力22可以有效地综合来自不同来源的信息。但是，LLM是否可以可靠地充当基因组23知识库，尚未系统地研究并保持较低的理解。24基准数据集对于比较和评估LLMS执行特定任务的能力至关重要。这些发现表明39例如，25 mmlu（大量的多任务语言理解）9是一个广泛使用的基准数据集，用于评估LLMS的Interdis-26 cipledine Inswool，而HumaneVal 10评估其生成编程代码的能力。这些基准数据集27提供了一个标准化框架，用于比较不同LLM的性能和随着时间的推移跟踪模型演变。28他们在识别现有模型的弱点并指导未来发展的29 llms方面是关键的。但是，现有的基准数据集不涵盖基因组学，并且仍然缺乏基因组知识的基准。30为此，我们开发了基因研究，这是一个全面的问答（Q＆A）数据库，以基于基因组学中LLM的perfortor-31 Mance进行基准测试。基因研究包括基因组研究的各个方面，例如基因和SNP的基因组位置32，以及基因的功能。我们评估了六个LLM在基因上的性能，包括33 Ing Miogpt 11，BiomedLM 12，GPT-3.5 1，GPT-4O 13，Gemini Advanced 3和Claude 3.5 4。其中，GPT-4O，Gemini 34 Advanced和Claude 3.5是当代LLM，因其在各种任务中的出色表现而广受认可。35我们的分析表明，基于基因组知识的问题在整个LLM中的准确性显着差异。36此外，我们观察到，当LLM可以访问Web浏览功能时，可以进一步提高性能。37然而，即使表现最好的LLM在某些任务中完全失败了，尽管基因组知识被包括在其培训语料库中，但仍无法在38其他其他任务中正确回答所有问题。