详细内容或原文请订阅后点击阅览
Data Machina #243
超越 GenAI 和 LLM。bGPT 字节预测。一次性图形表示学习。保形预测 + ML。StarCoder 模型。CoRe SOTA 优化器。Sora 评论。 hybridbread 重新排序模型。INRIA MLXP。
来源:数据机器超越 GenAI 和 LLM。GenAI 和 LLM 实际上已经绑架了 DL/ML 领域，几乎吸走了所有的投资和顶尖的 AI 人才，好像世上没有别的东西了。实际上有数百种 GenAI 模型。其中许多 GenAI 模型的价值值得怀疑，或者是重复清洗再造的。查看这个大型电子表格：带注释和更新的 GenAI 模型目录。
超越 GenAI 和 LLM。 GenAI 和 LLM 实际上已经绑架了 DL/ML 领域，几乎吸走了所有的投资和顶尖的 AI 人才，好像世上没有别的东西了。实际上有数百种 GenAI 模型。其中许多 GenAI 模型的价值值得怀疑，或者是重复清洗再造的。查看这个大型电子表格： 带注释和更新的 GenAI 模型目录 .因此：许多 DL/ML 研究人员开始质疑 LLM 的现状：我们难道不应该把资金和大脑集中在 LLM 之外的新 AI/DL 范式上吗？并且：我们是否需要这么多 GenAI 模型来从文本生成漂亮的脸蛋和猫图像和视频？并且：这对推动 DL/ML 领域有什么帮助？除了 LLM 之外，以下几个领域可能值得您关注。
一种超越下一个标记预测的全新方法。标记化和标记预测是 LLM 背后的核心元素。然而，标记化也是 LLM 中许多问题的根源之一。今天，大多数 DL 方法都忽略了二进制格式的字节和编码。输入 bGPT，这是一种具有下一个字节预测的新模型，其在文本、音频和图像模态方面的性能与专门模型相匹配。 bGPT 支持通过对任何类型的数据进行下一个字节预测来进行生成建模，仅受计算资源的限制。论文和 repo：超越语言模型：字节模型是数字世界模拟器。
超越下一个标记预测的全新方法 。标记化和标记预测是 LLM 背后的核心元素。然而， 标记化也是 LLM 中许多问题的根源之一 。 。 “ &