详细内容或原文请订阅后点击阅览

如何高效利用 OKF 实现法学硕士之间的知识交流

2026年8月13日 16:30 33 Comments
X Twitter Instagram Mail

Google 的开放知识格式 (OKF) 是一个 Markdown+YAML 框架，用于在人类和 AI 代理之间共享知识。这篇文章在一项非常具体的工作中重用了该框架——在三个 Qwen2.5-Coder 模型（7B、3B、1.5B）之间进行预标记化整数数组的代理到代理的交接，并显示了 28-37% 的 TTFT 减少以及一个确保整个安全的全词汇等效性检查。如何有效利用 OKF 来实现 LLM 之间的知识交换的文章首先出现在 Towards Data 上科学。

来源:走向数据科学
  • 模式。这是 Google 的开放知识格式框架 - 带有 YAML frontmatter 块的 Markdown 文件 - 重新用于代理移交。存储库的 frontmatter 带有一个一般 OKF 规范未定义的额外承载字段：token_pointer，共享内存中预计算的.npy 数组的绝对路径。人类可读的主体，机器可读的指针。
  • 机制。三个不同大小（7B / 3B / 1.5B）的 Qwen2.5-Coder 模型不能共享 KV 缓存 - 它们具有不同的架构。但它们可以共享预先计算的令牌 ID，因为整个 Qwen2.5-Coder 系列都提供一个相同的 BPE 词汇表。该存储库标记一次，通过 /dev/shm/qwen_tokens/ 传递整数数组，并让每个下游代理在输入端完全跳过自己的标记器。
  • 数字。每个提示 7 次试验的中位数、3 个块、贪婪解码、64 个新标记：在 3B 模型上，平均基线 TTFT 从 69.3 毫秒下降到 49.9 毫秒，减少了 28.0%。在 1.5B 型号上，从 49.6 毫秒缩短到 30.9 毫秒，减少了 37.8%。两个模型都通过了每个样本的相干启发式。全管道挂钟端到端为 41.3 秒（代理 1：3.9 秒，代理 2：18.7 秒，代理 3：15.7 秒）。
  • 护栏。向下游模型提供一个整数数组，该数组意味着其自己的词汇表下的不同子词不会导致任何崩溃。它会生成一份流畅、连贯、但完全错误的报告。因此，在任何代理信任另一个代理的整数之前，该管道会运行完整的约 151,936 个条目 get_vocab() 字典相等性检查 - 不是真正的 vocab_size 比较。
  • 这并不主张什么。短块制度（几百个代币块）。没有自定义 CUDA — 这是基于 Transformer 现有 model.generate(input_ids=...) API 的编排。 Tokenizer 的等效性是针对该存储库所固定的确切三个检查点进行验证的，而不是全系列的长期保证。

    • Github 仓库：https://github.com/AnubhabBanerjee/inter-llm-tokf

    1. 坦白：你的第二个代理人正在做你第一个代理人的作业，两次

    固定的 数组 机器 错误的 相同的 中位数 试验的 代理人 不同的 模型 代理的 词汇表 输入 意味着 验证的 预先计算 输入端 个块 系列的 存储 3B 框架 毫秒 管道 自己的 整数 代理 等效性 1.5 代币 可读的 检查点 端到端 计算的 真正的 完整的 崩溃 标记器 frontmatter