How a Gemma model helped discover a new potential cancer therapy pathway
我们正在推出一个新的 270 亿参数基础模型，用于基于 Gemma 系列开放模型构建的单细胞分析。
Learning Triton One Kernel at a Time: Matrix Multiplication
平铺 GEMM、GPU 内存、合并等等！学习 Triton 一次一个内核：矩阵乘法一文首先出现在《走向数据科学》上。
VaultGemma: The world's most capable differentially private LLM
我们介绍了Vaultgemma，这是具有差异隐私从头开始训练的最强大的模型。
RATTENTION: Towards the Minimal Sliding Window Size in Local-Global Attention Models
局部全球注意模型最近已成为标准变压器的引人注目的替代方案，有望提高训练和推理效率。但是，窗口尺寸的关键选择给出了帕累托的权衡：较大的窗户保持性能类似于全部关注，但在短上下文的情况下提供了最小的效率提高，而较小的窗户可以导致性能退化。当前的模型（例如Gemma2和Mistral）采用了保守的窗户尺寸（例如，在8192预算后的长度中4096）来保持性能。这项工作调查了……
How Google's new AI model protects user privacy without sacrificing performance
Google研究人员推出了Vaultgemma，这是一种LLM，旨在生成高质量的输出而无需记住培训数据。这是它的工作方式。
