机构名称：
¥ 1.0
许多分析计算都由迭代处理阶段主导，一直执行到满足收敛条件为止。为了加速此类工作负载，同时跟上数据的指数增长和 DRAM 容量的缓慢扩展，Spark 采用了内存外缓存中间结果。然而，堆外缓存需要对数据进行序列化和反序列化（serdes），这会增加大量开销，尤其是在数据集不断增长的情况下。本文提出了 TeraCache，这是 Spark 数据缓存的一个扩展，它使用内存映射 I/O（mmio）将所有缓存数据保留在堆上但不在内存中，从而避免了对 serdes 的需求。为了实现这一点，TeraCache 使用托管堆扩展了原始 JVM 堆，该托管堆驻留在内存映射的快速存储设备上，专门用于缓存数据。初步结果表明，与最先进的 serdes 方法相比，TeraCache 原型可以将缓存中间结果的机器学习 (ML) 工作负载加快多达 37%。
告别堆外缓存！堆上缓存...
主要关键词
相关文件推荐
