有损压缩

cliz：使用自适应微调数据预测为气候数据集优化有损压缩

摘要 - 从尖端的超级计算机中获得支持极大的科学模拟，气候研究在过去几十年中取得了显着发展。，在有效地存储和传输大规模的气候数据之间，出现了新的关键挑战。在本文中，我们开发了CLIZ，这是一种有效的在线错误控制有损压缩方法，具有优化的数据预测和对气候数据集跨各种气候模型的编码方法。一方面，我们探索了如何利用气候数据集的特定属性（例如蒙版信息，维度置换/融合和数据周期性模式）以提高数据预测准确性。另一方面，Cliz采用了一种新型的多霍夫曼编码方法，可以显着提高编码效率。因此显着提高了压缩比。我们根据具有不同模型的多个实地世界气候数据集评估了CLIZ与许多其他最先进的错误控制损耗压缩机（包括SZ3，ZFP，SPERR和QOZ）。实验表明，Cliz在气候数据集上的表现优于第二好的压缩机（SZ3，SPERR或QOZ1.1）的压缩比的压缩率高20％-200％。cliz可以将两个远程Globus终点之间的数据传输成本显着降低32％-38％。索引术语 - 错误控制的损耗压缩，气候数据集，分布式数据存储库/数据库