什么是用于增量同步的良好压缩算法?

凯文·考克斯(Kevin Cox)

通过慢速链接同步大文件时,通常使用增量压缩以减少使用的带宽是很有用的。压缩文件也非常有用,因为它们占用的空间要少得多。

但是,当在源中仅进行很小的更改时,许多压缩算法会产生不希望的副作用,即更改压缩输出的大部分。

那么,有哪些压缩算法/实用程序可以从相似的源文件中创建相似的压缩blob?

克里斯·埃德蒙顿

您可能要考虑对gzip使用--rsyncable参数这会稍微降低压缩率,因为它会在tarball中每个文件的开头重置压缩算法。

但是请注意,您也可以将-z选项与rsync一起使用以压缩传输的数据。如果您对源和目标上的未压缩文件感到满意,这可能足以满足您的需求。

我们使用它来同步大约20 GB的压缩MySQL数据库备份。使用gzip --rsyncable,如果我们已经有了前一天的快照,我们通常只能通过rsync传输压缩文件的一小部分。我没有尝试传输未压缩的tar文件并使用rsync的-z选项,因此无法评论其相对效率。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

用于流程同步的烘焙算法

来自分类Dev

用于自动执行增量ZIP压缩的代码?

来自分类Dev

用于自动执行增量ZIP压缩的代码?

来自分类Dev

什么是节流错误日志的良好“退避”算法?

来自分类Dev

是否有用于“完美”压缩的算法?

来自分类Dev

用于学习排序算法的良好查询文档数据集?

来自分类Dev

这是什么编码/压缩算法?

来自分类Dev

MySQL网络压缩算法是什么

来自分类Dev

存在哪些应用程序/游戏状态“增量压缩”技术/算法?

来自分类Dev

用于同步多个视频播放器的算法/方法

来自分类Dev

用于同步多个视频播放器的算法/方法

来自分类Dev

增量压缩和单次压缩之间有什么区别?

来自分类Dev

增量压缩和单次压缩之间有什么区别?

来自分类Dev

压缩文件使用什么加密算法?

来自分类Dev

压缩文件使用什么加密算法?

来自分类Dev

如果我在从 azure 服务同步(增量同步)时增加页面大小,有什么缺点

来自分类Dev

什么算法用于实现HermiteH函数(mathematica)

来自分类Dev

用于识别场景的算法是什么

来自分类Dev

什么算法用于实现HermiteH函数(mathematica)

来自分类Dev

什么是用于改变图像视角的算法?

来自分类Dev

增量同步逻辑

来自分类Dev

数字增量算法效率

来自分类Dev

什么是正确的SciPy稀疏矩阵格式用于增量求和

来自分类Dev

改进数字压缩算法?

来自分类Dev

LZ 77压缩算法

来自分类Dev

CUDA流压缩算法

来自分类Dev

改进数字压缩算法?

来自分类Dev

LZ 77压缩算法

来自分类Dev

PHP中的压缩算法