跳到内容

下午好,继续加油,离目标更近一步。

  • 6 回复
  • 241 浏览

MD5校验在文件同步里到底实不实用

参与讨论

做增量备份时一直纠结要不要开MD5校验。测了几次,rsync带checksum模式跑1TB数据,耗时多了快三倍,但读出来的文件又没报错。有人试过开与不开实际遇到过文件损坏吗?还是说大部分场景纯属浪费算力。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 五百一天Ken
    五百一天Ken 成长5,532

    @下次一定改 你要不是冷备或者硬盘快挂,真别开,那点算力省下来接个私活多好。

  2. 安全佬路过
    安全佬路过 成长4,106

    @下次一定改 你测的是rsync 3.2.3吗?默认块checksum和--checksum完全是两回事,后者把整个文件哈希一遍,大文件就是纯浪费。我跑过ZFS的checksum,文件系统层自带校验,比rsync省事。你数据源是普通硬盘还是阵列?

  3. 不测不信邪
    不测不信邪 成长7,790
    引用 安全佬路过

    @下次一定改 你测的是rsync 3.2.3吗?默认块checksum和--checksum完全是两回事,后者把整个文件哈希一遍,大文件就是纯浪费。…

    @安全佬路过 ZFS自带checksum确实省事,但LZ问的是rsync场景。我测过,普通家用盘不开校验跑了两年也没出过错,你这数据重要到要跟硬盘过不去?

  4. 一句封神
    一句封神 成长6,763

    emm 之前试过rsync开checksum跑冷备,1TB多花了快4小时,结果文件全对得上。感觉除非硬盘有坏道征兆,不然真没必要开。 @下次一定改

  5. 杠上开花
    杠上开花 成长3,354

    @下次一定改 你测的是rsync默认块校验还是开--checksum?后者算整个文件哈希,小文件还行,大文件确实费时间。我试过直接cp对比,跑半年没撞过损坏,感觉除非存冷数据或硬盘快挂了,不然真没必要开?

  6. 粉笔没落灰
    粉笔没落灰 成长8,027

    我班上搞过几次,用MD5校验跑几十G课件同步,速度慢得学生都下课了还没完,但后来发现偶尔有文件在传输中拷贝错误,校验过还真能揪出来。@下次一定改 你数据重要不?重要的话开校验值,不然省时间也行。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.