聊聊数据的底线 | 可以容忍你坏,但不能容忍你假

存储介质的进化

很久以前,祖先把甲骨文写在骨头之上,骨头保存持久,但是制作困难,后来把文字写在竹简、纸上。

e647862088ffaaae1d84a137f58c1a34.gif

文字是信息,纸张、竹简、石头是介质,虽然它们比骨头不易保存,但是制作简单,更容易扩散。

存储介质在进化,信息形式也在变化!世界万物的信息在数字化,数字化的信息可以存储到磁学设备、光学设备、电子设备上。比如软盘,光盘,硬盘,磁带,固态硬盘,PCIE盘等介质上。

c3ddcb83450986149b3119d0441153c6.gif

物理的介质在不断的变化,有效信息容量越来越大,物理体积越来越小。

世界太危险

存储的介质在变化,体积越来越小,容量越来越大。唯一不变的是:无论多好的介质总是会腐朽,只要他存在于现实,东西变坏不以个人意志为转移。

最关键的是:这是个危机四伏的世界!

奇伢见过

背锅侠:哎呀,我运维操作不当,vim 进去,改了一个字节。没事吧?

老板:没事,你去财务结一下工资。

还见过

硬盘:哎呀,上年纪了,我比特反转了,好像瓦特了。

梦见过(新闻见过):

天灾,被雷劈了,被水淹。

更可怕的是:总有刁民想害朕。

黑客:我是黑客,为彰显技术实力,我要搞坏他。

对于存在盘上的数据来说,怎么办?

这么危险,可怎么办?

它被有意修改,任何介质都可能坏。既然改变不了,那么只能忍受它。

存进去是 1 ,取出来是 2。这,你还要吗?

当然不能要!

那我还有底线吗?

有!我可以忍受你变坏,但是不能忍受你的

就跟爱情一样,不爱了,就直说。我着急赶着去找下一个备胎,不要假冒,拜拜就拜拜,下一个更乖。

数据坏了就说坏了,别耽误事!

问题是你怎么证明自己是自己

怎么才能证明数据好坏呢,要有第三方证人才行。怎么证明你是你?

谁来证明,别人。

我们数据也是类似,数据存储的时候,要多存一些见证的东西,能够证明你好坏的东西。

这个证明叫做校验码。然而没有免费的午餐,这些额外的东西是有代价的。需要更多的存储空间,需要多余的计算时间。

怎么解决?

自校验!

奇伢突然来了灵感,创造了一个伢式算法,每 8 字节数据对应生成 1 个字节的校验。

7859e3b1c8f59c7ac765ec850d9fc47f.gif

这个 nb 算法就是:p = x % 8 (嘿嘿,其实就是除余算法):

  • 用户数据 1,由 1 % 8 = 1,校验码则是 1 。
  • 用户数据 2,由 2 % 8 = 2,校验码则是 2 。

c61ac5d791f0a2ecb2d49073990d1a1c.gif

现在好了,取到数据之后,我会用计算一下校验码,校验码对不上的数据就是坏的。

8a74d8df2e339140371b32a555178fe5.gif

但你可能发现了一个秘密,奇伢还是太年轻。不同的数据计算的校验码太容易重复了。

1  % 8 = 1
9  % 8 = 1
17 % 8 = 1

这种叫做冲突,并且冲突率肉眼可见的大呀,每 8 个数字就有循环重复。

如果数据是 1 变成 9 呢?那你还知道数据是坏的吗?

01eb1c50c78c6c40c5ddd2af1b80887e.gif

好像不能。

好像还有个问题:冗余数据太多了。每 8 个字节,1个校验数据。那 8T 的数据,就有 1T 的校验数据,着实浪费。

34fe95a65016063ae1287e3350a9a2c5.png

更好的算法

怎么选一个好的算法来计算校验码?一般决策者会从多个维度考虑:

  1. 计算速率
  2. 资源消耗
  3. 结果冲突率
  4. 校验结果的冗余度

一个完美的校验算法应该是:计算尽可能快,资源消耗尽可能少,冲突率仅可能小,冗余度要尽可能小。

想的美!

这是一个典型的既让马儿跑,又不想让马儿吃草的例子。

这些维度都是在相互拉锯的,想要更快,消耗可能就会多,想要冲突率少,计算出来的校验值可能冗余占用就大。

奇伢给不了标准答案,具体情况具体分析!不过有些最常见的 crc32 ,md5 等算法可以满足大部分场景需求。

还记得开源项目下载文件的时候,有个对应 md5 值吗?

那就是防串改,校验文件是否损坏用的。

冗余是唯一的出路

数据可以坏,但不可以假,这是和单机存储引擎的约定。但是数据可靠性怎么保证?问题依然要解决。

冗余分身是唯一奥秘。

数据可靠性是一个系统工程,单点引擎无法彻底解决,单点存储引擎能保证只给真数据不给假数据,然后通过分布式的冗余,来保证整个系统数据对外的高可靠。

529825de540c6f2ee496f9f12e97c3d2.gif

总结

最后奇伢总结几个基本要点:

  1. 对于单机引擎来讲,数据可以坏,但是不能假;
  2. 系统的可靠性是系统多组件配合打造的,核心方法是数据冗余;
  3. 校验数据也要考虑成本和效率;

坚持思考,方向比努力更重要。关注公众号:奇伢云存储,获取更多干货。 关注我公众号, 获取更多干货