跳至主要内容

理解 Raft 分布式共识算法

0x00 简介

最近两年工作中对区块链技术接触较多,接下来可能要告一段落了。期间对 go-ethereum 进行过联盟链改造,使用 Raft 共识算法把以太坊的 TPS 提升到了 1K+。这里总结一下 Raft 算法,既是对自己经历对一种记录,也算是对他人对帮助。
Raft 算法是一个非常好理解(相比 Paxos 算法来说),也是一个非常受欢迎的共识算法,比如常用的服务发现、共享配置以及一致性保障的 etcd 和 Counsul 都使用了 Raft 算法来保证一致性。

0x01 什么是分布式共识算法

在分布式计算领域中有一个非常有名的 CAP 定理:一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容忍性(Partition tolerance)这三项中的两项。
一致性是指节点数据的一致,即所有节点在同一时间的数据完全一致。如果细分的话,一致性又可以分为强一致、弱一致和最终一致。比如我们经常使用的多副本关系型数据库满足的是强一致性,又因为要同时满足高可用,那么就弱化了分区容忍性(可以使用简单的网络拓扑来减少分区出错的可能);公有的比特币、以太坊网络是属于最终一致,因为它们必须优先满足可用性和分区容忍性。
分布式网络中所有节点要想达成一致,就需要一个算法来促成这个一致,这个算法就是共识算法。我们常听说的 挖矿、PoS、DPoS、PBFT、Raft 都属于解决一致性的算法。

0x02 理解 Raft

Raft 中,节点通过心跳消息来保持通信,一个节点只会处于以下三种状态中的一种:
  • Follower(跟从者)
  • Candidate(候选人)
  • Leader(领导者)
最开始时,所有的节点都是 follower,如果 follower 收不到 leader 的心跳消息,那么 follower 会变为 candidate,并向其他节点发起投票,如果该 candidate 节点收到了半数以上的选票(包括投给自己的一票),那么它就当选为新的 leader。这个过程被称为 leader 选举的过程。
接下来,leader 节点将带领所有节点对分布式网络中对数据更改达成一致,这个过程被称为日志同步
日志同步的过程如下:
  1. Leader 收到客户端到数据提交请求,leader 把请求作为一个条目(entry)加入到它到日志中,这个时候它不会立刻更新数据;
  2. Leader 向所有的 followers 节点发送这个条目,这个发送的过程被称为 Append Entries;
  3. Followers 节点收到 leader 的 Append Entries 请求后,向 leader 回复条目响应;
  4. Leader 节点收集了半数以上的条目响应后,向客户端响应条目已确认,这时它才会更新自身节点的数据,同时向所有 fwllowers 节点发送条目确认的消息;

0x03 特殊情况

Leader 选举过程中,如果没有收到半数以上的选票,该怎么办?
Raft 中,有两种超时机制:选举超时和心跳超时。
每个 follower 会随机生成一个选举超时时间。任意节点当自身的选举超时时间结束后还没有收到 leader 的消息,那么它就重置这轮选举,变为 candidate 向其他节点发起新一轮投票。这样,最终总会选举出一个 leader 节点来。
正常运行过程中,如果 leader 节点挂掉,会出现什么情况?
这种情况下,会用到心跳超时机制。当 followers 在心跳超时后仍旧没有收到 leader 节点的心跳消息,那么 followers 节点就会发起新一轮投票,直到选举出新的 leader 来。
网络分区的情况下会发生什么?
网络故障导致导致节点被分隔到多个不连通的区域,在被隔离的区域中又会触发新的 leader 选举,对于隔离区域中包含半数以上的节点,选举就可能成功。当网络恢复后,followers 接受最大任期(term)和最新日志的 leader。这个思路蕾丝比特币、以太坊网络分叉后以最长区块为准的解决方案,确保了最终一致性。

0x04 Raft 参考资料

评论

此博客中的热门博文

网盘端到端加密 Cryptomator

1. Crytomator 是什么 Cryptomator 是一款开源的文件加密工具,它支持在本地硬盘上创建多个加密仓库,这些加密仓库以文件卷(硬盘卷)的形式挂载到系统目录中,存放到文件卷中的文件都会自动加密。 如果把加密仓库的目录放到网盘的同步目录下,配合如 iCloud、Dropbox、OneDrive、坚果云 等云盘使用,就能达到端到端加密同步的效果。 2. 同类工具对比 同类的文件加密工具除 Cryptomator 之外,还有 gocryptfs、encfs 等。其中 Cryptomator 使用 Java 开发,而且提供了 macOS、Windows、Linux、iOS 和 Android 上个 GUI 版本,从易用性上来说体验最佳。 gocryptfs v1.7 encfs v1.9.5 ecryptfs v4.19.0 cryptomator v1.4.6 securefs v0.8.3 CryFS v0.10.0 First release 2015 ( ref ) 2003 ( ref ) 2006 ( ref ) 2014 ( ref ) 2015 ( ref ) 2015 ( ref ) Language Go C++ C Java C++ C++ License MIT ( ref ) LGPLv3 / GPLv3 ( ref ) GPLv2 GPLv3 ( ref ) MIT ( ref ) LGPLv3 ( ref ) Development hotspot Austria USA USA (RedHat) Germany China Germany Lifecycle Active Maintenance Active ( ref ) Active Active Active File interface FUSE FUSE In-kernel filesystem FUSE/WebDAV FUSE FUSE Platforms Linux, macOS, 3rd-party Windows port,3rd-party Android port Linux, macOS, 3rd-par...

WebP 更新

腾出时间,把博客中的图片转换成了 WebP 格式。 同时,把图床从 imgur 换到了 Github,开启了 jsDelivr 加速。加速规则很简单: # 假如 Bob 的 Github 账号中 Repo 仓库下有一张图片 path2pic.webp # 如果直接引用 Github 中的图片,链接为: https://github.com/Bob/Repo/blob/master/path2pic.webp # jsDelivr 加速后的链接为: https://cdn.jsdelivr.net/gh/Bob/Repo/path2pic.webp 整理记录博客的过程,也是对自己成长的一次梳理。 二十岁,对互联网世界刚刚开始探索,每有新发现,折腾之余又乐于分享。分享时往往站在一个初入门的视角,难免有些拖沓冗余,从图片的使用量也能看出来,前期多于这几年。 三十多岁后,发现了技术的相通性,思想借鉴,用在新的场景下,就换成了一个新名词。新鲜东西的出现,总能看到历史上的影子,探索时也少有了年轻时的激情。 二十岁,痴迷技术,也从技术和新发现中获取成就感。三十多岁,发现技术只是技术,最感谢兴趣的其实是钱。 去年公司解散,同学帮忙内推到大厂,开启了 995 的工作,更没有时间来整理博客。今天腾出来时间整理一番,啰嗦一下以此纪念。 图片转换 WebP 写了个批量处理的脚本,附上 链接 。 ​

如何拥有一个漂亮的故事线

一、背景介绍 最初发现 TimelineJS 是在 2014 年。为了制造一个惊喜,用它做了一个与爱人从相识到结婚的时间线。 转眼 2020,TimelineJS 也有了第三个版本。 对于平时有记录习惯的人来说,拥有一个关于自己的易读美观的故事线是一件非常有成就感的事,我自己便属于这类人。另一方面,TimelineJS 仍然非常小众,而且国内几乎没有对它的介绍和使用说明。本文的目的是便是能够把它的使用方法描述清晰。 TimelineJS 能做什么 官网: https://timeline.knightlab.com/ TimelineJS 是 Northwestern University Knight Lab 社区的一个产品,它可以用来制作时间线(时间轴)的故事,元素支持文本、图片、音乐、视频、地图。官网罗列出的类型包括: Twitter, Flickr, YouTube, Vimeo, Vine, Dailymotion, Google Maps, Wikipedia, SoundCloud, Document Cloud and more! 在官网上能看到几个示例,比如对美国歌手惠特妮·休斯顿的生平介绍: https://timeline.knightlab.com/examples/houston/index.html 本文适用的读者 TimelineJS 虽然适用简单,但如果你能够: 懂点前端知识; 懂点网站托管知识; 最好熟悉 JSON 语法; 最好能科学上网(不会也没关系,一样可以本地使用); 那么,TimelineJS 对你来说毫无门槛。 二、几种使用方法 要想使用 TimelineJS 制作故事线,需要从以下两个方面考虑: 故事线的数据存放到哪里 故事线的网页运行在哪里 幸运的是,这两个方面官方都考虑到了,使用 Google docs 来存放故事线的数据,Knight Lab 提供页面托管。只要按照这里的 4 个步骤 https://timeline.knightlab.com/#make 就能生成 Knight Lab 给你的一个链接。对于想尝试一下的人来说,这样就足够了,简单么! 但是,它实际上是支持以下三种组合使用的: Knight Lab + ...