构建鲁棒分布式系统的新算法

放大字体  缩小字体 2023-10-31 13:54  浏览次数:

algorithm

EPFL研究人员开发了一种新的分布式算法,首次解决了影响大多数当前部署的共识协议的关键性能和可靠性问题之一。这项工作已经发表在第29届操作系统原理研讨会论文集上。

共识是分布式系统的基本问题之一。它允许一组机器维护数据的多个副本并一致地更新它们,即使部分机器可能出现故障。

以三个服务器为例,它们需要存储三个数据副本,并跟踪信息的任何更新,以便所有三个服务器保持一致。如果一台服务器发生故障,其余两台服务器必须保持数据一致,并允许更新正常进行,就像没有发生故障一样。

当前最先进的共识协议依赖于一个计算机节点在任何给定时间被指定为领导者,持续监督和处理任何数据更新。如果leader失败了,另一个节点会醒来并接管,但这是一个挑战。另一个节点在从一个反应迟钝的领导者手中接管之前应该等待多久?

EPFL计算机与通信科学学院(IC)去中心化与分布式系统实验室(DEDIS)负责人Bryan Ford教授解释说:“如果领导者失败或网络不好,经典共识协议的问题是,如何决定超时应该有多大或多小,这是一个非常棘手的问题。

“如果你把目标设定得太大,那么当一个领导者失败时,你可能要等很长时间,整个系统也就完蛋了。另一方面,要考虑是否将超时设置得太短——这才是真正的灾难发生的地方。”

“假设旧的leader没有失败,假设网络比你想象的要慢一点,下一个leader出现并试图接管,但是所有现有协议的工作方式,新leader的动作将取消旧leader的动作,所以它不能再完成它正在做的事情,所有的工作都被浪费了。”这些问题可能会导致严重的可靠性问题,如果出现故意拒绝服务攻击,这些基于领导者的协议可能会完全失败。”

为了克服这些挑战,DEDIS的研究人员一直在研究一种很少使用的共识算法,即异步共识协议。与当前基于leader的协议不同,它们的异步表兄弟不容易受到leader故障和拒绝服务攻击的影响。但是,在正常条件下,优先异步协议的效率要低得多,这是它们几乎从未部署的原因之一。

Ford说,他们的QuePaxa协议第一次改变了这种动态。“我们想出了一个双赢的办法。QuePaxa的新颖和独特之处在于,它是一种异步共识协议,最终实现了与在正常网络条件下广泛部署的基于leader的协议相当的效率。在正常情况下,QuePaxa在网络带宽方面同样快速、高效、低延迟和低成本。”

新算法的设计方式是,每次通常由一名领导者领导取得进展的任务,但第二名领导者可以在同一轮中加入并提供帮助,而不会干扰第一个领导者。第三个领导者甚至可以加入进来,帮助另外两个人更快地完成工作。会有一些冗余的努力,但非领导者不会破坏性地干预。短暂的延迟不会像目前的协议那样导致领导者取消彼此的工作。

QuePaxa的另一个优点是,它在恶劣条件下也非常健壮,例如嘈杂的网络、高通信延迟、不可预测的网络延迟或故意的拒绝服务攻击。

“在这种情况下,现有的共识协议将完全消亡。QuePaxa将继续前进;它更加强健,”他继续说道。“在任何对性能、可靠性或易受这类攻击有重大担忧的地方,我相信这是一个游戏规则改变者,因为健壮性的原因,这应该是新的标准共识协议。”

DEDIS团队已经构建了QuePaxa的开源原型,可以在著名的GitHub存储库中获得。新的协议已经在SOSP中通过了工件评估审查过程,同行评审人员已经测试了它的能力。

论文“QuePaxa:避免一致超时的暴政”在两年一度的计算机协会(ACM)操作系统原理研讨会(SOSP)上发表。

更多信息:Pasindu Tennage等人,QuePaxa:在共识中逃避超时的暴政,第29届操作系统原则研讨会论文集(2023)。引文:用于构建健壮分布式系统的新算法(2023,10月23日)2023年10月30日检索自https://techxplore.com/news/2023-10-algorithm-robust.html本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

热门搜索排行
声明:本站信息均由用户注册后自行发布,本站不承担任何法律责任。如有侵权请告知,立即做删除处理。
违法不良信息举报邮箱
晋ICP备17002844号
中国互联网举报中心