解读 Walrus,Sui 的去中心化存储新解
撰文:Alex Liu,Foresight News
去中心化存储网络 Arweave 推出计算层 AO,成功造成了 AR 币价、生态与热度的回流,可谓打了一场翻身仗。而 Sui 作为通用计算链,推出去中心化存储网络 Walrus,又将掀起怎样的浪花呢?
背景介绍
团队
Solana 背后的开发公司叫 Solana Labs,Aptos 背后的开发公司叫 Aptos Labs,Sui 背后的开发公司叫 Mysten Labs(就是这么特立独行)。而 Mysten Labs 多数创始人和员工来自被 Facebook(现 Meta)解散的区块链项目 Diem。
Walrus 是被 Mysten Labs 归类为「协议、平台」的最新产品,是去中心化存储网络。Walrus 英文原意「海象」,在其官方网站上有「像海象一样茁壮」、「像海象一样适应力强大」的 Slogan,传达协议作为存储系统的可靠性以及可用性。
和 Sui 的联系
Walrus 基于 Sui 构建,并利用 Sui 来协调存储空间和元数据的销售。然而,使用 Walrus 并不需要在 Sui 上构建应用或产品,且全新的治理代币WAL 将作为 Utility 代币,而不是 SUI。
竞品比较
去中心化存储协议通常分为两大类。第一类为完全复制的系统,赛道的主要竞品 Filecoin 和 Arweave 是这类系统的典型代表。这一类型的主要优点是存储节点上完整的文件可用性,使得即使某个存储节点下线,也能轻松访问和迁移文件。这种设置能带来无需许可的环境,因为存储节点不需要相互依赖来恢复文件。
这类系统的可靠性取决于所选存储节点的稳健性。在经典的三分之一静态对手( static adversary)模型和无限候选存储节点池的假设下,达到「十二个九」的安全性(即丢失文件访问的概率小于 10^-12)需要在网络上存储超过 25 个副本。这导致了 25 倍的存储开销。此外,还存在可能遭受女巫攻击的问题,恶意行为者可以假装存储文件的多个副本,削弱系统的完整性。
第二类去中心化存储服务使用 Reed-Solomon(RS)编码。RS 编码将文件分成较小的部分,称为切片,每个切片代表原始文件的一部分。只要切片总大小大于原始文件的大小,便可以解码出原始文件。RS 编码也有其缺点。编码和解码过程依赖于域操作、多项式评估和插值,这些计算开销很大。只有当域的大小和切片数量相对小时,这些操作才是实用的,从而限制了编码文件的大小以及参与存储节点的数量,否则编码的成本会变得非常高,限制了去中心化的程度。另一个问题是,当一个存储节点下线并需要被另一个节点替代时,与完全复制的系统不同,数据不能简单地从一个节点复制到另一个节点。RS 编码的系统要求所有现存存储节点将其切片发送给替代节点,然后替代节点恢复丢失的切片。但这一过程会导致 O(|blob|) 的数据在网络上传输。频繁的恢复操作会降低通过减少复制而获得的存储节约。
存储面临的挑战
无论使用何种复制协议,所有现有的去中心化存储系统还面临两个额外的挑战:
需要持续的挑战(challenge)来确保存储节点保留了数据而没有丢弃。在提供存储付款的开放去中心化系统中,这是至关重要的,但目前这种做法限制了系统的可扩展性,因为每个文件都需要单独的挑战。
存储节点需要协调:需要知道谁在系统中,哪些文件已支付存储费用,实施参与激励机制,并管理挑战以及缓解滥用的机制。这就是为什么上述系统中的每一个都实现了自定义区块链来执行交易,并在存储协议之外引入加密货币的原因。
核心创新
在这些挑战下,Walrus 有何创新,能为去中心化存储带来不同解法?
简单来说:
通过采用纠删编码创新技术,Walrus 能够快速且稳健地将非结构化数据块编码成较小的分片,这些分片会分布存储在一个存储节点网络中。即使多达三分之二的分片丢失,也可以使用部分分片快速重构原始数据块。这在保持复制因子仅为 4 倍至 5 倍的情况下成为可能,与现有的云服务相当,具有去中心化和更广泛故障弹性的优势。
具体来说:
Walrus 推出了 RedStuff,一种全新的 2D 编码算法,专为拜占庭容错(Byzantine Fault Tolerance)设计。RedStuff 基于喷泉码(fountain codes),结合了快速操作和高可靠性的优势。
RedStuff 通过简单的操作(主要是 XOR,异或操作)将数据编码为主切片和次切片。这些切片分布在存储节点中,每个节点持有独特的组合。对于不同维度的编码,RedStuff 使用不同的阈值。主维度采用 f+1 的恢复阈值,这允许异步写入,因为只需要 2f+1 的签名来证明数据块可用,这已经形成了 3 倍的复制因子。
次维度使用 2f+1 的恢复阈值,这一设计首次实现了异步存储证明,同时仅引入 1.5 倍的额外复制,最终总复制因子小于 5 倍。更重要的是,丢失的切片可以根据丢失数据量来恢复,从而节省带宽,这都要归功于 2D 编码。
RedStuff 的优势包括:相比于 RS 编码,使用简单的 XOR 操作使得编码 / 解码速度更快;由于存储开销低,系统能够扩展到数百个节点,并具备高弹性和容错能力,确保即使在拜占庭故障的情况下也能恢复数据。
作为一个无需许可的协议,Walrus 配备了高效的委员会重配置(committee reconfiguration)协议以应对存储节点自然流失,确保数据的持续可用性。当一个新委员会在两个纪元之间替换当前委员会时,重配置协议确保所有已超过可用性点(PoA)的数据块仍然可用。RedStuff 的 2D 编码使得状态迁移更加高效,即使部分节点不可用,其他节点也可以恢复丢失的切片。
节点 1 和节点 3 帮助节点 4 恢复切片数据
Walrus 引入了一个异步挑战协议,以验证节点是否正确存储数据。该协议允许高效的存储证明,确保数据可用性,而不依赖网络假设,其成本随着存储文件数量呈对数扩展。
Walrus 的经济模型基于质押,结合奖励和惩罚机制。创新的存储认证机制随着存储文件数量呈对数级扩展,降低了证明文件存储的成本。
总而言之,Walrus 以 RedStuff 协议为核心,提供了一个可扩展、弹性强且经济可行的去中心化存储解决方案,能够以合理的成本提供高真实性、完整性、可审计性和可用性。
而这一切得益于 Sui 作为 Walrus 的控制层。拥有一个可扩展、可编程和安全的基础设施作为协调层,使其能够专注于去中心化存储的核心问题。
潜在空投
Walrus 将推出独立的代币 WAL,Utility 有质押、治理等。怎样能获得 WAL 空投呢?参考 AO 的获取方式,持有 SUI 或许是其中的一种方式。
Walrus 预计即将推出测试网,主网上线时间待定。目前可前往官方文档查阅如何使用 Walrus 部署自己的网站。
资料来源:
Walrus 白皮书:
https://docs.walrus.site/walrus.pdf
Walrus:去中心化存储和 DA 协议,可以基于 Sui 构建 L2 和大型存储:https://foresightnews.pro/article/detail/63040
Mysten Labs 研究员 X 线程:
https://x.com/LefKok/status/1836868240666153293
(责任编辑:基金优选)
-
拿一个活动来说,简单说下流程: 第一步:老板首先会跟你敲定KPI,包括但不限于日均或峰值订单数、客单价、ROI、留存等; 第二步:拿到KPI首先做的就是策划方案想文案; 第三步:如果有新的页...[详细]
-
专访 PolyFlow 联创 Raymond Qu:打造 PayFi 基础设施
友友用车无法拿到新能源汽车营运牌照,只能通过以连车带牌一起长租的方式从绿狗租车、北汽等租赁公司或者车场租赁新能源汽车,在北京地区一共投放了300辆。...[详细]
-
中国的“漂亮50”基本上就是消费股,所以前几天看了广发证券策略陈杰的报告,他直接用消费和家电的估值来做历史对比。...[详细]
-
合作用户有淘宝、京东、58同城等。...[详细]
-
根据协议,阿斯利康将要建立一个专门的基因组学研究中心,将临床样本的基因组测序数据和相关的临床治疗和药物反应信息有效整合。...[详细]
-
SEO技术就必不可少,因此,在网站内容和外链策略就缺一不可。...[详细]
-
事实上,我正是在一位年长我近30岁的长辈的朋友圈第一次看到美篇这款产品后立刻意识到它的美妙之处,真格也在与美篇的创始团队交流后迅速做出了投资决定。...[详细]
-
“网络连接超时,请检查网络,稍后再试……”最近两天,分时租赁创业公司“友友用车”的用户被这句提示弄得很窝火。...[详细]
-
一些医疗服务方已经应用在工作中,临床发展潜力无限。...[详细]
-
麦肯锡的 Lilli 案例为企业 AI 市场提供了哪些发展思路?
如果说孙正义的投资风格比较不可预测,但考虑到孙正义的名气、资金实力和战略资源(譬如在电信领域)以及有时非常具有诱惑性的投资条款会让软银在创业圈继续风光无限,该事件估计也很难对孙正义在投资界的地位造...[详细]