1. 首頁 > 生活 > >

kafka通信原理

小知識kafka通信原理

隨著IPFS&Filecoin和Chia的市場逐漸展開并取得火爆的成果，人們越來越關注分布式存儲網絡項目市場的發展前景 。而最近，一款“天王級”分布式存儲網絡項目【Swarm】迅速地進入人們的視野當中,并獲得認可 。
市場對火熱出圈的Swarm充斥著各種聲音,華晟云將根據文件傳輸協議從FTP到Swarm的技術演變進行分享,讓大家更好的從技術層面理解Swarm！
愿景
Swarm是去中心化數據存儲和分布式技術,其愿景:CensorshipResistant 。用一句話概括:Swarm=BitTorrent+Tor+Layer2，下面將具體展開分享 。
BitTorrent
BitTorrent巧妙地解決了資源優化，解決了超文本傳輸協議（HTTP）的古老、集中，主從設計中最棘手，最根深蒂固的問題，該協議是萬維網的基礎 ?；谝陨掀湟泊嬖谙鄬娜秉c，比如缺乏經濟誘因、初始延遲、沒有動力繼續共享等，Swarm其目的便是為未來的自我主權數字社會構建無許可的存儲和通信基礎架構，完美解決了以上問題 。
斷點續傳
把文件拆分（split）成小塊（chunk）按塊進行并行的傳輸傳輸完成后對chunk進行校驗（hash）->根據chunk恢復出文件
解決了：網絡不穩定環境下大型文件傳輸的問題 。
未解決：服務端的帶寬無法承受大量用戶同時下載 。
Chunk Address
用chunk的hash值作為唯一的地址

BitTorrent
解決了：通過用戶之間互相傳輸數據的方式,來解決大量用戶同時下載時的帶寬不足問題 。
未解決：Tracker的中心化問題 。
DHT
去中心化的tracker每個節點都是trackerchunk太多，hash table太大kv變動難以通知所有節點Distributed Hash Table（DHT)每個節點存一部分kv，查找時先找節點再連接以獲取kv一組kv同時保存在多個節點，防止單點故障
KAD網絡
在KAD網絡如何查找一個chunk的IP list：
node除了會存hash table的一部分之外，還會存所有能連上的node list（address和IP）探索node連node，獲取其node list對list中node依次嘗試連接查找chunk從node list中找到距離最近的node連接后獲取其hash table，如果目標chunk存在則返回否則獲取其node list，從中尋找距離更近的node下載chunk：直連所在node
電驢、IPFS及BT升級后均用了KAD網絡 。通過封禁chunk所在node的ip，就阻止了chunk的傳播 。
KAD網絡：
解決了：tracker的中心化問題
未解決：防火墻的問題
Tor
Tor（The Onion Router）的核心技術“洋蔥路由”，是在1990年代中期由美國海軍研究實驗室的員工為保護美國情報通信而開發的軟件 。通過relay的方式可以：
繞過防火墻保護隱私性
Swarm網絡
Swarm的第一個創新點：以relay的方式通信node的hash table，value不再是存有chunk的node IP，而是chunk本身區別：文件是push進網絡中的更大的上傳下載帶寬臨近的node會sync chunkchunk存儲于多個node
Swarm 網絡：
解決了：防火墻的問題
未解決：節點利益
Layer2
Swarm依附于以太坊網絡,其可以理解為以太坊網絡的Layer2 。
流量獎勵
【kafka通信原理】Swarm網絡中需要提供帶寬和存儲資源才能成為節點 。首先先分享下如何按流量來分配獎勵：
1、鏈下支付，鏈上結算
如何創建一個節點：
owner質押bzz創建chequebookowner A給B發chequeowner B向chequebook A發起結算請求chequebook A結算bzz給chequebook BA、B客戶端同步chequebook最新狀態
2、鏈下共識
不給cheque超過閾值就加黑名單
存儲獎勵
流程上傳者把錢壓在合約存儲者提供存儲證明從合約拿錢狀態：功能還不成熟0.6版本效果上傳者只付流量費也能存，但是數據容易被清理
Swarm存儲層
Swarm的實際存儲層由兩個主要組件組成，分別是LocalStore和NetStore 。
LocalStore：由內存中快速緩存(Memstore)和持久磁盤存儲(DBStore)組成 。
NetStore：將LocalStore擴展為Swarm的分布式存儲，并實現了DPA 。
FileStore是存儲和檢索文件的本地接口 。當文件被交給FileStore進行存儲時，它將文檔分割成一個Merkle散列樹，然后和密鑰一起返回給調用者 。
最后，FileStore使用Swarm散列，并使用NetStore為用戶檢索文檔的根塊 。
結論
（1）目標明確，技術創新
熱數據，censorship resistant，有可能出現現象級產品BitTorrent+Tor+Layer 2
（2）經濟模型不成熟
上傳下載都要錢，注冊節點也要錢，ETH和BZZ無空挖機制，難以激勵節點在線
（3）功能未充分測試，急于上線
可先在CoinList上公募，再研究鏈