1、技術理念不同:Spark的技術理念是使用微批來模擬流的計算,基于Micro-batch,數據流以時間為單位被切分為一個個批次,通過分布式數據集RDD進行批量處理 , 是一種偽實時 。而Flink是基于事件驅動,它是一個面向流的處理框架,Flink基于每個事件一行一行地流式處理,是真正的流式計算 。另外他也可以基于流來模擬批進行計算實現批處理 , 在技術上具有更好的擴展性 。
【flink和spark對比】2、時間機制:SparkStreaming只支持處理時間,折中地使用processing time來近似地實現event time相關的業務 。使用processing time模擬event time必然會產生一些誤差,特別是在產生數據堆積的時候,誤差則更明顯 , 甚至導致計算結果不可用,Structured streaming 支持處理時間和事件時間,同時支持 watermark 機制處理滯后數據Flink 支持三種時間機制:事件時間、注入時間、處理時間、同時支持 watermark 機制處理遲到的數據,說明Flink在處理亂序大實時數據的時候,優勢比較大 。
- 日本和服后面的枕頭有什么用
- 關于理想的名人名言 關于理想的名人名言和勵志語
- 緩和曲線現場如何放樣
- 羅莉莉和林飛亞是什么電視劇
- 1升水和1升汽油哪個體積大
- 光遇小號怎么和大號同時上
- 牛肉湯的做法和配料 牛肉湯鍋的做法和配方
- 經濟補償的標準和方式有哪些
- 脾臟增大 脾臟增大的原因和危害
- 小人同而不和的上一句 小人同而不和的上一句是啥
