(1)Flink将批处理视为流处理的特殊情况,而Spark将流处理视为批处理的特殊情况
(2)Flink是一个一个事件处理的,Spark是小批量数据集处理,实时性不如Flink
(3)Flink核心代码是用java写的,Spark核心代码是用Scala写的
(4)Spark 对SQL的支持比Flink更完善
(5)Spark 只能对process time batch数据做window,而Flink可以基于event time, process time,count 来做window
(6)内存管理上:Flink一开始就自己实现内存管理,可以直接操作二进制数据,spark 1.5版本之前是基于jvm的内存管理,容易导致OOM和严重的gc, 1.5版本后启动tungsten计划,自己实现精细的内存管理。
标签: flink、spark、time、视为、批处理
笔试题
刷题
简历模板
AI算法
大数据
内推
内推: