spark中的数据倾斜的现象、原因、后果
  • (1)、数据倾斜的现象 
    • 多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败。
  • (2)、数据倾斜的原因 
    • 数据问题 
      • 1、key本身分布不均衡(包括大量的key为空)
      • 2、key的设置不合理
    • spark使用问题 
      • 1、shuffle时的并发度不够
      • 2、计算方式有误
  • (3)、数据倾斜的后果 
    • 1、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度(分布式程序运行的速度是由最慢的那个task决定的)。
    • 2、过多的数据在同一个task中运行,将会把executor撑爆。
Hi:
更多面试题==>点我 (很全哦)
精选文章==>点我(读读业界应用博客,面试能加分哦)
编程也能挣钱==>点我
标签: 倾斜、task、后果、spark、key
欢迎观看一个全栈工程师的视频,全屏体验更好^_^
笔试题


刷题


简历模板


AI算法


大数据


内推


推荐阅读:
阿里巴巴笔试面试大全
腾讯笔试面试大全
百度笔试面试大全
今日头条笔试面试大全
网易笔试面试大全
Google笔试面试大全
更多笔试面试大全