如何解决spark中的数据倾斜问题?
  • 发现数据倾斜的时候,不要急于提高executor的资源,修改参数或是修改程序,首先要检查数据本身,是否存在异常数据。

    • 1、数据问题造成的数据倾斜

      • 找出异常的key 
        • 如果任务长时间卡在最后最后1个(几个)任务,首先要对key进行抽样分析,判断是哪些key造成的。 
          选取key,对数据进行抽样,统计出现的次数,根据出现次数大小排序取出前几个。
        • 比如: df.select(“key”).sample(false,0.1).(k=>(k,1)).reduceBykey(+).map(k=>(k._2,k._1)).sortByKey(false).take(10)
        • 如果发现多数数据分布都较为平均,而个别数据比其他数据大上若干个数量级,则说明发生了数据倾斜。
      • 经过分析,倾斜的数据主要有以下三种情况: 
        • 1、null(空值)或是一些无意义的信息()之类的,大多是这个原因引起。
        • 2、无效数据,大量重复的测试数据或是对结果影响不大的有效数据。
        • 3、有效数据,业务导致的正常数据分布。
      • 解决办法 
        • 第1,2种情况,直接对数据进行过滤即可(因为该数据对当前业务不会产生影响)。
        • 第3种情况则需要进行一些特殊操作,常见的有以下几种做法 
          • (1) 隔离执行,将异常的key过滤出来单独处理,最后与正常数据的处理结果进行union操作。
          • (2) 对key先添加随机值,进行操作后,去掉随机值,再进行一次操作。
          • (3) 使用reduceByKey 代替 groupByKey(reduceByKey用于对每个key对应的多个value进行merge操作,最重要的是它能够在本地先进行merge操作,并且merge操作可以通过函数自定义.)
          • (4) 使用map join。
      • 案例 
        • 如果使用reduceByKey因为数据倾斜造成运行失败的问题。具体操作流程如下: 
          • (1) 将原始的 key 转化为 key + 随机值(例如Random.nextInt)
          • (2) 对数据进行 reduceByKey(func)
          • (3) 将 key + 随机值 转成 key
          • (4) 再对数据进行 reduceByKey(func)
      • 案例操作流程分析: 
        • 假设说有倾斜的Key,我们给所有的Key加上一个随机数,然后进行reduceByKey操作;此时同一个Key会有不同的随机数前缀,在进行reduceByKey操作的时候原来的一个非常大的倾斜的Key就分而治之变成若干个更小的Key,不过此时结果和原来不一样,怎么破?进行map操作,目的是把随机数前缀去掉,然后再次进行reduceByKey操作。(当然,如果你很无聊,可以再次做随机数前缀),这样我们就可以把原本倾斜的Key通过分而治之方案分散开来,最后又进行了全局聚合
        • 注意1: 如果此时依旧存在问题,建议筛选出倾斜的数据单独处理。最后将这份数据与正常的数据进行union即可。
        • 注意2: 单独处理异常数据时,可以配合使用Map Join解决。
    • 2、spark使用不当造成的数据倾斜

      • 提高shuffle并行度

        • dataFrame和sparkSql可以设置spark.sql.shuffle.partitions参数控制shuffle的并发度,默认为200。
        • rdd操作可以设置spark.default.parallelism控制并发度,默认参数由不同的Cluster Manager控制。
        • 局限性: 只是让每个task执行更少的不同的key。无法解决个别key特别大的情况造成的倾斜,如果某些key的大小非常大,即使一个task单独执行它,也会受到数据倾斜的困扰。
      • 使用map join 代替reduce join

        • 在小表不是特别大(取决于你的executor大小)的情况下使用,可以使程序避免shuffle的过程,自然也就没有数据倾斜的困扰了.(详细见Spark map-side-join 关联优化spark join broadcast优化
        • 局限性: 因为是先将小数据发送到每个executor上,所以数据量不能太大。
Hi:
更多面试题==>点我 (很全哦)
精选文章==>点我(读读业界应用博客,面试能加分哦)
编程也能挣钱==>点我
标签: 倾斜、reducebykey、key、join、随机数
欢迎观看一个全栈工程师的视频,全屏体验更好^_^
笔试题


刷题


简历模板


AI算法


大数据


内推


推荐阅读:
阿里巴巴笔试面试大全
腾讯笔试面试大全
百度笔试面试大全
今日头条笔试面试大全
网易笔试面试大全
Google笔试面试大全
更多笔试面试大全