数据倾斜解决方案提高reducer并行度

Jump to bottom

liaotian1005 edited this page Dec 17, 2018 · 1 revision

提升reducer并行度, 比如有多个key 对应一个reducer 20万,提升并行度的话,20万对应到多个reducer的task上, 但是没有从根本上治理数据倾斜.