Skip to content

Spark序列化报错

liaotian1005 edited this page Dec 4, 2018 · 1 revision

用client提交spark作业,观察本地打印的log,如果出现了serialable、serialize等,碰到了序列化报错 注意的3点, 1.你的算子函数用到了外部自定义类型,要求自定义类型必须序列化 2.rdd的元素类型,也必须序列化 3.不能使用第三方不支持序列化的类型

Clone this wiki locally