JavaEE
鸿蒙应用开发
HTML&JS+前端
Python+大数据开发
人工智能开发
电商视觉设计
软件测试
新媒体+短视频
产品经理
集成电路应用开发
C/C++
狂野架构师
IP短视频
Spark中为什么要区分宽窄依赖？
更新时间:2023年05月12日17时55分 来源:传智教育 浏览次数:
窄依赖：Spark可以对窄依赖进行优化：合并操作，形成pipeline(管道)，同一个管道中的各个操作可以由同一个线程执行完，且如果有一个分区数据丢失，只需要从父RDD的对应个分区重新计算即可，不需要重新计算整个任务，提高容错。
宽依赖：Spark可以根据宽依赖进行state阶段划分，同一个stage阶段中的都是窄依赖，可以对该阶段内的窄依赖优化
宽依赖有shuffle，子RDD的一个分区会依赖于父RDD的多个分区--错误，父RDD的一个分区会被子RDD的多个分区所依赖--正确。
窄依赖:没有shuffle，子RDD的一个分区只会依赖于父RDD的1个分区--错误，父RDD的一个分区只会被子RDD的1个分区所依赖--正确。
总结:
窄依赖: 并行化+容错
宽依赖: 进行阶段划分(shuffle后的阶段需要等待shuffle前的阶段计算完才能执行)。
最新资讯
0
分享到：
江苏传智播客教育科技股份有限公司 版权所有Copyright 2006-2024 All Rights Reserved 苏ICP备16007882号营业执照增值电信业务经营许可证出版物经营许可证
苏公网安备 32132202001156号