spark源码分析

更新履历

• 2019.12.16 --> 2020.03.18 对spark核心架构,流式计算原理,图计算进行底层源码分析,输出分析文档

spark核心架构分析

1. spark IO处理方案
2. spark RPC系统
3. spark 存储系统
4. spark 调度系统
5. spark 度量系统
6. spark 状态系统
7. spark 安全管理系统
8. 广播变量
9. RDD
10. spark 内存计算
11. spark shuffle
12. 历史服务器
13. REST服务器
14. 系统部署

spark Streaming分析:

1. 接收器
2. 调度器
3. 离散流

图计算

1. 图计算RDD
2. 图计算的基石Pregal
3. 常见的图计算算法

• 2020.03.19 - Now

  以类图的形式总结前段工作,并进行简单分类,并输出