spark-TransportServer
TransportContext有四个重载方法，用来创建TransportServer12345678910111213141516171819/** Create a server which will attempt to bind to a specific port. */public Tr
...
spark rpc
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
spark内置RPC框架Spark组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等都用到Spark RPC
Spark RPC各组件简介TransportContext：Contains the context to create a Trans
...
spark-SparkConf
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
spark配置SparkConf是Spark的配置类.1private val settings = new ConcurrentHashMap[String, String]()
配置以[String, String]的形式保存在ConcurrentHashMap中。配置Spark参数有以下三种形
...
spark设计理念和基本架构
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
spark核心功能
基础设施
包括SparkConf、内置RPC框架、事件总线(ListenerBus)、度量系统
1. SparkConf管理Spark配置信息
2. RPC框架由netty实现，有同步、异步多种实现,跨机器节点不同组件的通信设施，用于各组件间的通信
3. ListenerB
...
spark withScope and clean
发表于
|
分类于
spark
where are withScope {} and sc.clean(f)在RDD中，充斥着大量的 withScope {},sc.clean(f)。如下所示：123456789101112131415161718192021222324252627/** * Return a new RDD b
...
spark transformation and action overview
发表于
|
分类于
spark
action 与 transformation
learn spark by an example中提到了 transformation 和 action 两种操作，意为准换、行动。org.apache.spark.rdd.RDD 包含这两种算子。可以通过函数返回值来区分这两种算子：
transf
...
learn spark by an example
发表于
|
分类于
spark
spark执行流程中，包括transformation，action两种操作。action切分job，transformation中的shuffle切分stage。
以spark自带examples里的的GroupByTest为例，进行分析
代码：
1234567891011121314151617
...
Hello World
发表于
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in
...