向 clickhouse-jdbc 学习 jdbc
clickhouse-jdbc是clickhouse的jdbc驱动，本文从clickhouse-jdbc探索jdbc的一般实现
ClickHouseDriver123456789101112131415161718192021222324252627282930313233343536373839
...
spark mertric度量
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
概览度量，metric，及对系统运行过程中的状态进行收集统计，如性能、数据等，方便开发者了解状况，针对性优化等。
spark使用metrics进行监控
spark中，度量有3个概念：
Instance:度量系统的实例名。Spark按照Instance的不同，分为Master、Worker、App
...
spark事件总线
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
ListenerBusspark有一个trait——ListenerBus,事件总线，把事件提交给监听器12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535
...
spark shell
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
安装spark的流程就不说了。本篇讲述spark-shell
log level在$SPARK_HOME/conf目录中，有log4j.properties文件(如果没有 执行cp log4j.properties.template log4j.properties). spark-shell默认日
...
spark-TransportConf详解
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
TransportConf源码的解释为：A central location that tracks all the settings we expose to users.追踪所有暴露给用户的配置。在SparkContext中，用于给RPC框架提供配置信息
TransportConf有两个属性：
...
spark-initializePipeline
发表于
在TransportClientFactory的createClient,TransportServer中的init方法，都会用到TransportContext#initializePipeline方法
12345678910111213141516171819202122232425262728
...
spark-TransportClientFactory详解
发表于
|
分类于
spark
，
The Art of Spark Kernel Design
TransportClientFactory TransportClientFactory是创建TransportClient的工厂类
构造方法 123456789101112131415161718192021public TransportClientFactory( Transport
...