humingminghz的博客
humingminghz · 共 22 篇文章
[置顶] Sparkstreaming reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 的源码/原理解析
最近在玩spark streaming, 感觉到了他的强大。 然后看 StreamingContext的源码去理解spark是怎么完成计算的。 大部分的源码比较容易看懂, 但是这个 reduceByKeyAndWindow( + , - , Duration, Duration) 还是花了不少时间。 主要还是由于对spark不熟悉造成的吧, 还好基本弄明白了。 总的来说SparkStreaming提供这个方法主要是出于效率考虑。 比如说我要每10秒计算一下前15秒的内容,(每个batch 5秒), 可以想象每十秒计算出来的结果和前一次计算的结果其实中间有5秒的时间值是重复的。 那么就是通过如…
2016-06-29 19:50 · Spark · 评论(0)
kafka + flume + hdfs + zookeeper + spark 测试环境搭建
最近由于项目需要, 搭建了一个类似线上环境的处理流数据的环境 用的是CDH 版本5.9.x hdfs组成: 2 namenode HA, 6 datanode kafka: 3 台kafka server zookeeper: 3台 flume: 1台 spark: 6台 每台32G内存 数据流程是有远端终端向我们数据处理服务器(Gengo)发送, 再由Gengo向kafka还有flume发送同样数据 flume那份数据最后会存储到hdfs上, 万一哪天spark或者kafka挂了, 我们还可以通过离线Job处理hdfs上的数据, 保证数据完整 kafka的数据直接有我们spark stre…
YARNRunner的运行原理总结
之前看了那么些源码, 大致对整个Yarn的运行过程有了一个了解, 总结一下 首先每个Yarn集群都有一个Resource Manager 以及若干个NodeManager Resource Manager主要有两个对象, 一个就是Scheduler, 还有一个就是Applications Manager ASM Scheduler有FIFO和Fair等, 主要作用就是根据Node Manager的资源使用状况来分配container。 当然还有一种Uber模式, 具体就是满足7个条件后就会只用一个container去跑整个Job Applications Manager主要是管理所有的App…
2016-10-25 17:52 · Hadoop · 评论(0)
Hadoop中Yarnrunner里面submit Job以及AM生成 至Job处理过程源码解析(下)
中间隔了国庆, 好不容易才看明白了MRAppMaster如何启动其他container以及如何在NodeManager上面运行Task的。 上回写到了AM启动到最后其实是运行的MRAppMaster的main方法, 那么我们就从这里开始看他是如何启动其他container的, 首先看一下main方法: public static void main(String[] args) { try { Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler()); //其实这里代码看似很多, 但是基本上不需…
2016-10-11 13:53 · Hadoop · 评论(0)
Hadoop中Yarnrunner里面submit Job以及AM生成 至Job处理过程源码解析 (中)
继续上一篇文章, 那时候AM Allocation已经生成, 就等着NM 的心跳来找到有资源的NM, 再去启动, 那么假设一个NM 心跳, 然后走的就是RMNodeImpl的状态机的RMNodeEventType.STATUS_UPDATE事件, 看一下事件定义: private static final StateMachineFactory<RMNodeImpl, NodeState, RMNodeEventType, RMNodeEvent> stateMachineFactory = new StateMachineFactory<RMNodeImpl, NodeState, RMN…
2016-09-27 13:25 · Hadoop · 评论(0)
Hadoop中Yarnrunner里面submit Job以及AM生成 至Job处理过程源码解析 (上)
参考了一篇文章, 才看懂了Yarnrunner的整个流程: http://blog.csdn.net/caodaoxi/article/details/12970993 网上很多文章写的不是很清楚, 有些到AM的启动的时候就错了, 结合最近俩星期看的Yarnrunner部分的源码 我把我的理解写下来, 打算分三部分 上: SubmitJob到schduler为ApplicationMaster申请Container 中:AM到NodeManager启动container 至在NM端执行APPMaster的脚本 下:启动container去执行Job的过程 可能中间也会有一些理解的错误, 导致…
2016-09-24 16:46 · Hadoop · 评论(0)
看Yarnrunner的辅助文章
http://blog.csdn.net/caodaoxi/article/details/12970993 http://www.cnblogs.com/shenh062326/p/3586510.html 这两篇文章不错, 这两天在看Yarnrunner的整个流程, 回头看完了后写几篇文章出来记录一下
2016-09-19 15:42 · 评论(0)
Hadoop MapReduce Job执行过程源码跟踪
前面一片文章写了MR怎么写, 然后添加的主要功能怎么用, 像partitioner, combiner等, 这周看了一下MR执行的时候Job提交以及Task运行的过程, 记录一下整个源码执行步骤, 量太大就不写详细了, 只是一步一步跟踪下去, 具体是在做什么就稍微解释一下, 跟多还是要靠自己看上下文理解了, 首先Job是通过job.waitForCompletion(true) 来提交的, 里面是通过submit()来提交的: public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedE…
2016-09-07 15:07 · Hadoop · 评论(0)
Hadoop的Map端sort, partition, combiner以及Group
Mapreduce在执行的时候首先会解析成KV键值对传送到Map方法里面, 在Mapper类的run里面有这么一段代码: while (context.nextKeyValue()) { map(context.getCurrentKey(), context.getCurrentValue(), context); } 就是只要还有KV键值对, 就不停的调用Map方法。 在Map端处理完成后我们通过Context.write输出, 然后到reducer端相同的Key的value组成到迭代器里面通过reduce代码处理。 这是默认最简单的方式, 在MR中还提供 Map端Sort, parti…
2016-09-05 15:15 · Hadoop · 评论(0)
Hadoop 的WordCount
之前花了点时间玩spark, 现在开始学一下hadoop 前面花了几天时间搭建Hadoop环境和开发环境, 具体就不多说了, 今天开始了第一个Map/Reduce程序, 经典的wordcount。 使用的Hadoop版本是2.6.3, 所以我会用最新的API, 大部分都是在org.apache.hadoop.mapreduce这个包下面的。 (mapred是老的api) 我的sample文件是: hdfs:// : /words.txt 内容: 1 2 1 a b a v c c c c 输出路径为: hdfs:// : /output 首先创建Mapper类, 由于我没有设置setInpu…
2016-08-30 19:41 · Hadoop · 评论(0)
源码跟踪executor如何写数据到blockmanager, 以及如何从blockmanager读数据
之前看了Job怎么submit 以及最后run的, 然后也看了blockmanager是怎么工作的, 那么接下来就是要看spark是如何从blockManager中读写数据的。 首先每个计算都是在对应机器的executor的task上面运行的, 那么计算完后也是从executor端开始写入的, 根据之前文章的解析, 我们知道最后Task是在executor的TaskRunner中执行的, 其中在数据操作端, 计算完成后如果resultSize大于Akka可以传输的size的话, 就会存储到block中, 然后通过Driver这边的taskscheduler来从executor端的blockm…
2016-08-10 19:41 · Spark · 评论(0)
Spark中Blockmanager相关代码解析
前一段时间看了如何划分stage以及如何提交Job, 最后把结果返回到Driver端的过程, 中间也涉及到了通过blockManager来获取Data等过程。 这两天花了点时间看了一下blockmanager是如何工作的, 在这里记录一下。 看了一下源代码, 这里有几个主要的对象: 1.BlockManager 2.BlockManagerMaster 3.BlockManagerMasterEndpoint 4.BlockManagerSlaveEndpoint 5.SparkEnv BlockManagerMaster是在Driver端, 用来管理整个集群的BlockManager的, …
2016-08-04 19:47 · Spark · 评论(0)
Spark在submitStage后如何通过clustermanager调度执行task到Driver接收计算结果的代码解析
前文: http://humingminghz.iteye.com/blog/2314269 前面先看到了从action入口到如何切分stage, 随后submit stage的过程, 那么既然stage被submit了, 接下来就应该是cluster manager去分配各个任务到prefer location的executor上面去执行了. submitstage的方法, 最终会把当前stage相关的所有祖先stage都提交(isActive=false),并把当前stage放到waiting的stage里面, 等所有前部stage执行完后, 再执行当前stage。 每个stage都有前…
2016-08-01 14:08 · Spark · 评论(0)
Spark中saveAsTextFile至stage划分和job提交的源代码分析
之前看了Spark Streaming和Spark SQL, 自己还花了一些时间去玩了些machine learning的算法, 像 线性回归, kmeans, 协同过滤等。 现在回过头来, 打算看一下spark core部分代码, 就先找了下saveAsTextFile这个方法作为入口, 看一下是怎么保存文档到hadoop中,并且怎么切分stage以及提交Task。 中间也会触碰到DAGScheduler, 也能明白为什么大家都说DAGScheduler是作业调度的核心了 看一下saveAsTextFile代码: def saveAsTextFile(path: String): Unit…
2016-07-29 14:20 · Spark · 评论(0)
SparkSQL DF.agg 执行过程解析
在上一篇文章前, 我一直没看懂为什么下面的代码就能得到max或者avg或者min的值: malePPL.agg(Map("height" -> "max", "sex" -> "count")).show 数据是 身高 性别 这样的一个组合大概有几百万个值 刚开始是使用reducebykey去做计算, 后来发现网上有agg里面直接进行排序获取值的做法, 特地看了一下为什么传进去一个Map(column -> Expression)就能得到想要的结果 首先还是直接进到agg的方法里面: /** * (Scala-specific) Aggregates on the entire [[data…
2016-07-19 10:21 · Spark · 评论(0)