博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
《深入理解Spark:核心思想与源码分析》——3.13节创建DAGSchedulerSource和BlockManagerSource...
阅读量:6863 次
发布时间:2019-06-26

本文共 1278 字,大约阅读时间需要 4 分钟。

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章,第3.13节创建DAGSchedulerSource和BlockManagerSource,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看

3.13 创建DAGSchedulerSource和BlockManagerSource

在创建DAGSchedulerSource、BlockManagerSource之前首先调用taskScheduler的post-StartHook方法,其目的是为了等待backend就绪,见代码清单3-53。postStartHook的实现见代码清单3-54。
创建DAGSchedulerSource和BlockManagerSource的过程类似于ExecutorSource,只不过DAGSchedulerSource测量的信息是stage. failedStages、stage. runningStages、stage. waiting-Stages、stage. allJobs、stage. activeJobs,BlockManagerSource测量的信息是memory. maxMem_MB、memory. remainingMem_MB、memory. memUsed_MB、memory. diskSpace-Used_MB。
代码清单3-53 创建DAGSchedulerSource和BlockManagerSource

taskScheduler.postStartHook()    private val dagSchedulerSource = new DAGSchedulerSource(this.dagScheduler)    private val blockManagerSource = new BlockManagerSource(SparkEnv.get.blockManager)private def initDriverMetrics() {    SparkEnv.get.metricsSystem.registerSource(dagSchedulerSource)    SparkEnv.get.metricsSystem.registerSource(blockManagerSource)}initDriverMetrics()代码清单3-54 postStartHook的实现override def postStartHook() {        waitBackendReady()    }private def waitBackendReady(): Unit = {    if (backend.isReady) {        return    }    while (!backend.isReady) {        synchronized {            this.wait(100)        }    }}

转载地址:http://vueyl.baihongyu.com/

你可能感兴趣的文章
jQuery温度计,支持摄氏度华氏度同时展示
查看>>
oracle 11g goldengate DML单向复制测试环境搭建
查看>>
Linux Web服务器网站故障分析常用的命令
查看>>
python 实现 Centos 7.1 下系统自动分区并mount到/data*
查看>>
一文看懂自动驾驶中应用的机器学习算法
查看>>
Cisco之ARP配置
查看>>
pycharm代码自动补全功能
查看>>
linux下给php安装pdo_mysql和zlib以及测试模式的选择(禅道安装过程中遇到的问题)...
查看>>
shell特殊符号cut命令,sort_wc_uniq命令,tee_tr_split命令
查看>>
centos 7--LNMP环境部署
查看>>
咨询公司建议完美批准私有化
查看>>
如何定位cpu占用率高的java线程
查看>>
基于centos6的mysql5.7.13主从部署(一)
查看>>
Nginx与php的整合
查看>>
常用SQL语句
查看>>
理解OVER子句
查看>>
[开发工具]JBuilder2008已经发布
查看>>
IPVS-DR+keepalived实现高可用负载均衡集群
查看>>
创建 OVS vlan101 并部署 instance - 每天5分钟玩转 OpenStack(139)
查看>>
用一份PPT开始你的Hyper-v虚拟化之旅
查看>>