Hadoop机架感知及启动停止方法详解
在学习Hadoop的过程中，你可能会遇到Hadoop的机架感知方面的问题，本节就向大家介绍一下Hadoop的机架感知方面的知识以及Hadoop的启动和停止的方法，欢迎大家一起来学习。下面是具体讲解。
创新互联专业为企业提供红塔网站建设、红塔做网站、红塔网站设计、红塔网站制作等企业网站建设、网页设计与制作、红塔企业网站模板建站服务，十载红塔做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。
Hadoop的机架感知
HDFS和Map/Reduce的组件是能够感知机架的。
NameNode和JobTracker通过调用管理员配置模块中的APIresolve来获取集群里每个slave的机架id。该API将slave的DNS名称（或者IP地址）转换成机架id。使用哪个模块是通过配置项
topology.node.switch.mapping.impl来指定的。模块的默认实现会调用topology.script.file.name配置项指定的一个的脚本/命令。如果topology.script.file.name未被设置，对于所有传入的IP地址
，模块会返回/default-rack作为机架id。在Map/Reduce部分还有一个额外的配置项mapred.cache.task.levels，该参数决定cache的级数（在网络拓扑中）。例如，如果默认值是2，会建立两级的cache－一级针对主机（主机->任务的映射）另一级针对机架（机架->任务的映射）。
启动Hadoop
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
格式化一个新的分布式文件系统：
$bin/hadoopnamenode-format
在分配的NameNode上，运行下面的命令启动HDFS：
$bin/start-dfs.sh
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$bin/start-mapred.sh
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。
停止Hadoop
在分配的NameNode上，执行下面的命令停止HDFS：
$bin/stop-dfs.sh
bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。
在分配的JobTracker上，运行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh
bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。
【编辑推荐】
- 技术分享 Hadoop集群搭建方法
- 实例讲解Hadoop用法
- Hadoop集群与Hadoop性能优化
- HadoopHBase实现配置简单的单机环境
- Hadoop命令大全
名称栏目：Hadoop机架感知及启动停止方法详解
转载来于：http://www.stwzsj.com/qtweb/news40/7140.html
网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等
声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联