注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

A small step

Judgement Must

 
 
 

日志

 
 
关于我

不要因为急着赶路,让自己的步伐杂乱。远方是既定的目标,但路上才是最重要的经历!

网易考拉推荐

Hadoop添加新的节点  

2015-05-30 18:48:23|  分类: hadoop |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

增加节点

1.修改hosts文件:

在新节点的/etc/hosts,增加namenode的主机名与IP(两两互相通信,需要增加所有节点的hosts文件)

2.修改namenode的配置文件conf/slaves:

添加新增节点的ip或host

3.在新节点的机器上,启动服务

#cd  $HADOOP_HOME/sbin

#./hadoop-daemon.sh  start  datanode 

#./hadoop-daemon.sh  start  nodemanager

4.在NameNode节点执行 

# hadoop  dfsadmin  -refreshNodes

5.均衡block

在新节点上执行(如果是增加多个节点,只需在一个新节点)

#cd  $HADOOP_HOME/sbin

# ./start-balancer.sh 

1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 

 # sbin/start-balancer.sh -threshold 5

3)设置balance的带宽,默认只有1M/s

  dfs.balance.bandwidthPerSec    1048576       Specifies the maximum amount of bandwidth that each datanode       can utilize for the balancing purpose in term of       the number of bytes per second.   

注意事项:

1. 必须确保slave的firewall已关闭;

2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中

 

删除节点

1、集群配置

在hadoop0上修改conf/hdfs-site.xml文件

添加:

<property>

   <name>dfs.hosts.exclude</name>

  <value>/usr/local/hadoop/conf/excludes</value>

 </property>

2、确定要下架的机器

dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:

slave1

3、强制重新加载配置

#hadoop  dfsadmin  -refreshNodes   //它会在后台进行Block块的移动 

4、关闭节点 

等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。

查看到现在集群上连接的节点:

hadoop dfsadmin -report         

(1)、正在执行Decommission,会显示状态: Decommission Status : Decommission in progress    

(1)、执行完毕后,会显示状态: Decommission Status : Decommissioned 

5、再次编辑excludes文件

   一旦完成了机器下架,它们就可以从excludes文件移除了。

   登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下。





在namenode的配置文件 hdfs-site.xml 可以加上balance的带宽(默认值就是1M):
<property>
  <name>dfs.balance.bandwidthPerSec</name>  
  <value>1048576</value>  
  <description>  
    Specifies the maximum amount of bandwidth that each datanode   
    can utilize for the balancing purpose in term of   
    the number of bytes per second.   
  </description> 
</property>
  评论这张
 
阅读(1)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018