注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

A small step

Judgement Must

 
 
 

日志

 
 
关于我

不要因为急着赶路,让自己的步伐杂乱。远方是既定的目标,但路上才是最重要的经历!

网易考拉推荐

hbase 节点添加 删除  

2015-06-15 10:53:55|  分类: hadoop |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

线上HBase集群操作系统需要升级,不能停止服务,且无其他多余机器可用,便采用“从集群移除节点–>升级节点机器–>节点加入集群”方法来进行。

集群上既部署有Hadoop,又部署有HBase,因为HBase存储是基于Hadoop HDFS的,所以先要移除HBase节点,之后再移除Hadoop节点。添加则反之。

一. 卸载HBase节点

1. 在0.90.2之前,我们只能通过在要卸载的节点上执行

$ ./bin/hbase-daemon.sh stop regionserver

来实现。这条语句执行后,该RegionServer首先关闭其负载的所有Region而后关闭自己。在关闭时,RegionServer在ZooKeeper中的“Ephemeral Node”会失效。此时,Master检测到RegionServer挂掉并把它作为一个宕机节点,并将该RegionServer上的Region重新分配到其他RegionServer。

注意:使用此方法前,一定要关闭HBase Load Balancer。关闭方法:

hbase(main):001:0> balance_switch false
true
0 row(s) in 0.3590 seconds

总结:这种方法很大的一个缺点是该节点上的Region会离线很长时间。因为假如该RegionServer上有大量Region的话,因为Region的关闭是顺序执行的,第一个关闭的Region得等到和最后一个Region关闭并Assigned后一起上线。这是一个相当漫长的时间。以我这次的实验为例,现在一台RegionServer平均有2000个Region,每个Region Assigned需要4s,也就是说光Assigned就至少需要2个小时。

2.自0.90.2之后,HBase添加了一个新的方法,即“graceful_stop”,只需要在HBase Master节点执行:

./bin/graceful_stop.sh hostname

该命令会自动关闭Load Balancer,然后Assigned Region,之后会将该节点关闭。除此之外,你还可以查看remove的过程,已经assigned了多少个Region,还剩多少个Region,每个Region 的Assigned耗时。

补充graceful stop的一些其他命令参数:

$ ./bin/graceful_stop.sh
Usage: graceful_stop.sh [--config &conf-dir>] [--restart] [--reload] [--thrift] [--rest] &hostname>
 thrift      If we should stop/start thrift before/after the hbase stop/start
 rest        If we should stop/start rest before/after the hbase stop/start
 restart     If we should restart after graceful stop
 reload      Move offloaded regions back on to the stopped server
 debug       Move offloaded regions back on to the stopped server
 hostname    Hostname of server we are to stop

1. 2. 最终都需要我们手动打开load balancer:

hbase(main):001:0> balance_switch true
false
0 row(s) in 0.3590 seconds

 注:强烈建议使用“graceful_stop”来移除节点。

至此,HBase节点已经卸载完成,将卸载Hadoop节点。

四、重新假如HBase RegionServer节点

只需要重启regionserver进程即可。

  评论这张
 
阅读(26)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018