坚信科学,分享技术

2018全新版本,未来在blog.54chen.com更新博客!

>>>尝试更加利于阅读的2014版科学院,以后都在新版上写。

hive迁移hadoop namenode时遇到的问题

hadoop hive namenode 迁移

使用了一段时间的hive和hadoop,在迁移datanode时很容易,要迁移namenode,hive里就闹情绪了。更改namenode后,在hive中运行select 依旧指向之前的namenode地址。

要如何解决呢,具体操作如下:
1.复制打包老的namenode
2.复制打包老的namenode的hdfs目录
3.到新机器准备好:修改master的值 复制到各节点 修改hive的定义
4.hive这里使用了mysql来保存metadata
因为这些信息会被写死在hive的DBS和SBS表里,下面是关键的一步:
进入mysql,执行下面的sql,

update DBS set DB_LOCATION_URI=REPLACE(DB_LOCATION_URI,'old host','new host');
update SDS set LOCATION=REPLACE(LOCATION,'old host','new host');

启动,一切正常了!迁移hive namenode成功。


原创文章如转载,请注明:转载自五四陈科学院[http://www.54chen.com]
本文链接: http://www.54chen.com/architecture/hive-hadoop-namenode-problem.html

This entry was posted in 架构研究 and tagged , , . Bookmark the permalink.

3 Responses to “hive迁移hadoop namenode时遇到的问题”

  1. lianhuiwang 说:

    用hostname就不会这么麻烦了。

  2. SEVEN 说:

    我从google无意中发现了这里,在这边我看了你写的很多文章,发现你在技术方便见解很独到,我非常喜欢阅读这边的文章,不知道能否和贵站交换一下友情链接呢
    贵站的链接我已经做好了(可以打开http://hi.baidu.com/see7di/home查看),期待回应

    以下是我的链接信息:
    Seven的Blog
    http://hi.baidu.com/see7di/home

Leave a Reply