今天给各位分享解决Hadoop频繁格式化问题：导致DataNode无法启动的常见故障分析的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
在org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations（DataStorage.java:388）
在org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead（DataStorage.java:556）
在org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage（DataNode.java:1566）
在org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool（DataNode.java:1527）
在org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo（BPOfferService.java:327）
在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake（BPServiceActor.java:266）
在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run（BPServiceActor.java:746）
在java.lang.Thread.run(Thread.java:745)
2017-12-14 05:07:58,922 错误org.apache.hadoop.hdfs.server.datanode.DataNode: 块池（Datanode Uuid 63404450-ed85-4636-8eac-ea75dba1d424）服务初始化失败到hadoop/192.16 8.137 .5:9000。退出。
java.io.IOException: 所有指定的目录加载失败。
在org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead（DataStorage.java:557）
在org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage（DataNode.java:1566）
在org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool（DataNode.java:1527）
在org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo（BPOfferService.java:327）
在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake（BPServiceActor.java:266）
在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run（BPServiceActor.java:746）
在java.lang.Thread.run(Thread.java:745)
注意
/tmp/hadoop-hadoop/dfs/data: namenode clusterID=CID-c80f243c-4a07-43f3-9eb8-f40d164a4520 中不兼容的clusterID； datanode clusterID=CID-3e6 fcd99 -a2fe-42f3-9ccf-bc257a065eb3
1 可以看到namenode的clusterID和datanode的clusterID不一样，导致启动失败。原因是我们多次格式化namenode，导致两个ID不同而无法启动。
解决方案
0.20.2版本解决方案
1、查看name节点上/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹下的VERSION文件中的namespaceid（即配置文件中配置的hadoop.tmp.dir参数路径） ）；
2、修改两个数据节点上dfs.data.dir配置的路径下当前文件夹中VERSION文件的namespaceid与name节点一致。 2.x版本中的解决方案
/数据/hadoop/dfs/名称/当前/版本
使用name下的clusterID修改datanode的/data/hadoop/dfs/data/current/VERSION中的clusterID。
每次格式化时，name下的VERSION的clusterID都会生成一个新的ID。需要修改各节点VERSION的clusterID。
……/dfs/数据/当前
存储ID=DS-1959445666-10.161.138.100-50010-1386493413986
clusterID=CID-64a3a726-29e4-4d80-86a6-035ef33a225b
c时间=0
存储类型=DATA_NODE
布局版本=-47
……/dfs/名称/当前/版本
#2014 年1 月3 日星期五10:37:48 CST
命名空间ID=1667984727
clusterID=CID-42c6d540-c3ca-44df-95e8-01a6d87effb5
c时间=0
存储类型=NAME_NODE
如果你还想了解更多这方面的信息，记得收藏关注本站。
【解决Hadoop频繁格式化问题：导致DataNode无法启动的常见故障分析】相关文章：
2.米颠拜石
3.王羲之临池学书
8.郑板桥轶事十则
用户评论
我遇到过类似问题，真的超级卡!
有13位网友表示赞同！
看来格式化次数太多对Datanode是有风险的。
有14位网友表示赞同！
我的Hadoop集群一直运行得很好，没遇到过这个问题。
有17位网友表示赞同！
这篇文章能不能说说怎么解决这个问题?
有5位网友表示赞同！
如果格式化过多真的会伤到Datanode吗？
有19位网友表示赞同！
看来要管控一下Hadoop的格式化次数啊!
有10位网友表示赞同！
有没有什么替代方案可以避免频繁格式化?
有16位网友表示赞同！
想问问这种情况下日志有什么样的提示信息？
有17位网友表示赞同！
我之前也遇到过集群无法启动的问题，好复杂啊！
有12位网友表示赞同！
学习Hadoop还是要多阅读文章，积累经验呢。
有15位网友表示赞同！
这篇文章提醒我了，下次要记得控制格式化次数。
有6位网友表示赞同！
Datanode维护确实是一个重要的环节!
有6位网友表示赞同！
看来hadoop集群的管理还是很有学问的。
有5位网友表示赞同！
Hadoop学习真是不容易！
有13位网友表示赞同！
希望会有更详细的解决方案分享。
有20位网友表示赞同！
文章提到的错误我记得发生过，确实很难解决啊!
有7位网友表示赞同！
这种问题遇到得多积累经验才能应对得当吧!
有5位网友表示赞同！
Hadoop的数据管理真是越来越复杂了！
有18位网友表示赞同！
这篇文章很有用，感谢分享！
有12位网友表示赞同！
以后遇到类似问题可以参考一下这篇文章。
有16位网友表示赞同！