• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

使用Hadoop NameNode,Checkpoint节点和备份节点的优点和缺点是什么?

hadoop 来源:AndrewR 5次浏览

我目前正在评估Hadoop 1.0.2的内部项目。使用Hadoop NameNode,Checkpoint节点和备份节点的优点和缺点是什么?

Hadoop的文档说

The Secondary NameNode has been deprecated. Instead, consider using the Checkpoint Node or Backup Node

有他们做三个选项什么信息,但我无法找到上信息的三种选择是推荐在哪种情况下。

===========解决方案如下:

基本上,检查点节点是辅助名称节点的新实现,备份点是通往名称节点热备用路径的临时版本(加上它现在可以通过将读取和写到 – 在名称节点读取和康斯坦丁Shvachko解释备份节点

从Backupnode documentation写道:

这个补丁引入了两个新类型的名称节点:一个检查点节点和备份节点。

  • 合并图像并编辑文件时,检查点节点对检查点名称 – 节点元数据的作用为 。
  • 备份节点扩展了它可以接收文件 系统元数据的在线更新,并将其应用到它的内存状态,并坚持他们 盘就像名字节点是否Checkpointer的功能 。因此,Backup节点 在任何时候都包含内存中和本地磁盘上的名称空间的最新映像。由于备份节点不需要从活动的名称节点传输文件,也不需要重放(合并)编辑,因此这也会导致检查点更加高效。
  • 术语备用节点 被保留用于进一步扩展备份节点功能, 当群集将能够切换到新的名称节点,如果活动的 死亡。这在设计文档的“温备用条款”部分 中提到。

典型使用案例:

  1. 运行checkpoint节点仅创建检查点。这应该使用 而不是当前的SecondaryNameNode, 修补程序已弃用该名称。我重用了很多SecondaryNameNode代码,所以这个努力没有浪费,它只是演变而已。
  2. 运行备份节点以支持在线 流编辑和高效检查点。这个特别的目标是消除NFS作为编辑的远程存储。
  3. 运行名称节点 根本没有永久存储,并将所有“持久” 功能委托给备份节点。这里的技巧是使用-importCheckpoint选项启动名称节点 ,然后运行备份节点。

版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)