淘先锋技术网

首页 1 2 3 4 5 6 7

1.hadoop的高可用原理:

双namenode协调工作的要点:

A、元数据管理方式需要改变:

      内存中各自保存一份元数据

      Edits日志只能有一份,只有Active状态的namenode节点可以做写操作

      两个namenode都可以读取edits

      共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)

B、需要一个状态管理功能模块

       实现了一个zkfailover,常驻在每一个namenode所在的节点

       每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识

       当需要进行状态切换时,由zkfailover来负责切换

       切换时需要防止brain split现象的发生   

注:脑裂(split):指的是两个节点都是active的状态。

Hadoop的集群高可用主要是消除单点故障,通过双namenode消除单点故障。