bigdata-zookeeper

基础

概念

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解：是一个基于`观察者模式`设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

特点

Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
数据更新原子性，一次数据更新要么成功，要么失败。
实时性，在一定时间范围内，Client能读到最新数据。

数据结构

树型结构，类似Unix文件系统，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

安装及配置

安装

略

配置文件(zoo.cfg)说明

tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。
clientPort =2181：客户端连接端口

Zookeeper内部原理

选举机制[重要]

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

节点类型[重要]

短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除
- 临时目录节点
  客户端与Zookeeper断开连接后，该节点被删除
- 临时顺序编号目录节点
  客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。
持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除
- 持久化目录节点
  客户端与Zookeeper断开连接后，该节点依旧存在
- 持久化顺序编号目录节点
  客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

Stat结构体

czxid-创建节点的事务zxid
每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。
事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。
ctime - znode被创建的毫秒数(从1970年开始)
mzxid - znode最后更新的事务zxid
mtime - znode最后修改的毫秒数(从1970年开始)
pZxid-znode最后更新的子节点zxid
cversion - znode子节点变化号，znode子节点修改次数
dataversion - znode数据变化号
aclVersion - znode访问控制列表的变化号
ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。
dataLength- znode的数据长度
numChildren - znode子节点数量

监听器原理[重要]

监听器原理

写一个测试方法如

    @Test
    public void testConnect() throws IOException {
        String zkServers = "h150:2181,h102:2181,h103:2181";
        ZooKeeper zkClient = new ZooKeeper(zkServers, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
            }
        });
        // HERE 此处打印断点
        long sessionId = zkClient.getSessionId();
        ZooKeeper.States state = zkClient.getState();
        System.out.println("sessionId: " + sessionId + ", state: " + state.name());
    }

使用jstack命令来dump线程即可看到如下线程名，”main-SendThread()” daemo，其实它就是org.apache.zookeeper.ClientCnxn.SendThread

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

写数据流程

zookeeper写数据流程

端口

2181 默认客户端连接端口
2888 各服务器和Leader交换信息
3888 选举Leader时服务器相互通信

基础

概念

特点