0%

查缺补漏-Dubbo

本章是整理知识内容,为强化知识长期更新。

Dubbo概述

  • 服务治理(SOA)治理框架
  • Duboo是一个分布式服务框架
    • 远程通讯:提供多种基于长链接的NIO框架抽象封装,包括多种线程模型、序列化“请求-响应”的信息交换方案。
    • 集群容错:提供基于接口方法的透明远程调用过程,包括多协议支持、软负载均衡、失败容错、地址路由、动态配置等集群支持。
    • 自动发现:基于注册中心目录服务,使服务消费方能动态地查找提供方,使地址透明,使服务提供方可以平滑增或减少机器。
    • 介绍:
    • 致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。
    • Dubbo的命名:澳大利亚达博市
    • 同类型框架:
      • Apache Thrift、Hessian、RMI、WebService(原生)、HSF(淘宝,不开源)、JSF(京东,不开源)。
    • Dubbo涉及的基础知识
      • 远程调用方面:RMI、Hassion、WebService、Thrift进行底层调用。
      • 通讯交互:HTTP、Mian、netty。
      • 序列化:Hession2、Java、Json。
      • 容器:Jetty、Spring。
      • 负载均衡:zookeeper、Redis。(大部分都是zookeeper)
    • 简单的使用场景
      • 作为对内提供服务应用的容器。
      • 拆分负载Web应用到服务容器。
      • 应用负载均和协调。
      • 引用服务处理。

架构节点(抽象概念)

  • Provider:暴露服务的服务提供方。
  • Consumer:调用远程服务的服务消费方。
  • Registry:服务注册于发现服务
  • Monitor:统计服务的调用次调用时间监控中心
  • Container:服务运行容器
    • 节点调用关系
    • 服务提供-服务提供者在启动的时候,向注册中心提供自己提供的服务。
    • 服务消费-服务消费者在启动的时候,向注册中心订阅自己所需要的服务。
      • 注册中心异步返回服务提供者地址列表给消费者,如果有变动,注册中心将给予长连接推送变更数据给消费者。
    • 服务统计-服务者和消费者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
      • 异步方式
    • 服务调用关系
      • 服务消费者,从提供者地址列表中,基于[软负载均衡算法],选一台提供者进行调用,如果调用失败,在选另一台调用。

Dubbo源码相关

  • 源码地址git clone https://github.com/alibaba/dubbo
  • 初次编码不执行Test mvn clean install -Dmaven.test.skip=true
  • JS错误不修改,请自行忽视。
  • 修复mavan的警告
    * 地址:dubbo-parent pom.xml
    * maven-jar-plugin version:2.4
    * maven-surefire-plugin Version 2.19.1
    * maven-deploy-plugin Version 3.3.9
  • 项目导入后修复Dubbo XML校验错误提示
  • 需要导入dubbo.xsd文件
  • 下载dubbo-2.5.3.jar 版本尽量保持源码同步,解压dt后导入eclipse中。
  • 关于maven-dependency-plugin错误 可能是IDE错误提示,空白处添加空格保存自动消失。
    • 错误信息如下:Artifact has not been packaged yet. When used on reactor artifact, unpack should be executed after packaging: see MDEP-98. (org.apache.maven.plugins:maven-dependency-plugin:2.8:unpack:unpack:package)
      • 修复方案更改插件配置:
      • org.apache.maven.plugins
        maven-dependency-plugin
        2.10</version unpack packaged unpack
  • Dubbo源码模块
    • Config配置层(Dubbo-config)
    • Proxy服务代理层(Dubbo-rpc)
    • Registry注册中心层(Dubbo-registry)
    • Cluster路由层(Dubbo-cluster)
    • Monitor监控层(Dubbo-monitor)
    • Protocol远程调用层(Dubbo-rpc)
    • Exchange信息交换层(Dubbo-remoting)
    • Transport网络传输层(Dubbo-remoting)
    • Serialize数据序列化层(Dubbo-common)

Zookeeper

(测试方案采用zookeeper做均衡负载,简单介绍下配置信息)

  • 下载地址 http://apache.fayea.com/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
  • 基本配置:
    • 单机模式:修改zookeeper-3.4.8/conf zoo.cfg(原始文件名zoo_sanple.cfg复制一份重命名)
      • 编辑内容(仅供参考,具体环境自行修改)
      • tickTime = 2000
        • tickTime:基本事件单元,以毫秒为单位。这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
      • initLimit= 5
        • initLimit:这个配置项用来配置Zookeeper接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,当已超过5个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度是5 * 2000=4s。
      • dataDir = D:\zookeeper\data
        • 顾名思义就是 Zookeeper 保存数据快照的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里)。
      • dataLogDir= D:\zookeeper\log
        • 顾名思义就是 Zookeeper 保存日志的目录。
      • synclimit = 5
        • 这个配置项表示Leader与Follower之间发送消息,请求和应答时间长长度,最长不能超过多少个tickTime的时间长度,总的时间长度是2 * 2000 = 4s。
      • clientPort = 2181
        • 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
      • Server(待续)
        • 格式:server.id=host:port:port(两个port保证可以正常使用就行)
          • id:通常为整数,建议使用整数。
          • host:服务器的IP地址。
          • port: Follower端口
          • port: Leader选举投票。
        • ZooKeeper建议使用hostname,而非ip。这需要对主机的/etc/hostname和/etc/hosts做host绑定(不用的OS不同修改方式)。
      • 创建一个myid文件(放在 dataDir文件下面)
        • 写入一行数据(请查阅zoo.cfg文件)
          • 写入当前Zookeeper id位置的数据即可。表示当前系统环境Zookeeper是哪一个Server(通讯用的)。

Zookeeper概述

  • 背景

    • Zookeeper可以让企业的IT架构逐步从集中式向分布式过度,所谓的分布式是指:把一个计算任务分解成若干个计算单元,并且分派到若干不同的计算机中去执行,然后汇总计算结果的过程。
  • Zookeeper介绍

    • Zookeeper是源代码开放的分布式协调服务,由雅虎创建,是Google Chubby开源实现。Zookeeper是一个高性能的分布式数据一致性解决方案,它将那些复杂、容易出错的分布式一致性服务封装起来,构成一个搞笑可靠的原语集,并提供一系列简单易用的接口给用户使用。
  • Zookeeper的典型应用场景

    • 数据发布/订阅 顾名思义就是一方把数据发布出来,另一方通过某种手动可以得到这些数据。
      • 通常数据订阅有两种方式:推模式和拉模式,推模式一般是服务器主动向客户端推送消息,拉模式是客户端主动去服务端获取数据(通常采用的是轮询的方式)。
      • Zookeeper采用两种方式的结合。
        • 发布者将数据发布到Zookeeper集群节点上,订阅者通过一定的方法告诉服务器,我对那个节点的数据感兴趣,那个服务器在这些节点的数据发送变化时,就通知客户端,客户端得到通知后可以去服务器获取数据信息。
        • 分布式协调/通知
          • 心跳检测:在分布式系统中,通常需要机器是否可以用,Zookeeper中我们让所有的机器都注册一个临时节点,所以只需要判断这个节点是否存在就可以了,不需要直接去连接需要检查的机器,降低系统的负载度(节点分为临时和持久)。
  • Zookpeeper重量级使用

    • Hadoop、HBase、Storm、Solr。
  • 集群角色

    • Leader、Follower、Observer
      • Leader服务器是整个Zookeeper集群工作机制的核心
      • Follower服务器是Zookeeper集群状态的跟随者
      • Oserver服务器充当一个观察者的角色
      • Leader、Follower设计模式,Observer观察者模式
  • 会话

    • 会话是指客户端Zookeeper服务器的连接,Zookeeper中的会话叫Session,客户端与服务器建立TCP的长连接来维持一个Session,客户端在启动的时候首先会与服务器建立一个TCP连接,通过这个连接客户端能够通过心跳检测与服务器保持有效的会话,也能向Zookeeper服务器发送请求并获得响应。
  • 数据节点

    • Zookeeper中的节点有两类
      • 集群中的一台机器称为一个节点
      • 数据模型中的数据单元Znode,分别为持久节点和临时节点。(其实数据节点就是一个tree节点就是Znode)
  • 版本

    • Zookeeper中的版本
      • version
        • 当前数据节点数据内容版本
      • cversion
        • 当前数据节点子节点的版本号
      • aversion
        • 当前数据节点ACL变更版本号
  • watcher(事件监听器)

    • Zookeeper允许用户在指定节点上注册一些Watcher,当数据节点发生变化的时候,Zookeeper服务器会把这个变化通知发送给感兴趣的客户端。
  • ACL权限控制

    • ACL是Access Contril Lists 的缩写,Zookeeper采用ACL策略来进行权限控制,有以下权限:
      • CREATE:创建子节点
      • READ:获取子节点
      • WRITE:更新子节点数据权限
      • DELETE:删除子节点权限
      • ADMIN:设置节点ACL权限

Zoopeeper环境搭建(集群、单机、伪集群)

  • 单机模式(设备环境有限暂时单机)
    • 准备工作
      • 下载Zookeeper(此处自行处理)
      • 解压 tar xzvf xxx.gz 解压
      • 重命名文件夹 Zookeeper 命令mv xxx xxx 后面的参数是新名字(可以不做)
      • 进入文件夹中/conf/
      • 复制配置文件zoo_sample.cfg(样例文件) 并重命名 zoo.cfg
    • 编辑zoo.cfg内容(仅供参考,具体环境自行修改)
    • tickTime = 2000
      • tickTime:基本事件单元,以毫秒为单位。这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
    • initLimit= 5
      • initLimit:这个配置项用来配置Zookeeper接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,当已超过5个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度是5 * 2000=4s。
    • dataDir = D:\zookeeper\data
      • 顾名思义就是 Zookeeper 保存数据快照的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里)。
    • dataLogDir= D:\zookeeper\log
      • 顾名思义就是 Zookeeper 保存日志的目录。
    • synclimit = 5
      • 这个配置项表示Leader与Follower之间发送消息,请求和应答时间长长度,最长不能超过多少个tickTime的时间长度,总的时间长度是2 * 2000 = 4s。
    • clientPort = 2181
      • 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
    • Server(待续)
      • 格式:server.id=host:port:port(两个port保证可以正常使用就行)
        • id:通常为整数,并且不能重复使用整数。
        • host:服务器的IP地址。
        • port: Follower端口
        • port: Leader选举投票。
      • ZooKeeper建议使用hostname,而非ip。这需要对主机的/etc/hostname和/etc/hosts做host绑定(不用的OS不同修改方式)。
      • 创建一个myid文件(放在 dataDir文件下面)
      • 写入一行数据(请查阅zoo.cfg文件)
        • 写入id位置的数据即可。表示当前系统环境Zookeeper是哪一个Server(通讯用的)。
    • 启动服务与停止服务
    • 进入bin/文件
    • 执行zkServer.cmd 或则 zkServer.sh
    • CMD直接双击运行 ,SH则 sudo sh ./zkServer.sh start 启动 stop 关闭
    • 验证 使用telnet来测试(自行安装)
      • telnet ip port 敲命令 stat 若返回数据表示当前服务器不能对外提供服务表明集群下其他服务器未启动(在Zookeeper中只要有半数的服务器正常工作就可以向外提供服务)。
    • 在此简单说明下何为伪集群就是在一台服务器上的多个Zookeeper的集群叫伪集群(伪集群 两个port不能与其他zookeeper的port一样)。
    • 单机模式就删除其他服务器运行的时候就是单机模式。

#Dubbo程序运行

  • 测试运行,默认配置即可。注意与zookeeper一台机器。
  • 运行Dubbo-admin本机tomcat启动启动成功后127.0.0.1:8080/dubbo-admin(注意默认请设置跟目录,否则部分功能不发正常显示)
    • 默认用户名密码(root/root,guest/guest)