大数据技术原理和应用.ppt

4.3.3 数 据坐标 ? HBase 中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此 ，可以视为一个“四维坐标”，即 [ 行键 , 列族 , 列限定符 , 时间戳 ] 键 [ “ 201505003 ” , “ Info ” , “ email ” , 1174184619081] [ “ 201505003 ” , “ Info ” , “ email ” , 1174184620720] 值 “ xie@ ” “ you@163.com ” 4.3.4 逻 辑视图 HBase 数据的逻辑视图 时 间 戳 行键 列族 contents 列族 anchor t5 t4 n .www contents:html= t3 html... anchor:= ” CNN ” anchor:my.look.ca=CNN.com contents:html= t2 html... contents:html= t1 html... 4.3.5 物 理视图 HBase 数据的物理视图 : 基于列的存储 列族 contents 行键 时间 戳 t3 t2 t1 列族 contents contents:html=html... contents:html=html... contents:html=html... 列族 anchor n.www 行键 n.www 时间 戳 t5 t4 列族 anchor anchor:= ” CNN ” anchor:my.look.ca=CNN.com 4.3.6 面 向列的存储 行式数据库和列式数据库示意图 4.3.6 面 向列的存储 行式存储结构和列式存储结构 4.4 ? 4.4.1 ? 4.4.2 ? 4.4.3 HBase 的实现原理 HBase 功能组件 表和 Region Region 的定位 4.4.1 H Base 功能组件 ? HBase 的实现包括三个主要的功能组件： – （ 1 ）库函数：链接到每个客户端 – （ 2 ）一个 Master 主服务器 – （ 3 ）许多个 Region 服务器 ? 主服务器 Master 负责管理和维护 HBase 表的分区信息，维护 Region 服务器 列表，分配 Region ，负载均衡 ? Region 服务器负责存储和维护分配给自己的 Region ，处理来自客户端的读 写请求 ? 客户端并不是直接从 Master 主服务器上读取数据，而是在获得 Region 的存 储位置信息后，直接从 Region 服务器上读取数据 ? 客户端并不依赖 Master ，而是通过 Zookeeper 来获得 Region 位置信息，大 多数客户端甚至从来不和 Master 通信，这种设计方式使得 Master 负载很小 4.4.2 表 和 Region 表 Region 序 典 字 Region 键 行 . 照 按 . . Region HBase 表被划分成多个 Region ? 开始只有一个 Region ，后来不断分裂 ? Region 拆分操作非常快，接近瞬间，因为拆 分之后的 Region 读取的仍然是原存储文件， 直到“合并”过程把存储文件异步地写到独 立的文件之后，才会读取新文件 表 表 Region Region 分裂 Region Region Region ... ... Region Region 一个 Region 会分裂成多个新的 Region 一个 4.4.2 表 和 Region ? 每个 Region 默认大小是 100MB 到 200MB （ 2006 年以前的硬件配置） ? 每个 Region 的最佳大小取决于单台服务器的有效处理能力 ? 目前每个 Region 最佳大小建议 1GB-2GB （ 2013 年以后的硬件配置） ? 同一个 Region 不会被分拆到多个 Region 服务器 ? 每个 Region 服务器存储 10-1000 个 Region 表 1 Region Region Region … Region 表 2 Region Region Region … Region Region 服务器 图 4-7 不同的 Region 可以分布在不同的 Region 服务器上 4.4.3 R egion 的定位 ? 元数据