尚硅谷大数据技术之Atlas（5元数据管理）.doc

尚硅谷大数据技术之Atlas（元数据管理）

—————————————————————————————

更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网

尚硅谷大数据技术之Atlas（元数据管理）

(作者：尚硅谷大数据研发部)

版本：V2.0

第1章 Atlas入门

1.1 Atlas概述

Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。

1）表与表之间的血缘依赖

2）字段与字段之间的血缘依赖

1.2 Atlas架构原理

第2章 Atlas安装及使用

1）Atlas官网地址： /

2）文档查看地址： /0.8.4/index.html

3）下载地址： /dyn/closer.cgi/atlas/0.8.4/apache-atlas-0.8.4-sources.tar.gz

2.1 安装前环境准备

Atlas安装分为：集成自带的HBase + Solr；集成外部的HBase + Solr。通常企业开发中选择集成外部的HBase + Solr，方便项目整体进行集成操作。

服务名称

子服务

服务器

hadoop102

服务器

hadoop103

服务器

hadoop104

HDFS

NameNode

√

DataNode

√

√

√

SecondaryNameNode

√

Yarn

NodeManager

√

√

√

Resourcemanager

√

Zookeeper

QuorumPeerMain

√

√

√

Kafka

Kafka

√

√

√

HBase

HMaster

√

HRegionServer

√

√

√

Solr

Jar

√

√

√

Hive

Hive

√

MySQL

MySQL

√

Azkaban