不止于弹性 - 云原生数据湖体系构建之道.pdf
- wendangchuan个人认证 |
- 2021-05-08 发布|
- 20.17 MB|
- 42页
不⽌于弹性 - 云原⽣数据湖体系构建之道
⼀、数据湖的机遇与挑战
⼆、DLA最佳实践
三、DLA应⽤案例
四、未来展望
⼀、数据湖的机遇与挑战
数据存储技术的发展 第⼀台计算机 算盘是古代最先进的计算⼯具 -5000 -2000 1920 1946 2000 56年硬盘 4.4MB
近代数据库的发展 开源浪潮:开放 互联⽹浪潮:灵活、扩展性 商业数据库的时代 云的浪潮:云原⽣ 分类 源代码 2003~2012 1977~1988 2012~Now 1988~2003 分布式 05Hadoop 03GFS 15 Aurora 77年 Oracle 04MapReduce 多模CosmosDB informix 06BigTable 17 POLARDB DB2 08⽂档数据库MongoDB去SQL化浪潮 BigQuery 典型 MySQL ES Spanner 数据库 SQLServer PG Redis ADB Teradata HBase DLA Cassandra TiDB DynamoDB Spark Redshift Oceanbase 图数据库Neo4j CPU 85 486 100 MHZ 96 Pentium 200MHZ 05 双核CPU 14 3.5GHZ 带宽 - - 1~2Gbps 2Gbps ~ 25Gbps ~100Gbps 56年 06年 32GB SSD 12年 HDD硬盘 4TB (100MBps+) 硬盘 4.4MB 91年 磁盘 07 年HDD硬盘 1TB NVM 80年 读写速度 20Mbps 09年 1TBSSD单位容量赶上HDD NonVolatile Memory HDD硬盘 2.5GB 新的概念 数据库 数据仓库 ⼤数据、数据湖、NoSQL 云数据库、云数据仓库、云数据湖、多地
数据湖是什么? 数据湖是⼀个集中式存储库,⽀持EB