喵星之旅-调皮的大象-分类说明

调皮的大象：大数据相关。

字面意思

大象：体型大、力量大
调皮：不听话、爱捣蛋
调皮的大象 = 大且让人头疼

学大数据时，第一张图表上画的就是个玩具大象。
这个形象留在了脑子里，干脆就拿来做分类名。
不是比喻，是故事——从那张图开始，走进了大数据的世界。

数据量大：TB、PB 级别
数据类型多：结构化、半结构化、非结构化
处理速度快：实时、准实时
价值密度低：海量数据中挖掘价值

HDFS：分布式文件系统，存储海量数据
MapReduce：分布式计算框架
YARN：资源调度系统
ZooKeeper：分布式协调服务

Hive on Hadoop：用 SQL 查 HDFS 数据
表、分区、分桶
查询优化：小文件合并、谓词下推、并行度调整
UDF 开发：自定义函数

Spark SQL：结构化数据处理
Spark Streaming：实时流处理
内存计算：比 MapReduce 快 10-100 倍
RDD、DataFrame、DataSet

Flink：有状态流处理，exactly-once 语义
Storm：低延迟流处理
Spark Streaming：微批处理
Kafka + Flink：实时数据管道

ODS → DWD → DWS → ADS
维度建模：星型模型、雪花模型
数据质量：完整性、准确性、一致性、及时性
数据治理：元数据管理、血缘分析、权限控制

Hadoop、Hive、Spark
CDH、Scala、Flink
大数据安装部署、概念讲解
数据仓库、数据治理
一切"大数据"相关的文章