大数据与搜索总览

本文用于整理大数据、搜索、日志分析、消息流处理相关组件的文档入口。

当前目录包含 Doris、Elasticsearch、Kibana、Flume、Hadoop、HBase、Hive、Kafka、Spark、ZooKeeper 等内容。

目录说明

搜索与日志分析

适合放 Elasticsearch、Kibana 相关内容。

• Elasticsearch
• Kibana
• 索引
• 查询 DSL
• 日志检索
• 可视化分析

如果内容偏日志系统整体方案，也可以放到基础设施与运维的“监控与日志”。

大数据计算与存储

适合放传统大数据生态组件，例如：

• Hadoop
• HBase
• Hive
• Spark
• Flume

这类文档主要用于记录大数据组件的概念、使用、部署经验和学习记录。

实时数据与消息

适合放 Kafka、ZooKeeper 等内容。

• Kafka
• Topic
• Consumer
• Producer
• Consumer Group
• ZooKeeper
• 协调服务

OLAP / 分析型数据库

适合放 Doris 等分析型数据库内容。

• Doris
• 数据导入
• 查询分析
• 表模型
• 性能优化

归类规则

1. Elasticsearch / Kibana 放在搜索与日志分析视角下。
2. Hadoop / Hive / Spark / HBase / Flume 放在大数据生态视角下。
3. Kafka / ZooKeeper 如果主要讲消息和协调，放在大数据与搜索；如果主要讲服务部署，也可放基础设施。
4. Doris 作为分析型数据库，放在大数据与搜索。
5. 如果文档是 Java 代码如何接入 Kafka / Elasticsearch，可以放在开发技术，也可以在对应组件下保留，按主语判断。
6. 如果文档是线上部署、端口、集群、日志、监控，优先放基础设施与运维。

常见判断

• Elasticsearch 查询：大数据与搜索 / Elasticsearch
• Kibana 看日志：大数据与搜索 / Kibana 或 基础设施 / 日志系统
• Kafka 消费者组：大数据与搜索 / Kafka
• Spark 任务：大数据与搜索 / Spark
• Doris 查询优化：大数据与搜索 / Doris