Apache Kylin权威指南 (大数据技术丛书)

Apache Kylin是Hadoop大数据平台上的一个开源OLAP引擎,将大数据的查询速度和并发性能提升至原来的百倍以上,为超大规模数据集上的交互式大数据分析打开了大门。本书由Apache Kylin核心开发团队编写,系统地介绍了Apache Kylin安装、入门、可视化、模型调优、运维、二次开发等各个方面,是关于Apache Kylin的权威指南。 第1章和第2章是基本概念和快速入门,为初学者打下坚实基础。第3章和第4章介绍增量构建和进阶的流式构建,应对数据的持续增长。第5章展示丰富的查询接口和其上的可视化能力。第6章则重点讲解了Cube模型和调优,它们是用好Apache Kylin,提升百倍性能的关键。第7章通过一系列有行业特点的具体案例分析,贯穿之前的所有概念,温故知新。第8章介绍可扩展架构和二次开发接口,适合开发者。第9章则介绍企业级功能、用户的认证和授权相关知识。第10章着重于安装和企业级部署、运维管理等内容。第11章和第12章分别说明如何参与和贡献到开源,以及Apache Kylin的未来。 推荐序一 13 推荐序二 16 推荐序三 20 推荐序四 22 前言 25 第1章 Apache Kylin概述 29 1.1 背景和历史 30 1.2 Apache Kylin的使命 34 1.2.1 为什么要使用Apache Kylin 35 1.2.2 Apache Kylin怎样解决关键问题 37 1.3 Apache Kylin的工作原理 39 1.3.1 维度和度量简介 40 1.3.2 Cube和Cuboid 42 1.3.3 工作原理 44 1.4 Apache Kylin的技术架构 45 1.5 Apache Kylin的主要特点 49 1.5.1 标准SQL接口 49 1.5.2 支持超大数据集 50 1.5.3 亚秒级响应 51 1.5.4 可伸缩性和高吞吐率 52 1.5.5 BI及可视化工具集成 54 1.6 与其他开源产品比较 55 1.7 小结 58 第2章 快速入门 59 2.1 核心概念 61 2.1.1 数据仓库、OLAP与BI 61 2.1.2 维度和度量 63 2.1.3 事实表和维度表 64 2.1.4 Cube、Cuboid和Cube Segment 65 2.2 在Hive中准备数据 66 2.2.1 星形模型 67 2.2.2 维度表的设计 68 2.2.3 Hive表分区 69 2.2.4 了解维度的基数 70 2.2.5 Sample Data 71 2.3 设计Cube 74 2.3.1 导入Hive表定义 74 2.3.2 创建数据模型 78 2.3.3 创建Cube 82 2.4 构建Cube 93 2.4.1 全量构建和增量构建 98 2.4.2 历史数据刷新 101 2.4.3 合并 103 2.5 查询Cube 107 2.6 SQL参考 109 2.7 小结 111 第3章 增量构建 112 3.1 为什么要增量构建 113 3.2 设计增量Cube 117 3.2.1 设计增量Cube的前提 117 3.2.2 增量Cube的创建 119 3.3 触发增量构建 122 3.3.1 Web GUI触发 122 3.3.2 构建相关的Rest API 125 3.4 管理Cube碎片 136 3.4.1 合并Segment 137 3.4.2 自动合并 139 3.4.3 保留Segment 143 3.4.4 数据持续更新 145 3.5 小结 148 第4章 流式构建 149 4.1 为什么要流式构建 150 4.2 准备流式数据 152 4.2.1 数据格式 152 4.2.2 消息队列 155 4.2.3 创建Schema 156 4.3 设计流式Cube 164 4.3.1 创建Model 164 4.3.2 创建Cube 166 4.4 流式构建原理 169 4.5 触发流式构建 173 4.5.1 单次触发 173 4.5.2 自动化多次触发 176 4.5.3 出错处理 178 4.6 小结 180 第5章 查询和可视化 181 5.1 Web GUI 182 5.1.1 查询 183 5.1.2 显示结果 185 5.2 Rest API 189 5.2.1 查询认证 189 5.2.2 查询请求参数 190 5.2.3 查询返回结果 192 5.3 ODBC 195 5.4 JDBC 201 5.4.1 获得驱动包 203 5.4.2 认证 203 5.4.3 URL格式 204 5.4.4 获取元数据信息 206 5.5 通过Tableau访问Kylin 207 5.5.1 连接Kylin数据源 208 5.5.2 设计数据模型 209 5.5.3 通过Live方式连接 210 5.5.4 自定义SQL 213 5.5.5 可视化 214 5.5.6 发布到Tableau Server 215 5.6 Zeppelin集成 216 5.6.1 Zeppelin架构简介 217 5.6.2 KylinInterpreter的工作原理 218 5.6.3 如何使用Zeppelin访问Kylin 220 5.7 小结 223 第6章 Cube优化 224 6.1 Cuboid剪枝优化 225 6.1.1 维度的诅咒 225 6.1.2 检查Cuboid数量 226 6.1.3 检查Cube大小 230 6.1.4 空间与时间的平衡 232 6.2 剪枝优化的工具 234 6.2.1 使用衍生维度 234 6.2.2 使用聚合组 241 6.3 并发粒度优化 246 6.4 Rowkeys优化 248 6.4.1 编码 250 6.4.2 按维度分片 253 6.4.3 调整Rowkeys顺序 255 6.5 其他优化 258 6.5.1 降低度量精度 258 6.5.2 及时清理无用的Segment 259 6.6 小结 260 第7章 应用案例分析 261 7.1 基本多维分析 262 7.1.1 数据集 263 7.1.2 数据导入 267 7.1.3 创建数据模型 271 7.1.4 创建Cube 276 7.1.5 构建Cube 289 7.1.6 SQL查询 293 7.2 流式分析 296 7.2.1 Kafka数据源 297 7.2.2 创建数据表 299 7.2.3 创建数据模型 304 7.2.4 创建Cube 307 7.2.5 构建Cube 310 7.2.6 SQL查询 311 7.3 小结 312 第8章 扩展Apache Kylin 313 8.1 可扩展式架构 314 8.1.1 工作原理 315 8.1.2 三大主要接口 317 8.2 计算引擎扩展 321 8.2.1 EngineFactory 322 8.2.2 MRBatchCubingEngine2 324 8.2.3 BatchCubingJobBuilder2 326 8.2.4 IMRInput 330 8.2.5 IMROutput2 333 8.3 数据源扩展 336 8.4 存储扩展 339 8.5 聚合类型扩展 343 8.5.1 聚合的JSON定义 344 8.5.2 聚合类型工厂 346 8.5.3 聚合类型的实现 348 8.6 维度编码扩展 356 8.6.1 维度编码的JSON定义 357 8.6.2 维度编码工厂 359 8.6.3 维度编码的实现 361 8.7 小结 364 第9章 Apache Kylin的企业级功能 365 9.1 身份验证 366 9.1.1 自定义验证 368 9.1.2 LDAP验证 370 9.1.3 单点登录 377 9.2 授权 380 9.3 小结 384 第10章 运维管理 385 10.1 安装和配置 386 10.1.1 必备条件 387 10.1.2 快速启动Apache Kylin 392 10.1.3 配置Apache Kylin 398 10.1.4 企业部署 403 10.2 监控和诊断 409 10.2.1 日志 410 10.2.2 任务报警 414 10.2.3 诊断工具 417 10.3 日常维护 419 10.3.1 基本运维 420 10.3.2 元数据备份 421 10.3.3 元数据恢复 423 10.3.4 系统升级 424 10.3.5 垃圾清理 429 10.4 常见问题和修复 432 10.5 获得社区帮助 435 10.5.1 邮件列表 436 10.5.2 JIRA 438 10.6 小结 439 第11章 参与开源 440 11.1 Apache Kylin的开源历程 441 11.2 为什么参与开源 442 11.3 Apache开源社区简介 443 11.3.1 简介 443 11.3.2 组织构成与运作模式 446 11.3.3 项目角色 448 11.3.4 孵化项目及顶级项目 450 11.4 如何贡献到开源社区 453 11.4.1 什么是贡献 453 11.4.2 如何贡献 454 11.5 礼仪与文化 455 11.6 如何参与Apache Kylin 457 11.7 小结 459 第12章 Apache Kylin的未来 460 12.1 大规模流式构建 460 12.2 拥抱Spark技术栈 462 12.3 更快的存储和查询 463 12.4 前端展现及与BI工具的整合 464 12.5 高级OLAP函数 465 12.6 展望 466 本书共十二章, 内容包括:Apache Kylin概述, 快速入门, 增量构建, 流式构建, 查询和可视化, 应用案例分析, 扩展Apache Kylin, Apache Kylin的企业级功能等