ODCP 认证学习笔记
通过这次培训,让我学习到了如下:
1.什么是 Oushu Database?
Oushu Database 的架构是由 Apache HAWQ 创始团队打造的新一代云原生数据仓库,该产品采用了存储与计算分离技术架构,具有 MPP 的所有优点,还具有弹性,支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展,遵循 ANSI-SQL 标准,具有极速执行器,提供 PB 级数据交互式查询能力。并且提供对主要 BI 工具的描述性分析支持和高级机器学习功能。兼容 Oracle,GPDB 和 PostgreSQL,可以轻松取代传统数据仓库包括 Teradata,Oracle,DB2,Greenplum 和 SQL-on-Hadoop 引擎。并且原生支持 Kubernetes 容器平台,帮助企业无缝迁移到最新的云计算平台。OushuDB 已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。
2.OushuDB 的体系架构
在 OushuDB master 节点内部有如下几个重要组件:查询解析器(Parser/Analyzer),优化器,资源管理器,容错服务,查询派遣器,元数据服务。在查询执行时,针对一个查询,弹性执行引擎会启动多个虚拟 Segment 同时执行查询,节点间数据交换通过 Interconnect(高速互联网络)进行。如果一个查询启动了 1000 个虚拟 Segment,意思是这个查询被均匀的分成了 1000 份任务,这些任务会并行执行。所以说虚拟 Segment 数其实表明了查询的并行度。查询的并行度是由弹性执行引擎根据查询大小以及当前资源使用情况动态确定的。下面我逐个来解释这些组件的作用以及它们之间的关系:
3.OushuDB 的基本用法
数据库、表、模式、视图与函数
4.如何安装 OushuDB
Lava 安装
命令行安装
Ambari 安装
版本升级
5.OushuDB 的 SQL 和编程接口
库、用户、表定义,日常操作
6.日常监控巡检
数据库状态监控
硬件及操作系统监控
数据库碎片清理
数据库备份
7.系统扩容
8.资源管理
9.备份恢复
10.集群高可用
我心中的偶数科技/OushuDB 如下
OushuDB 是新一代云原生数据仓库,让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。OushuDB 通过计算存储分离架构解决了传统数据仓库高成本、高门槛、难维护、难扩展的问题。