学习原生云数据库是一项涉及广泛知识领域的任务,它不仅要求理解传统数据库管理的核心概念,还需要掌握云计算的分布式架构、弹性扩展、自动化运维等特性,也是增加自己一项职业技能的好方法。在公司同事的推介下认识了偶数科技,并参与了 ODCP 第六期的培训.偶数科技是专注于云数据平台产品和解决方案,自主研发云原生分布式数据库 OushuDB 及实时湖仓数据平台 Skylab 的一家高科技公司。以下是本人参加 ODCP 第六期的学习心得与学习笔记概要,希望能与参与培训的同仁有一个更好的交流,并助力大家的发展.
学习心得
理解云原生概念:云原生不仅仅是将应用迁移到云上,更是一种利用云计算的优势(如弹性、自动化、微服务架构等)来设计和构建应用的方法论。对于数据库而言,这意味着数据库服务应能自动适应云环境,实现高可用、可扩展、易于管理。
认识云数据库的优势:相比传统数据库,云数据库提供了更高的可用性(通过多副本、自动故障转移等技术)、弹性伸缩能力(根据负载自动调整资源)、成本效益(按需付费)以及简化的运维(自动化备份、监控、升级等)。
OushuDB 的优势: Oushu Database(简称 OushuDB)是由顶级数据库项目创始团队打造的新一代云原生分布式数据库,能够同时支持公有云与私有云。该产品采用存储计算分离架构,具有 MPP 的所有优点,服务层、计算层、存储层均可弹性扩展,支持混合工作负载并具备高扩展性。遵循 ANSI-SQL 标准,具有极速执行器,提供 PB 级数据交互式查询能力。并且提供对主要 BI 工具的描述性分析支持和高级机器学习功能。兼容 Oracle,GPDB 和 PostgreSQL,可以轻松取代传统数据仓库包括 Teradata, Oracle, DB2, Greenplum 和 SQL-on-Hadoop 引擎。并且原生支持 Kubernetes 容器平台,帮助企业无缝迁移到最新的云计算平台。OushuDB 已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。
架构与用法:OushuDB 是一款云原生架构的分布式数据库,支持高并发,高吞吐,高性能的弹性计算。支持多主节点,多虚拟计算集群和多虚拟存储集群。任一层级节点都可以水平扩展,存储与计算完全分离。通过简单的命令 oushudb start cluster 就可以使用,在各个云平台可以快速部署,开箱即用.
数据库基础知识:熟练掌握数据库的基础知识,包括数据定义,数据查询,查询优化和函数的灵活应用,还包括数据的导入和导出,整库备份和还原等.
资源管理:OushuDB 使 用 虚 拟 计 算 集 群 (Virtual Cluster) 以 及 资 源 队 列 (ResourceQueues)来管理整个系统的资源。每一个 OushuDB 用户都和一个虚拟集群中的某个资源队列关联,该用户发出的所有查询都会使用该关联的资源队列中的资源。
学习笔记概要
1. 偶数湖仓一体方案
SkyLab 湖仓一体平台:实现存算分离,一份数据,支持多个计算引擎的创新架构,实现实时湖仓一体.
OushuDB 虚拟计算与存储集群:共享一份数据,用不同的资源支撑不同的负载和租户
2. 数据库基础知识
数据定义:创建和管理数据库,创建和管理表和分区表等;
数据插入/删除/更新:插入数据,更新数据和删除数据;
数据查询:概述,选择列表和组合查询。
3. 表结构和查询优化
数据类型:数值类型,字符类型和日期/时间类型等。
函数和操作符:逻辑操作符,比较操作符和数学函数和操作符等。
查询优化:查询优化,性能提升技巧,缓存服务器。
管理数据库访问:权限和客户端认证。
4. 数据迁移和可视化管理
数据导入导出:导入导出简介,hdfs 外部表导入数据,hdfs 外部表导出数据,gpfdist 外部表导入数据,gpfdist 外部表导出数据,使用 COPY 命令导入导出数据等。
共享 Hive 元数据:前提条件——准备 Hive 环境。
OushuDB 可视化管理:限制及约束和工作簿等。
5. 编程接口和管理指南
编程接口:使用说明,示例和注意事项等。
管理指南:资源管理和备份恢复。
通过系统地学习和实践,能够了解到数据库的变化历程和 Oushu 数据库的精髓,并有效应用于实际项目中。