发布于

OushuDB学习体会心得

Oushu Database(简称 OushuDB)是由 Apache HAWQ 创始团队打造的新一代云原生数据仓库,该产品采用了存储与计算分离技术架构,具有 MPP 的所有优点,还具有弹性,支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展,遵循 ANSI-SQL 标准,具有极速执行器,提供 PB 级数据交互式查询能力。并且提供对主要 BI 工具的描述性分析支持和高级机器学习功能。兼容 Oracle,GPDB 和 PostgreSQL,可以轻松取代传统数据仓库包括 Teradata,Oracle,DB2,Greenplum 和 SQL-on-Hadoop 引擎。并且原生支持 Kubernetes 容器平台,帮助企业无缝迁移到最新的云计算平台。OushuDB 已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用
OushuDB 是一个开源、高可扩展性、高性能、高可靠性的数据库管理系统。它的设计理念是基于先进的存储、计算和网络技术,以达到更好的用户体验、更高的性能和更好的可维护性。
分析型数据库,即数据仓库的发展经历了⼏个阶段。上世纪 80 年代,第⼀代分析型数据库采⽤的就是传统交易型数据库的共享存储(Share Storage)架构,⽐如 Oracle 和 IBM Db2,这种架构的缺点是基于专有⾼端存储,价格昂贵,可扩展性差,扩展到⼗⼏个节点往往就会撞到存储的瓶颈。第⼆代分析型数据库称为 MPP,采⽤⽆共享架构(Share Nothing),最早商业化的 MPP 产品为 1980s 出现的 Teradata。Teradata 当时基于⼤型机和专有硬件。在 2000 年左右出现了⼏个基于普通 x86 服务器的 MPP 数据仓库公司,⽐如 Greenplum,Vertica 和 Netezza。基于 x86 的 MPP 架构解决了专有硬件的问题,可扩展性也得到了⼀定的提⾼,⼀般可以扩展到百节点规模。2000 年后,第三代数据仓库 SQL-on-Hadoop,包括 Hive 和 SparkSQL 等,⼀般都采取了存储与计算分离架构。正是因为存储与计算分离,计算可以访问存储在任何节点的数据,计算才可以在任意节点进⾏调度,从⽽可以实现⾼可扩展性,⽐如可以扩展到⼏千节点。存储与计算分离的另外⼀个好处是管理的简单性,⽐如扩容不再需要像 MPP ⼀样重新分布所有数据。管理上的简单性使得存储与计算分离特别适合云的环境。但是⼀般 SQL-on-Hadoop 兼容性不佳,性能⼀般,对 Update/Delete 以及混合⼯作负载⽀持的也不好。新⼀代云数据仓库,融合了 MPP 和 Hadoop 的两者的优点,在兼容性和性能等⽅⾯补⾜了以往产品的短板,整体表现更优秀。OushuDB 从设计之初就定位在新⼀代云数据仓库,其新⼀代 SIMD 执⾏器⽐传统 MPP 要快 5-10 倍,⽐⼀般的 SQL-on-Hadoop 要快 20 倍左右。OushuDB ⽀持 Update/Delete 和混合⼯作负载,实现了⾃研存储、对象存储,突破了 HDFS 的瓶颈。在可扩展性⽅⾯,采取了存储与计算分离的架构,可以扩展到上万节点,并且可以原⽣适应云计算的弹性需求。通过这几次的公开学习课,两位老师的解答与演讲,让我更加的认识了 oushudb,同时了解了自己的不足
在听课的过程中,再一次让我感受到读书,加强自身学习的重要性。就应当不断地学习。学习一切有用的知识,夯实自己的语文基础,开阔自己的知识面,不断努力,提升自己的知识水平,希望自己知识以及工作以后可以更上一层楼

评论
    test