在参加了第 5 期的数据库培训，特别是深入学习了 OushuDB 之后，我深刻体会到了这次学习经历对于我个人职业发展以及公司业务需求的重要性。作为一名有着两年数据开发经验的工作者，我一直在寻找能够提升自己技术深度和广度的机会，而这次培训无疑为我打开了一扇新的大门。 首先，OushuDB 作为一个高性能的数据仓库解决方案，其独特的架构设计和强大的数据处理能力给我留下了深刻的印象。在培训中，我不仅学习了 OushuDB 的基础知识，包括其分布式架构、存储模型和查询优化技术，还深入了解了其在实际应用中的优势，比如...

1.Oushu Database（简称 OushuDB）是由顶级数据库项目创始团队打造的新一代云原生分布式数据库，能够同时支持公有云与私有云。该产品采用存储计算分离架构，具有 MPP 的所有优点，服务层、计算层、存储层均可弹性扩展，支持混合工作负载并具备高扩展性。遵循 ANSI-SQL 标准，具有极速执行器，提供 PB 级数据交互式查询能力。并且提供对主要 BI 工具的描述性分析支持和高级机器学习功能。兼容 Oracle，GPDB 和 PostgreSQL，可以轻松取代传统数据仓库包括 Teradata，O...

”管理指南“这个章节是比较重要的，以下是我的心得和笔记。 延着 Skylab-》OushuDB 云原生数据库 这个路径，我们可以找到 Worksheet 这个 SQL 编辑器，用它去编写与提交相关的脚本，操作体验还是比较爽利的，也让我对偶数的管理有了更多的认识。 非常感谢培训组织者，在开课第 3 周之后，就开放了上机操作环境，让我们有比较足够的时间去练习相关的操作。 1.1.角色和权限 CREATE ROLE name; DROP ROLE name; SELECT rolname FRoM pg_role...

学习偶数 DB 数据库的心得体会 在当今数字化时代，数据已成为企业和组织的核心资产。高效地管理和处理数据对于企业的成功至关重要。作为一名数据管理专业人员，我一直在寻找一款功能强大、性能卓越的数据库管理系统。在深入了解和学习偶数 DB 数据库后，我深刻体会到了它的优势和潜力。在这篇文章中，我将分享我学习偶数 DB 数据库的心得体会，希望能为读者提供一些有益的参考。 一、偶数 DB 数据库简介 偶数 DB 是一款基于云计算的分布式数据库管理系统，它采用了先进的存储与计算分离架构，具有高扩展性、高可用性和高性能等...

1【学习心得】 在学习偶数 DB 之前，我并不了解偶数这个平台。然而，随着老师们的讲解，我对偶数 db 有了基本的认知，意识到现在工作中用到的关系型数据库已经无法满足一些大规模数据处理和存储的需求。正是在这样的背景下，我开始了偶数 DB 的学习之旅。学习的过程并非一帆风顺。偶数 DB 作为一种分布式数据库，其原理和传统的关系型数据库有着很大的差异。我在每周三老师的讲解中，经常混淆一些基本的概念，比如数据分片、分布式事务等。但随着不断地阅读文档、观看视频教程，以及参与社区的讨论，我对偶数 DB 的理解逐渐加深...

在深入探索偶数 DB 的学习旅程中，我获得了前所未有的体验与收获。起初，我以为处理偶数这样的简单逻辑在数据库中不过是小菜一碟，但随着学习的深入，我逐渐意识到其中蕴含的复杂性与精妙之处。 首先，我掌握了 SQL 中条件查询的高级技巧，能够精确无误地从海量数据中筛选出所有偶数记录。这一过程中，我深刻体会到了数据库查询语言的力量与灵活性，以及合理设计查询语句对于提升性能的重要性。 其次，我学习了如何针对偶数数据的特点进行数据库结构优化。通过合理设置索引、分区表等策略，我成功提高了偶数数据的查询效率，减少了资源消耗...

自研的数据库事务日志（DML/DDL）解析技术的相关中间件，提供极速数据抽取组件，可以提高数据库抽取速度 100-1000 倍 针对数据库的迁移 异构 数据集成与服务相关都有结合的地方 交流交流

公司落实集团规划要求，计划 2024 年初完成青海公司大数据系统的三套 Vertica 数仓迁移至云原生数据库的相关工作。试点工作于 9 月 18 日具备实施条件，截止目前已完成经分主仓接口层、转化层、存储层、汇总层、中心区涉及的迁移工作，包含 4545 个表、1149 个数据程序和 914 个调度，整体进度已完成 35%。在这个过程中，我们提出了 39 个需求，为云原生数据库的功能、查询跑批性能和 Vertica 数据库兼容性等方面提供了有益的反馈，验证了其存算分离架构下数据加载、数据稽核、权限管理等功能...

作为一名在数据领域工作多年的程序员，目前服务于一家全球领先的金融科技解决方案服务商。截至当前也经历过数据平台发展的几个阶段：数据库阶段、数据仓库阶段、大数据平台阶段、数据云平台阶段；同时参与实施商业智能 BI、数据集市、传统数据仓库、基于 Hadoop 生态数据湖架构、数据中台等多个项目；数据平台底层技术也从第一代的共享存储架构到第二代的大规模并行处理 MPP 再到第三代的 SQL-on-Hadoop 不断迭代更新。接下来，主要重点聊一聊站在巨人的肩膀上继续前行的第四代云原生架构"OushuDB"的初体验。...

ODCP 培训是免费的吗？

问题背景 在一个客户环境下，升级时做了元数据导入导出，但在运行几天之后，又重新回滚了所有元数据，此时读一些 ao/orc 表，得到报错 ERROR: Failed to open layout file xxx，例如： 问题排查 以上述问题为例： 先查出这张表的 oid select oid from pg_class where relfilenode = 36059; 再查看这张表的 aoxr select * from oushu_aoxr(36059) t (rootrelid oid, re...

一、 OushuDB 的主要产品特性： 1.存储与计算分离架构 多个主节点处理用户对数据库的连接请求 (JDBC/ODBC)，处理用户认证及协调分布式执行计划引擎、数千个计算/存储节点分布式调度服务来完成后续 SQL 查询的处理流程。 2.分布式执行计划引擎 负责用户端标准 SQL 语句的解析、语意检查、基于代价的查询优化到最终产生分布式的查询任务规划工作。 3.分布式任务调度引擎 QD 负责执行计划的分发与执行状态跟踪，同时也负责节点间的数据分发。 4.支持 SIMD 的极速执行引擎 负责将分布式调度引擎...

ALTER TABLE 增加列 修改缺省值 删除列 修改列数据类型 增加约束 重命名列 删除约束 重命名表 AO 表支持 以上所以操作 ORC 表仅支持 增加约束、删除约束、重命名表 Magma 表不支持上述任何操作 增加列： create table products( product_no integer, name text, price numeric(10,2) check(price > 0) ); ALTER TABLE products ADD COLUMN descriptio...

启动数据库 hawq start cluster --with_magma 启动 hdfs start-dfs.sh 进入数据库 psql -d postgres \l 或者 select dataname from pg_databse; 修改系统时间 hwclock --systohc hwclock --set --date="12/20/22 09:52" clock --set --date="12/20/22 09:52" 创建表 CREATE TABLE my_first_table( fi...

表分区的好处： 1.查询优化器可以针对分区表进行优化，如果查询只涉及到某些分区， 则查询计划只需要扫描这些分区，从而加速查询； 2.如果我们按照日期进行分区的话，我们可以简单的加入分区和删除过期的分区。 分区表的目的是提高查询性能，但并非所有的表都适合做分区，只有大型事实表， 经常使用特定条件，日期，地区等，查询数据、维护历史数据、数据分布均匀的情况， 可通过分区策略大大提升使用性能，且分区数不易过多，否则会影响维护和管理工作速度 OushuDB 支持基于 Range 和 List 的两种分区方式： Ran...

ALTER TABLE 增加列 修改缺省值 删除列 修改列数据类型 增加约束 重命名列 删除约束 重命名表 AO 表支持 以上所以操作 ORC 表仅支持 增加约束、删除约束、重命名表 Magma 表不支持上述任何操作 增加列： create table products( product_no integer, name text, price numeric(10,2) check(price > 0) ); ALTER TABLE products ADD COLUMN descriptio...

启动数据库 hawq start cluster --with_magma 启动 hdfs start-dfs.sh 进入数据库 psql -d postgres \l 或者 select dataname from pg_databse; 修改系统时间 hwclock --systohc hwclock --set --date="12/20/22 09:52" clock --set --date="12/20/22 09:52" 创建表 CREATE TABLE my_first_table( fi...

感谢官方提供的学习资料，经过一段时间的学习，对 OushuDB 有了深刻的理解，并对重要的知识点做了一些笔记，方便后续学习。OushuDB 是新一代的云数仓产品，由 Apache HAWQ 创始团队打造，技术采用计算与存储分离的技术架构，分为客户端、主节点、虚拟计算集群、虚拟存储集群四个主要部分。OushuDB 采用多主节点，并且计算和存储都做到了虚拟化，可以更好的适应不断的计算和存储的需求。 OushuDB 包含分布式执行计划引擎、分布式任务调度引擎、支持 SIMD 的极速执行引擎、分布式可插拔存储引擎、...

1.可视化部署 偶数云平台 skylab magama 安装 - skylab 节点管理（需要 sudo 免密） - 安装 oushuDB 基础服务（集群模式需要安装 Nginx 负载均衡）- 云数据库 oushuDB 工作簿 校验服务状态 - oushuDB 新建集群 计算节点/存储节点/配置参数 - 部署完成 2.命令行安装 2.1 环境配置 确认集群是否支持 avx 指令集 language cat /proc/cpuinfo | grep avx 设置 yum 源 wget -P /etc/y...

1.启动 HDFS：start-dfs.sh 2.停止 HDFS：stop-dfs.sh 3.启动 OushuDB 集群：hawq start cluster -a --with_magma #（含 Magma 服务） 也可分别启动 master 和 segment hawq start master #启动 master master hawq start segment #启动 segment 4.停止或重启 OushuDB 集群：hawq stop cluster -a --with_magma #（...