• 偶数基本架构

    1、存储与计算分离架构 多个主节点处理用户对数据库的连接请求(JDBC/odbc) 处理用户认证及协调分布式执行计划引擎 数千个计算/存储节点分布式调度服务来完成后续sql查询的处理流程 2、分布式执行计划引擎 负责用户端标准sql语句的解析、语意检查、基于代价的查询优化到最终产生分布式的查询任务 规划工作 3、分布式任务调度引擎qd 负责执行计划的分发与执行状态的跟踪,同时也负责节点间的数据分发。 4、支持simd的极速执行引擎 负责将分布式调度引擎转发的逻辑计划转换成物理计划并完成资源配置,...
  • 安全系列-平台密码策略

    从偶数数据云平台(Lava)V4.0.0.0 开始,支持如下密码安全策略。 密码单向加密保存,保证用户密码不被破译。 支持密码前后端加密传输,避免请求包被截获、破译。 支持密码重复使用时间与次数可配置。 支持密码复杂程度可配置:包括长度、包含大小写字母等。 支持密码过期日期可配置。 支持可配置密码最大尝试次数。 部分功能的配置方式:/usr/local/oushu/lava-cloud/conf/basicPrivate.config.xml .... <Security> ...
  • SUSE 11 SP3 perl DBI:ODBC模块连接 OushuDB

    1.环境初始化 1.1 ODBC 环境初始化 zypper install unixODBC # 在文件/etc/unixODBC/odbcinst.ini中新增 [OushuDB] Description = OushuDB driver for linux Driver = /usr/lib64/unixODBC/libodbcpsql.so.1 Setup = /usr/lib64/unixODBC/libodbcpsqlS.so # 在文件/etc/unixODBC/odbc.ini中新增 [Ous...
  • SUSE 11 SP3 ODBC安装部署和使用

    SUSE 11 SP3 里面的 ODBC 配置和 CentOS 有些许不同 需要先安装 unixODBC 在文件/etc/unixODBC/odbcinst.ini 中新增 [OushuDB] Description = OushuDB driver for Linux Driver = /usr/lib64/unixODBC/libodbcpsql.so Setup = /usr/lib64/unixODBC/libodbcpsqlS.so 在文件/etc/unixODBC/odbc.ini 中新增 [O...
  • 记录 OushuDB 学习心得&学习笔记

    本月对 OushuDB 整个课程进行了学习,首先感谢官方提供的学习与考试机会,配合文档和学习视频以及老师发布的知识大纲,对偶数数据库有了详细的了解。本文章对一些重要的知识点进行整理,方便自己着重记忆。 1.OushuDB 在 4.0 引入了 magma 引擎,可以替换 hdfs,数据库启动时默认配合底层存储为 hdfs,如果需要使用 magma,需要制定--with_magma 参数,magma 引擎具有很多 hdfs 不具有的优势,值得在生产上大量使用; 2.stats collector 为统计数据收集...
  • 【best-practice】一次客户magma存储出错恢复的经验

    1. 背景介绍 4 月 6 号的时候,客户的数据库出现了异常,初始的报错如下: 客户的环境配置:双 magma 节点,replica=2,数据库版本 4.9。 得到报错后,初步怀疑 magma 集群出了问题,因为事务系统和容错系统均在 magma 服务中。 2. 排查过程 作出初步怀疑后,得到了如下后续调查日志 magma 集群状态: qd 日志: magmafatal 日志: 可以确认的是:magma 有一个 node 无法启动,导致在去请求 snapshot 的时候报错,而 fatal 则指出了...
  • 我眼中的偶数数据库

    各位大家好,在论坛跟大家学习也有一段时间了,今天来聊聊我眼中的偶数数据库 ~ 首先,先来介绍介绍我和偶数的故事(其实没有什么故事,只是一些交集片段)。 2015 年我开始接触 Greenplum,2015 年 10 月份 Greenplum 开源。这么多年在 Greenplum 社区里面插科打诨,没用过也听过 HAWQ 这个东西,我曾经还在朋友选型场景里推荐过偶数的 SQL on Hadoop 解决方案。据说啊,我从坊间听到的,这个是常老板一手带起来的产品,所谓的 HAWQ,简单的理解就是 Greenplu...
  • with_recursive递归通用实现

    参考 1.参考石恒的代码案例 预期效果 1.控制递归层数 2.可以 DEBUG 追溯原因 3.期望达到通用效果 SCHEMA CREATE SCHEMA oushu_toolkit; 测试表 create table demo ( ID varchar(10), DSC varchar(100), PID varchar(10) ); insert Into demo values ('00001', '中国', '-1'); insert Into demo values ('0...
  • 【Linux】coredump性能消耗

    参考 http://sunyongfeng.com/201609/programmer/tools/coredump https://mcgrady-forever.github.io/2018/03/27/linux-coredump/ https://blog.csdn.net/guotianqing/article/details/78760623 coredump 简介 coredump 文件 亦称为 core 文件 包含程序运行时的内存信息,含寄存器状态、堆栈指针、内存管理信息、操作系统 fla...
  • 关于CDC基本概念

    什么是 CDC? CDC(Changed Data Capture),变更数据捕获。顾名思义通俗的讲 CDC 就是获取发生改变的数据,是一种增量抽取的解决方案。 为什么要用 CDC? 利用 CDC,在对源表进行 INSERT、UPDATE 或 DELETE 等操作的同时就可以提取数据,可以批量的获取增量也可以近实时的获取数据的变化。广义来说我们通过 CDC 可以实现近实时的数据同步,但 CDC 并不等于实时数据同步。 CDC 的实现方式 1)时间戳:需要源系统有相应的数据列表示最后的数据变化。 2)快照:可...
  • 导入鸢尾花等示例数据以及littleboy建模模板

    确保 littleboy 集群是 1 个 master,不存在 standby 节点 如果存在 standby 节点,手动在 standby 节点所在机器,停止 standby 服务 /usr/local/oushu/littleboy/sbin/littleboy stop master 执行 psql 命令,将案例数据写入 oushudb su - gpadmin psql postgres -U gpadmin -f /usr/local/oushu/littleboy/note/sampledata...
  • OushuDB连接带Kerberos认证的Hdfs

    前提条件: 1.已搭建好好带 Keberos 认证的 Hdfs 集群 2.各节点已安装数据库(未初始化),并按照官方文档做好了“安装准备”。 操作步骤: 1.首先在本地部署 hdfs 客户端,方便测试远程 hdfs 的可用性,部署完毕后,将远程 hdfs 的 core-site.xml,hdfs-site.xml 和 hadoop-env.sh 拷贝到/etc/hadoop/conf 目录下,修改 hadoop-env.sh 中的 JAVA_HOME 为本地配置 同时需要修改 OushuDB 集群每个节点的...
  • Kylin V10 x86操作系统下OushuDB安装部署

    Kylin V10 x86操作系统下OushuDB安装部署  环境准备  Kylin v10系统安装前特殊准备    Kylin v10环境处理    Kylin v10软件包依赖缺失处理  环境准备完成后,执行安装管理平台脚本  WEB部署    管理平台安装完成,页面上登录  卸载集群 Kylin V10 x86 操作系统下 OushuDB 安装部署 环境准备 # 所有节点(管理节点+数据节点)挂载数据盘(选做) mkdir -p /data1 fdisk -l mkfs.ext4 /dev/sdb m...
  • oushuDB_目录结构介绍

    HDFS目录结构HAWQ目录结构说明TABLE存储方式 HDFS 目录结构 参数 说明 示例 配置文件 dataDir /data1/zookeeper/data zoo.cfg HADOOP_CONF_DIR /etc/hadoop/conf hadoop-env.sh HADOOP_LOG_DIR /var/log/hadoop/$USER hadoop-env.sh dfs.name.dir file:/data1/hdfs/namenode hdfs-site.xm...
  • ApacheHAWQ_SystemRequirements_01

    主机内存配置HAWQ内存配置无密码SSH配置磁盘要求网络要求端口要求Umask要求 按照以下指导原则配置好即将在每台机器上运行 Apache HAWQ 或 PXF 服务。 主机内存配置 为了防止 Apache HAWQ 集群中的数据丢失或损坏,您必须在每台主机上配置内存, 以便 Linux 内存不足(OOM)killer 进程不会由于 OOM 情况而终止 HAWQ 进程。 (HAWQ 应用自己的规则来强制执行内存限制。) 对于 HAWQ 的任务关键型部署,请在每台主机上执行以下步骤以配置内存: 设置操作系...
  • 参加活动

    国产化的趋势势不可挡,麒麟软件作为安全可控的操作系统厂商与偶数也会合作共赢!
test
公告

Oushu 社区作为一个开放、平等的开发者社区,我们在这里邀请各位热爱数据库技术、关心数据库领域发展、愿意将所思所学与大家进行分享的开发者,与我们一起共建 Oushu 社区生态 ~!