oushuDB_目录结构介绍

由 发布于
 收藏

HDFS 目录结构

参数 说明 示例 配置文件
dataDir /data1/zookeeper/data zoo.cfg
HADOOP_CONF_DIR /etc/hadoop/conf hadoop-env.sh
HADOOP_LOG_DIR /var/log/hadoop/$USER hadoop-env.sh
dfs.name.dir file:/data1/hdfs/namenode hdfs-site.xml
dfs.data.dir file:/data1/hdfs/datanode hdfs-site.xml
dfs.journalnode.edits.dir /data1/hdfs/journaldata hdfs-site.xml
dfs.domain.socket.path /var/lib/hadoop-hdfs/dn_socket hdfs-site.xml

HAWQ 目录结构说明

参数 说明 示例
hawq_dfs_url 存储 TABLE 等业务数据 oushu/hawq/default_filespace
hawq_master_directory 1.存储表结构等 catalog 元数据
2.存储 log
3.......		 /data1/hawq/masterdd
hawq_segment_directory /data1/hawq/segmentdd
hawq_master_temp_directory 用于存放计算的中间数据 /data1/hawq/tmp
hawq_segment_temp_directory 用于存放计算的中间数据 /data1/hawq/tmp

TABLE 存储方式

-- 获取表tbs_hawq_tbs的路径
dw=# \! hdfs dfs -ls /hawq_fs/49287/33206/49288
drwx------   - gpadmin hadoop          0 2021-02-24 06:54 /hawq_fs/49287/33206/49288
dw=# 

-- 解析表tbs_hawq_tbs的路径
/hawq_fs/49287/33206/49288
   |       |     |     | 
   |       |     |    TABLE的OID
   |       |    DB的OID
   |      表空间的OID
  文件空间目录
评论
    test