opengauss/mogdb的tpch测试 -m6米乐安卓版下载

tpc-h是一个决策支持基准（decision support benchmark），它由一套面向业务的特别查询和并发数据修改组成。查询和填充数据库的数据具有广泛的行业相关性。这个基准测试演示了检查大量数据、执行高度复杂的查询并回答关键业务问题的决策支持系统。tpc-h报告的性能指标称为tpc-h每小时复合查询性能指标(qphh@size)，反映了系统处理查询能力的多个方面。这些方面包括执行查询时所选择的数据库大小，由单个流提交查询时的查询处理能力，以及由多个并发用户提交查询时的查询吞吐量。

tpc-h 测试标准模拟了一个零部件在线销售的系统，共定义了8个表：

对应测试有22条sql，涉及不同类型的业务。

如下是opengaus/mogdb测试tpch的流程。可供参考：

上传tpch的工具包

链接: https://pan.baidu.com/s/1reqknbimwtke5ecbqpxjzg 提取码: qjbc

mogdb=# create database tpch_db;
create database
mogdb=# create user tpch with password 'abcd@1234' sysadmin;
notice:  the encrypted password contains md5 ciphertext, which is not secure.
create role
mogdb=# alter database tpch_db owner to tpch ;
alter database
tpch_db=# alter schema public owner to tpch ;
alter schema

gsql -p 23000 -d tpch_db -u tpch < createtab_og.sql

解压tpch的包，进入dbgen的目录

1.修改makefile文件

[om3@lmt0003 tpc-h_tools_v3.0.0]$ pwd
/home/om3/tpch-opengauss-testtools/tpch-opengauss-testtools/tpc-h_tools_v3.0.0
[om3@lmt0003 tpc-h_tools_v3.0.0]$ cd dbgen/
[om3@lmt0003 dbgen]$ ls
answers     build.c          dists.dss  dsstypes.h      permute.h      queries    rnd.h         tests     tpch.vcproj
bcd2.c      check_answers    driver.c   history         porting.notes  readme     rng64.c       text.c    update_release.sh
bcd2.h      column_split.sh  dss.ddl    load_stub.c     print.c        reference  rng64.h       tpcd.h    variants
bm_utils.c  config.h         dss.h      makefile.suite  qgen.c         release.h  shared.h      tpch.dsw  varsub.c
bugs        dbgen.dsp        dss.ri     permute.c       qgen.vcproj    rnd.c      speed_seed.c  tpch.sln
[om3@lmt0003 dbgen]$ cp makefile.suite makefile
[om3@lmt0003 dbgen]$ vi makefile

修改其中103到112行

2.修改tpcd.h

[om3@lmt0003 dbgen]$ vi tpcd.h 

在文件末尾加上

#ifdef postgresql
#define gen_query_plan  "explain plan"
#define start_tran      "set transaction"
#define end_tran        "commit;"
#define set_output      ""
#define set_rowcount    "limit %d\n"
#define set_dbase      ""
#endif

修改完编译配置文件，可以编译出程序
3.编译dbgen

[om3@lmt0003 dbgen]$ make -f makefile

参数说明：
-v：详细信息
-f：覆盖之前的文件
-s：生成数据大小，单位gb
-c参数：表示把生成的数据分为几份
-s参数：切分数据用，表示第几个文件，例如：“-s 1”表示第1个文件，“-s 2”表示第2个文件

例：
1.生成1g数据

./dbgen vf -s 1

生成8个tbl文件，对应8张表的数据。

也可以使用多个线程产生数据，加块速率。例：8线程生成500g数据

#!/bin/sh
./dbgen -vf -s 500 -s 1 -c 8 &
./dbgen -vf -s 500 -s 2 -c 8 &
./dbgen -vf -s 500 -s 3 -c 8 &
./dbgen -vf -s 500 -s 4 -c 8 &
./dbgen -vf -s 500 -s 5 -c 8 &
./dbgen -vf -s 500 -s 6 -c 8 &
./dbgen -vf -s 500 -s 7 -c 8 &
./dbgen -vf -s 500 -s 8 -c 8 &

2.转换数据（把tbl文件转换为csv文件）

for i in `ls *.tbl`;do sed 's/|$//' $i > ${i/tbl/csv};echo $i;done;

创建脚本，导入数据

[om3@lmt0003 dbgen]$ vi copyin_tpch_db.sh 

下面需要修改的部分为dir和opts部分，dir为上述csv的路径。opts是gsql后需要加的参数，包含端口，数据库名等,sch是指定schema。

dir=/home/om3/tpch-opengauss-testtools/tpch-opengauss-testtools/tpc-h_tools_v3.0.0/dbgen
opts='-p 23000 -d tpch_db'
sch=public
gsql $opts -c "copy $sch.region from '$dir/region.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.nation from '$dir/nation.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.part from '$dir/part.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.supplier from '$dir/supplier.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.customer from '$dir/customer.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.partsupp from '$dir/partsupp.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.orders from '$dir/orders.csv' with (format csv,delimiter '|')"
gsql $opts -c "copy $sch.lineitem from '$dir/lineitem.csv' with (format csv,delimiter '|')"

create or replace function numtoyminterval(float8, text) returns interval as $$ select ($1||' '||$2)::interval;  
$$ language sql strict immutable;
create or replace function numtodsinterval(float8, text) returns interval as $$ select ($1||' '||$2)::interval;  
$$ language sql strict immutable;

如下是遍历执行全部22种sql的脚本

#!/bin/bash
opts='-p 23000 -d tpch_db -u tpch -w 'abcd@1234''
for i in `seq 1 22`
do
echo $i"'s  result"
gsql ${opts} -f ${i}.sql
done

可以将8张表的导入耗时以及22种sql的执行耗时记录下来，并做相应对比(测表导入耗时可以copy前开启\timing)。