作者Alfred_DBA

·2023-08-30 16:29

Tech·金融

关注1

XTTS系列之四：迷迷糊糊的并行度

字数 8878阅读 444评论 0赞 1

内容摘要：

XTTS备份速度慢，需开启RMAN并行，XTT配置文件并行设置不影响备份效果，备份分批拷贝可提高效率。

当前摘要为AI生成

项目测试组又反馈一个问题，XTTS执行全量备份速度慢，影响测试进度。  
实际算了下，平均速度才150MB/s..  
这个速度在客户生产环境的确是不够看，首先询问是否开了并行，开了多少？

回复是说有开32个并行，在xtt.properties配置文件中指定的。  
另外也注意在RMAN中show all的配置是默认没有指定的。  
同时有个重要的现象，在备份过程中，每次只生成一个数据文件，按照顺序写的。

这个现象一描述出来，就严重怀疑是并行没生效，怀疑是xtt.properties配置文件单独设置那个并行不生效。  
用我自己的测试环境直接验证下吧，然后再给项目测试组去看到底该如何设置并行。  
这里模拟3个场景：

* 1.RMAN未配置并行，只在xtt配置文件中指定并行
* 2.RMAN配置并行，xtt配置文件中不指定并行
* 3.RMAN和xtt配置文件均指定并行
先做下准备工作：  
在我的测试环境准备两个表空间TEST、JINGYU，  
其中TEST表空间有2个数据文件，JINGYU表空间有1个数据文件，每个数据文件大小设置为1G（之前初始设置100M，结果发现太小的话不好观察且时间误差大）；  
测试XTTS脚本全量备份阶段的实际效率。

sqlplus sys/oracle@jingyu as sysdba
    
    SQL> 
    select FILE_NAME, bytes/1024/1024 "MB" from dba_data_files where TABLESPACE_NAME in ('TEST','JINGYU');
    
    FILE_NAME                                                                                        MB
    ---------------------------------------------------------------------------------------- ----------
    /flash/oradata/DEMO/fb6d1d5d4f0a245be0530b01a8c024da/datafile/jingyu1.dbf                      1024
    /flash/oradata/DEMO/fb6d1d5d4f0a245be0530b01a8c024da/datafile/test.308.1140833299              1024
    /flash/oradata/DEMO/fb6d1d5d4f0a245be0530b01a8c024da/datafile/test1.dbf                        1024

# 1.RMAN未配置并行，只在xtt配置文件中指定并行

这也就是项目测试组目前的设置情况：

CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET;
    grep -vE '^$|^#' xtt.properties
    
    
    RMAN> CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET;
    
    [oracle@bogon xtt]$ grep -vE '^$|^#' xtt.properties
    tablespaces=TEST,JINGYU
    platformid=13
    src_scratch_location=/xtts
    dest_datafile_location=+DATADG
    dest_scratch_location=/xtts
    parallel=3
    rollparallel=2
    getfileparallel=4
    srcconnstr=sys/oracle@jingyu
    destconnstr=sys/oracle@jingyu
    allowstandby=1
    
    [oracle@db01rac1 xtt]$ 
    $ORACLE_HOME/perl/bin/perl xttdriver.pl --backup --debug 3

注意：有个小技巧，为了反复全新测试这个XTTS第一次全备场景，在每次执行前可直接删除TMPDIR下的临时文件以及src_scratch_location下面备份出来的文件。  
建议TMDIR设置在xtts脚本中的一个单独目录，这样好做清理。  
比如我这里是：TMPDIR=/home/oracle/xtt/tmp  
同时注意tmp目录下面的文件删除，tmp目录本身不能删除。

set lines 180 pages 200  
    COL INPUT_TYPE FORMAT a20
    COL STATUS FORMAT a20
    COL minutes FORMAT 999.999
    COL Input_mb FORMAT 99,999.99
    COL Output_mb FORMAT 99,999.99
    
    SELECT SESSION_KEY, INPUT_TYPE, STATUS,
    TO_CHAR(START_TIME,'yyyy-mm-dd hh24:mi:ss') start_time,
    TO_CHAR(END_TIME,'yyyy-mm-dd hh24:mi:ss') end_time,
    INPUT_BYTES/1024/1024 Input_mb,
    OUTPUT_BYTES/1024/1024 Output_mb,
    ELAPSED_SECONDS Seconds
    FROM V$RMAN_BACKUP_JOB_DETAILS
    ORDER BY SESSION_KEY;

本次测试结果：

SESSION_KEY INPUT_TYPE           STATUS               START_TIME          END_TIME              INPUT_MB  OUTPUT_MB    SECONDS
    ----------- -------------------- -------------------- ------------------- ------------------- ---------- ---------- ----------
           5073 DATAFILE FULL        COMPLETED            2023-07-04 12:33:19 2023-07-04 12:33:50   2,048.00   2,048.00         31
           5075 DATAFILE FULL        COMPLETED            2023-07-04 12:33:52 2023-07-04 12:34:07   1,024.00   1,024.00         15

可以看到，在xtt.properties配置文件中指定了3个并行度，rman配置文件默认为1的情况下：  
TEST表空间2个数据文件，从2023-07-04 12:33:19 到 2023-07-04 12:33:50，耗时31秒。  
JINGYU表空间1个数据文件，从2023-07-04 12:33:52 到 2023-07-04 12:34:07，耗时15秒。  
整个任务共耗时46秒。整体平均速度68MB/s。

从这个数据判断，这种配置组合下并没有用到并行。

# 2.RMAN配置并行，xtt配置文件中不指定并行

那如果换过来测试呢？只在RMAN配置并行，xtt配置文件中不指定并行：

CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    grep -vE '^$|^#' xtt.properties
    
    
    RMAN> CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    
    using target database control file instead of recovery catalog
    old RMAN configuration parameters:
    CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET;
    new RMAN configuration parameters:
    CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    new RMAN configuration parameters are successfully stored
    
    [oracle@bogon xtt]$ grep -vE '^$|^#' xtt.properties
    tablespaces=TEST,JINGYU
    platformid=13
    src_scratch_location=/xtts
    dest_datafile_location=+DATADG
    dest_scratch_location=/xtts
    parallel=1
    rollparallel=2
    getfileparallel=4
    srcconnstr=sys/oracle@jingyu
    destconnstr=sys/oracle@jingyu
    
    
    [oracle@db01rac1 xtt]$ 
    rm -rf ./tmp/*
    rm -rf /xtts/*.tf
    
    $ORACLE_HOME/perl/bin/perl xttdriver.pl --backup --debug 3

结果如下：

SQL> /
    SESSION_KEY INPUT_TYPE           STATUS               START_TIME          END_TIME              INPUT_MB  OUTPUT_MB    SECONDS
    ----------- -------------------- -------------------- ------------------- ------------------- ---------- ---------- ----------
           5078 DATAFILE FULL        COMPLETED            2023-07-04 12:44:23 2023-07-04 12:44:49   3,072.00   3,072.00         26
    
    [oracle@bogon xtts]$ ls -lrth
    total 3.1G
    drwx------. 2 root   root      64K Jun  1 14:31 lost+found
    -rw-r-----. 1 oracle oinstall 1.1G Jul  4 12:44 TEST_35.tf
    -rw-r-----. 1 oracle oinstall 1.1G Jul  4 12:44 TEST_34.tf
    -rw-r-----. 1 oracle oinstall 1.1G Jul  4 12:44 JINGYU_36.tf

可以看到，在xtt.properties配置文件中指定了1个并行度，rman配置文件设置为3的情况下：  
TEST表空间2个数据文件和JINGYU表空间1个数据文件，作为一个任务跑，从2023-07-04 12:44:23 到 2023-07-04 12:44:49，耗时26秒。

从这个数据判断，这种配置组合下用到了并行。  
整个过程耗时也是26秒。整体平均速度118MB/s。

# 3.RMAN和xtt配置文件均指定并行

这里均指定并行度3:

RMAN> CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    
    old RMAN configuration parameters:
    CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    new RMAN configuration parameters:
    CONFIGURE DEVICE TYPE DISK PARALLELISM 3 BACKUP TYPE TO BACKUPSET;
    new RMAN configuration parameters are successfully stored
    
    [oracle@bogon xtt]$ grep -vE '^$|^#' xtt.properties
    tablespaces=TEST,JINGYU
    platformid=13
    src_scratch_location=/xtts
    dest_datafile_location=+DATADG
    dest_scratch_location=/xtts
    parallel=3
    rollparallel=2
    getfileparallel=4
    srcconnstr=sys/oracle@jingyu
    destconnstr=sys/oracle@jingyu
    
    [oracle@db01rac1 xtt]$ 
    rm -rf ./tmp/*
    rm -rf /xtts/*.tf
    
    $ORACLE_HOME/perl/bin/perl xttdriver.pl --backup --debug 3

结果如下：

SQL> /
    SESSION_KEY INPUT_TYPE           STATUS               START_TIME          END_TIME              INPUT_MB  OUTPUT_MB    SECONDS
    ----------- -------------------- -------------------- ------------------- ------------------- ---------- ---------- ----------
           5081 DATAFILE FULL        COMPLETED            2023-07-04 12:57:16 2023-07-04 12:57:42   2,048.00   2,048.00         26
           5083 DATAFILE FULL        COMPLETED            2023-07-04 12:57:45 2023-07-04 12:58:00   1,024.00   1,024.00         15

这个结果感觉是有点儿问题，但可以肯定TEST和JINGYU这两个表空间是串行执行的，可是TEST表空间内部的数据文件看起来有用到并行，但效果非常不好，为了排除掉我测试环境本身性能不稳定导致，所以清空环境重测一遍：

SQL> /
    SESSION_KEY INPUT_TYPE           STATUS               START_TIME          END_TIME              INPUT_MB  OUTPUT_MB    SECONDS
    ----------- -------------------- -------------------- ------------------- ------------------- ---------- ---------- ----------
           5085 DATAFILE FULL        COMPLETED            2023-07-04 13:01:26 2023-07-04 13:01:42   2,048.00   2,048.00         16
           5087 DATAFILE FULL        COMPLETED            2023-07-04 13:01:45 2023-07-04 13:02:01   1,024.00   1,024.00         16

嗯，这次结果就非常清晰好看了：

TEST和JINGYU这两个表空间是串行执行的，然后TEST表空间内部的数据文件确认有用到并行。  
可以看到，在xtt.properties配置文件中指定了3个并行度，rman配置文件也设置为3的情况下：  
TEST表空间2个数据文件，从2023-07-04 13:01:26 到 2023-07-04 13:01:42，耗时16秒。这一阶段平均速度128MB/s。  
JINGYU表空间1个数据文件，从2023-07-04 13:01:45 到 2023-07-04 13:02:01，耗时16秒。这一阶段平均速度64MB/s。  
总耗时32秒。

# 总结

按照我测试环境的验证结果：

* 1.RMAN未配置并行，只在xtt配置文件中指定并行  
不同表空间是串行执行，表空间内部的数据文件也是串行。  
也就是说全部串行操作，效率最差！  
总耗时46秒。整体平均速度68MB/s。
* 2.RMAN配置并行，xtt配置文件中不指定并行  
有用到并行。  
总耗时26秒。整体平均速度118MB/s。
* 3.RMAN和xtt配置文件均指定并行  
不同表空间是串行执行，表空间内部的数据文件有用到并行。  
第一阶段：平均速度128MB/s。  
第二阶段：平均速度64MB/s。  
总耗时32秒。整体平均速度96MB/s。
实践出真知，目前现象可以肯定的是，RMAN未配置并行肯定是不行的。  
然后看起来xtt配置文件是否指定并行，对结果关系并不大？  
因为XTTS脚本是MOS提供的，我们需要实际去看下这个脚本的说明文档，

* V4 Reduce Transportable Tablespace Downtime using Cross Platform Incremental Backup (Doc ID 2471245.1)
看看有关这个并行到底是咋描述的？

> parallel

> Defines the degree of parallelism used in copying (prepare phase), converting. Incremental backup creation parallelism is defined by RMAN configuration for DEVICE TYPE DISK PARALLELISM.

呵呵哒，增量备份（第一次0级备份也算增量备份）的并行度，人家文档说了要在RMAN配置的。  
而这个xtts脚本中的并行，有点儿像是要把备份分成几批的感觉，完成一批就可以先做这部分的拷贝。  
比如上面我测试场景2，不指定，两个表空间共3个文件就一个任务备份的，指定后，就拆分开来了。  
我这里测试文件少就不展开了，如有兴趣可自行测试下。

总之，做XTTS测试时，这个RMAN并行度一定配置好，具体设置多少取决于你的存储IO能力、可用能力以及...你懂的。

XTTS Oracle数据库

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

XTTS系列之四：迷迷糊糊的并行度

添加新评论0 条评论

文章目录展开目录

作者其他文章

相关文章

相关问题

相关资料