Oracle crfclust.bdb 很大

本站文章除注明转载外，均为本站原创： 转载自love wife love life —Roger的Oracle/MySQL/PostgreSQL数据恢复博客

最近某客户的一套3节点extend rac出现了问题，应该软件安装目录被撑满了。虽然是因为监听等日志等原因，然而进一步检查发现Oracle CHM的文件消耗空间巨大，已经近60GB了。。很明显，这极可能是Bug。

[root@hiscg2 11.2]# du -sm cr
crf/ crs/ 
[root@hiscg2 11.2]# du -sm cr*
61269   crf
68      crs
[root@hiscg2 hiscg2]# ls -ltr
total 62738900
-rw-r--r--  1 root root       27365 Aug  2  2018 02-AUG-2018-16:05:51.txt
-rw-r--r--  1 root root      189147 Aug  2  2018 02-AUG-2018-16:07:59.txt
-rw-r--r--  1 root root     4104658 Aug  4  2018 04-AUG-2018-13:26:54.txt
-rw-r--r--  1 root root     2612712 Aug  5  2018 05-AUG-2018-16:08:38.txt
-rw-r--r--  1 root root     3869662 Aug  7  2018 07-AUG-2018-22:50:13.txt
-rw-r--r--  1 root root     3571717 Aug  7  2018 07-AUG-2018-22:51:33.txt
-rw-r--r--  1 root root     3620677 Aug  7  2018 07-AUG-2018-22:51:46.txt
-rw-r--r--  1 root root     2326901 Aug  7  2018 07-AUG-2018-23:02:47.txt
-rw-r--r--  1 root root     2717009 Sep  7  2018 07-SEP-2018-22:53:22.txt
-rw-r--r--  1 root root       53045 Nov 18  2018 18-NOV-2018-18:52:39.txt
-rw-r--r--  1 root root       26457 Nov 18  2018 18-NOV-2018-18:52:54.txt
-rw-r-----. 1 root root        8192 May 28 12:51 repdhosts.bdb
-rw-r-----  1 root root       24576 May 28 12:52 __db.001
-rw-r--r--. 1 root root   120000000 May 28 12:53 hiscg2.ldb
-rw-r--r--  1 root root     3634072 Jun  3 08:58 03-JUN-2019-08:58:37.txt
-rw-r--r--  1 root root     2302073 Jun  3 09:04 03-JUN-2019-09:04:37.txt
-rw-r--r--  1 root root     3745283 Jun  3 09:26 03-JUN-2019-09:26:20.txt
-rw-r-----. 1 root root        8192 Jun  3 09:27 crfconn.bdb
-rw-r--r--  1 root root     3534052 Jun  3 09:27 03-JUN-2019-09:27:23.txt
-rw-r-----  1 root root    16777216 Jun  5 10:23 log.0000009215
-rw-r-----. 1 root root 58566443008 Jun  5 10:36 crfclust.bdb
-rw-r-----. 1 root root   840880128 Jun  5 10:36 crfts.bdb
-rw-r-----  1 root root       57344 Jun  5 10:37 __db.006
-rw-r-----  1 root root    16777216 Jun  5 10:37 log.0000009216
-rw-r-----  1 root root     1187840 Jun  5 10:37 __db.005
-rw-r-----  1 root root      401408 Jun  5 10:37 __db.002
-rw-r-----  1 root root     2162688 Jun  5 10:37 __db.004
-rw-r-----  1 root root     2629632 Jun  5 10:37 __db.003
-rw-r-----. 1 root root  1305718784 Jun  5 10:37 crfloclts.bdb 
-rw-r-----. 1 root root  1116733440 Jun  5 10:37 crfalert.bdb

[root@hiscg2 11.2]# du -sm cr

crf/ crs/

[root@hiscg2 11.2]# du -sm cr*

61269 crf

68 crs

[root@hiscg2 hiscg2]# ls -ltr

total 62738900

-rw-r--r-- 1 root root 27365 Aug 2 2018 02-AUG-2018-16:05:51.txt

-rw-r--r-- 1 root root 189147 Aug 2 2018 02-AUG-2018-16:07:59.txt

-rw-r--r-- 1 root root 4104658 Aug 4 2018 04-AUG-2018-13:26:54.txt

-rw-r--r-- 1 root root 2612712 Aug 5 2018 05-AUG-2018-16:08:38.txt

-rw-r--r-- 1 root root 3869662 Aug 7 2018 07-AUG-2018-22:50:13.txt

-rw-r--r-- 1 root root 3571717 Aug 7 2018 07-AUG-2018-22:51:33.txt

-rw-r--r-- 1 root root 3620677 Aug 7 2018 07-AUG-2018-22:51:46.txt

-rw-r--r-- 1 root root 2326901 Aug 7 2018 07-AUG-2018-23:02:47.txt

-rw-r--r-- 1 root root 2717009 Sep 7 2018 07-SEP-2018-22:53:22.txt

-rw-r--r-- 1 root root 53045 Nov 18 2018 18-NOV-2018-18:52:39.txt

-rw-r--r-- 1 root root 26457 Nov 18 2018 18-NOV-2018-18:52:54.txt

-rw-r-----. 1 root root 8192 May 28 12:51 repdhosts.bdb

-rw-r----- 1 root root 24576 May 28 12:52 __db.001

-rw-r--r--. 1 root root 120000000 May 28 12:53 hiscg2.ldb

-rw-r--r-- 1 root root 3634072 Jun 3 08:58 03-JUN-2019-08:58:37.txt

-rw-r--r-- 1 root root 2302073 Jun 3 09:04 03-JUN-2019-09:04:37.txt

-rw-r--r-- 1 root root 3745283 Jun 3 09:26 03-JUN-2019-09:26:20.txt

-rw-r-----. 1 root root 8192 Jun 3 09:27 crfconn.bdb

-rw-r--r-- 1 root root 3534052 Jun 3 09:27 03-JUN-2019-09:27:23.txt

-rw-r----- 1 root root 16777216 Jun 5 10:23 log.0000009215

-rw-r-----. 1 root root 58566443008 Jun 5 10:36 crfclust.bdb

-rw-r-----. 1 root root 840880128 Jun 5 10:36 crfts.bdb

-rw-r----- 1 root root 57344 Jun 5 10:37 __db.006

-rw-r----- 1 root root 16777216 Jun 5 10:37 log.0000009216

-rw-r----- 1 root root 1187840 Jun 5 10:37 __db.005

-rw-r----- 1 root root 401408 Jun 5 10:37 __db.002

-rw-r----- 1 root root 2162688 Jun 5 10:37 __db.004

-rw-r----- 1 root root 2629632 Jun 5 10:37 __db.003

-rw-r-----. 1 root root 1305718784 Jun 5 10:37 crfloclts.bdb

-rw-r-----. 1 root root 1116733440 Jun 5 10:37 crfalert.bdb

我们不难看出，crfclust.bdb文件已经58G了。基本上已经占据了整改/u01的50%左右。

之前只是怀疑这可能是bug，但是没有明显的证据，昨天又去客户现场交流，顺便看了一下相关日志，更坚定了自己的分析，如下是CHM repostiory size的大小：

[root@hiscg1 bin]# ./oclumon manage -get repsize 
CHM Repository Size = 1333306093
Done
[root@hiscg1 bin]#
SQL> select 1333306093/86400/365 from dual;
1333306093/86400/365
--------------------
42.2788589
SQL>

[root@hiscg1 bin]# ./oclumon manage -get repsize

CHM Repository Size = 1333306093

Done

[root@hiscg1 bin]#

SQL> select 1333306093/86400/365 from dual;

1333306093/86400/365

--------------------

42.2788589

SQL>

很明显这个数据是有问题的。我们可以简单计算，发现要保留42年。

进一步检查crflog的日志发现，在2018年该rentention被resize到最大值了。。。

[root@hisyz1 crflogd]# cat  crflogd.log |grep 'DBRetention'
2018-08-02 11:33:37.342: [ CRFLOGD][877344512]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes
2018-08-02 16:08:06.527: [ CRFLOGD][4127635200]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes
2018-08-02 16:27:34.853: [ CRFLOGD][4106426112]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes
[root@hisyz1 crflogd]#

[root@hisyz1 crflogd]# cat crflogd.log |grep 'DBRetention'

2018-08-02 11:33:37.342: [ CRFLOGD][877344512]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes

2018-08-02 16:08:06.527: [ CRFLOGD][4127635200]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes

2018-08-02 16:27:34.853: [ CRFLOGD][4106426112]updateDBRetention: new retention is 1333306093 seconds and 15501870757251239856 bytes

[root@hisyz1 crflogd]#

其中一个节点自动resize后，其他节点则进行了sync同步，最终导致文件越来越大。简单记录一下这个case，想见该Bug的描述：

Bug 20186278 – crfclust.bdb Becomes Huge Size Due to Sudden Retention Change (文档 ID 20186278.8)

至于说处理方法，我们建议关闭该功能，步骤供参考：

crsctl modify resource ora.crf -attr "auto_start=never" -init
crsctl stop res ora.crf -init
rm -rf *.bdb
crsctl start res ora.crf -init

crsctl modify resource ora.crf -attr "auto_start=never" -init

crsctl stop res ora.crf -init

rm -rf *.bdb

crsctl start res ora.crf -init

Tags: crfclust.bdb
Posted in Oracle rdbms, troubleshooting on 6月 19, 2019

You must be logged in to post a comment.

love wife love life —Roger的Oracle/MySQL/PostgreSQL数据恢复博客

Categories

Archives

最新评论

国内圈子

oracle security

Oracle crfclust.bdb 很大

Leave a Reply