RAC Database Spfile Or Pfile

Check spfile location:

======================

srvctl config database -d TEST

srvctl status database -d TEST

sqlplus / as sysdba

show parameter spfile

create pfile:

create pfile from spfile;

create spfile:

create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' pfile;

Logs:

=====

[root@hostnode1 ~]# ps -ef|grep smon

root      7495     1  1 23:50 ?        00:00:05 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle    8372     1  0 23:51 ?        00:00:00 asm_smon_+ASM1

oracle   11425     1  0 23:52 ?        00:00:00 ora_smon_TEST1

root     30091 17862  0 23:56 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]# olsnodes

hostnode1

hostnode2

[root@hostnode1 ~]#

[root@hostnode1 ~]# su - oracle

Last login: Sun Feb 11 23:47:04 IST 2024

[oracle@hostnode1 ~]$ . oraenv

ORACLE_SID = [oracle] ? TEST1

The Oracle base has been set to /u01/app/oracle

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ env |grep ORA

ORACLE_SID=TEST1

ORACLE_BASE=/u01/app/oracle

ORACLE_HOME=/u01/app/oracle/product/19.0.0.0/dbhome_1

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ srvctl config database -d TEST

Database unique name: TEST

Database name: TEST

Oracle home: /u01/app/oracle/product/19.0.0.0/dbhome_1

Oracle user: oracle

Spfile: +DATA/TEST/PARAMETERFILE/spfileTEST.ora

Password file: +DATA/TEST/PASSWORD/pwdtest.293.1160546127

Domain:

Start options: open

Stop options: immediate

Database role: PRIMARY

Management policy: AUTOMATIC

Server pools:

Disk Groups: RECO,DATA

Mount point paths:

Services:

Type: RAC

Start concurrency:

Stop concurrency:

OSDBA group: oinstall

OSOPER group: oinstall

Database instances: TEST1,TEST2

Configured nodes: hostnode1,hostnode2

CSS critical: no

CPU count: 0

Memory target: 0

Maximum memory: 0

Default network number for database services:

Database is administrator managed

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ srvctl status database -d TEST

Instance TEST1 is running on node hostnode1

Instance TEST2 is running on node hostnode2

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Sun Feb 11 23:57:25 2024

Version 19.19.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.

Connected to:

Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

SQL> show parameter spfile

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

spfile                               string      +DATA/TEST/PARAMETERFILE/spfil

                                                 etest.ora

SQL>

SQL>

SQL> create pfile from spfile;

File created.

SQL>

SQL> exit

Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ srvctl stop database -d TEST

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$

[oracle@hostnode1 ~]$ cd $ORACLE_HOME

[oracle@hostnode1 dbhome_1]$ cd dbs

[oracle@hostnode1 dbs]$ ls -ltrh

total 50M

-rw-r--r--. 1 oracle oinstall 3.1K May 14  2015 init.ora

-rw-r-----. 1 oracle oinstall  19M Jul 28  2023 snapcf_TESTCDB1.f

-rw-r-----. 1 oracle oinstall  874 Aug  5  2023 initTEST1.ora.929202384520

-rw-r-----. 1 oracle oinstall  19M Oct 21 23:44 snapcf_DEVCDB1.f

-rw-r--r--. 1 oracle oinstall 1.7K Oct 29 08:19 initDEV1.ora_backup

-rw-r-----. 1 oracle oinstall  923 Oct 29 09:51 initTEST1.ora.110202410641

-rw-r--r--. 1 oracle oinstall 2.1K Jan 27 00:37 initDEVDB1.ora

-rw-rw----. 1 oracle oinstall 1.6K Feb  3 09:43 hc_DEVDB1.dat

-rw-r-----. 1 oracle oinstall 2.0M Feb  3 09:43 id_DEVDB1.dat

-rw-r-----. 1 oracle oinstall 2.0M Feb  4 07:32 id_DEVCDB1.dat

-rw-rw----. 1 oracle oinstall 1.6K Feb  4 07:32 hc_DEVCDB1.dat

-rw-r-----. 1 oracle oinstall 2.0M Feb 10 05:41 id_TESTCDB1.dat

-rw-rw----. 1 oracle oinstall 1.6K Feb 10 05:41 hc_TESTCDB1.dat

-rw-r--r--. 1 oracle oinstall 1.6K Feb 10 09:35 initDEV1.ora

-rw-rw----. 1 oracle oinstall 1.6K Feb 11 23:30 hc_UAT1.dat

-rw-r-----. 1 oracle oinstall 2.0M Feb 11 23:30 id_UAT1.dat

-rw-r-----. 1 oracle oinstall 2.0M Feb 11 23:30 id_DEV1.dat

-rw-rw----. 1 oracle oinstall 1.6K Feb 11 23:30 hc_DEV1.dat

-rw-r--r--. 1 oracle oinstall 1.7K Feb 11 23:57 initTEST1.ora

-rw-r-----. 1 oracle oinstall 2.0M Feb 11 23:58 id_TEST1.dat

-rw-rw----. 1 oracle oinstall 1.6K Feb 11 23:58 hc_TEST1.dat

[oracle@hostnode1 dbs]$ ls -ltr *TEST*

-rw-r-----. 1 oracle oinstall 19709952 Jul 28  2023 snapcf_TESTCDB1.f

-rw-r-----. 1 oracle oinstall      874 Aug  5  2023 initTEST1.ora.929202384520

-rw-r-----. 1 oracle oinstall      923 Oct 29 09:51 initTEST1.ora.110202410641

-rw-r-----. 1 oracle oinstall  2097152 Feb 10 05:41 id_TESTCDB1.dat

-rw-rw----. 1 oracle oinstall     1544 Feb 10 05:41 hc_TESTCDB1.dat

-rw-r--r--. 1 oracle oinstall     1650 Feb 11 23:57 initTEST1.ora

-rw-r-----. 1 oracle oinstall  2097152 Feb 11 23:58 id_TEST1.dat

-rw-rw----. 1 oracle oinstall     1544 Feb 11 23:58 hc_TEST1.dat

[oracle@hostnode1 dbs]$ mv initTEST1.ora initTEST1.ora_backup

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ srvctl start database -d TEST

PRCR-1079 : Failed to start resource ora.test.db

CRS-5017: The resource action "ora.test.db start" encountered the following error:

ORA-01078: failure in processing system parameters

LRM-00109: could not open parameter file '/u01/app/oracle/product/19.0.0.0/dbhome_1/dbs/initTEST1.ora'

. For details refer to "(:CLSN00107:)" in "/u01/app/oracle/diag/crs/hostnode1/crs/trace/crsd_oraagent_oracle.trc".

CRS-5017: The resource action "ora.test.db start" encountered the following error:

ORA-01078: failure in processing system parameters

LRM-00109: could not open parameter file '/u01/app/oracle/product/19.0.0.0/dbhome_1/dbs/initTEST2.ora'

. For details refer to "(:CLSN00107:)" in "/u01/app/oracle/diag/crs/hostnode2/crs/trace/crsd_oraagent_oracle.trc".

CRS-2674: Start of 'ora.test.db' on 'hostnode1' failed

CRS-2632: There are no more servers to try to place resource 'ora.test.db' on that would satisfy its placement policy

CRS-2674: Start of 'ora.test.db' on 'hostnode2' failed

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ ls -ltr *TEST*

-rw-r-----. 1 oracle oinstall 19709952 Jul 28  2023 snapcf_TESTCDB1.f

-rw-r-----. 1 oracle oinstall      874 Aug  5  2023 initTEST1.ora.929202384520

-rw-r-----. 1 oracle oinstall      923 Oct 29 09:51 initTEST1.ora.110202410641

-rw-r-----. 1 oracle oinstall  2097152 Feb 10 05:41 id_TESTCDB1.dat

-rw-rw----. 1 oracle oinstall     1544 Feb 10 05:41 hc_TESTCDB1.dat

-rw-r--r--. 1 oracle oinstall     1650 Feb 11 23:57 initTEST1.ora_backup

-rw-r-----. 1 oracle oinstall  2097152 Feb 11 23:58 id_TEST1.dat

-rw-rw----. 1 oracle oinstall     1544 Feb 11 23:58 hc_TEST1.dat

[oracle@hostnode1 dbs]$ mv initTEST1.ora_backup initTEST1.ora

[oracle@hostnode1 dbs]$ srvctl start database -d TEST

PRCR-1079 : Failed to start resource ora.test.db

CRS-5017: The resource action "ora.test.db start" encountered the following error:

ORA-01078: failure in processing system parameters

LRM-00109: could not open parameter file '/u01/app/oracle/product/19.0.0.0/dbhome_1/dbs/initTEST2.ora'

. For details refer to "(:CLSN00107:)" in "/u01/app/oracle/diag/crs/hostnode2/crs/trace/crsd_oraagent_oracle.trc".

CRS-2674: Start of 'ora.test.db' on 'hostnode2' failed

CRS-2632: There are no more servers to try to place resource 'ora.test.db' on that would satisfy its placement policy

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ srvctl status database -d TEST

Instance TEST1 is running on node hostnode1

Instance TEST2 is not running on node hostnode2

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Feb 12 00:01:47 2024

Version 19.19.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.

Connected to:

Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

SQL> show parameter spfile

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

spfile                               string

SQL> exit

Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ srvctl config database -d TEST

Database unique name: TEST

Database name: TEST

Oracle home: /u01/app/oracle/product/19.0.0.0/dbhome_1

Oracle user: oracle

Spfile: +DATA/TEST/PARAMETERFILE/spfileTEST.ora

Password file: +DATA/TEST/PASSWORD/pwdtest.293.1160546127

Domain:

Start options: open

Stop options: immediate

Database role: PRIMARY

Management policy: AUTOMATIC

Server pools:

Disk Groups: RECO,DATA

Mount point paths:

Services:

Type: RAC

Start concurrency:

Stop concurrency:

OSDBA group: oinstall

OSOPER group: oinstall

Database instances: TEST1,TEST2

Configured nodes: hostnode1,hostnode2

CSS critical: no

CPU count: 0

Memory target: 0

Maximum memory: 0

Default network number for database services:

Database is administrator managed

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Feb 12 00:02:42 2024

Version 19.19.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.

Connected to:

Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

SQL> create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' pfile;

create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' pfile

                                                        *

ERROR at line 1:

ORA-00923: FROM keyword not found where expected

SQL> create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' from pfile;

File created.

SQL> shut immediate;

Database closed.

Database dismounted.

ORACLE instance shut down.

SQL> exit

Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ srvctl status database -d TEST

Instance TEST1 is not running on node hostnode1

Instance TEST2 is not running on node hostnode2

[oracle@hostnode1 dbs]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Feb 12 00:04:17 2024

Version 19.19.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.

Connected to an idle instance.

SQL> create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' from pfile;

create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' from pfile

*

ERROR at line 1:

ORA-17502: ksfdcre:4 Failed to create file

+DATA/TEST/PARAMETERFILE/spfileTEST.ora

ORA-15056: additional error message

ORA-06512: at line 4

ORA-17502: ksfdcre:4 Failed to create file

+DATA/TEST/PARAMETERFILE/spfiletest.ora

ORA-15173: entry 'PARAMETERFILE' does not exist in directory 'TEST'

ORA-06512: at "SYS.X$DBMS_DISKGROUP", line 449

ORA-06512: at line 2

SQL> create spfile='+DATA/TEST/PARAMETERFILE/spfileTEST.ora' from pfile;

File created.

SQL> exit

Disconnected

[oracle@hostnode1 dbs]$

[oracle@hostnode1 dbs]$ srvctl start database -d TEST

[oracle@hostnode1 dbs]$ srvctl status database -d TEST

Instance TEST1 is running on node hostnode1

Instance TEST2 is running on node hostnode2

[oracle@hostnode1 dbs]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Feb 12 00:07:14 2024

Version 19.19.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.

Connected to:

Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

SQL> show parameter spfile

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

spfile                               string      +DATA/TEST/PARAMETERFILE/spfil

                                                 etest.ora

SQL> exit

Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production

Version 19.19.0.0.0

[oracle@hostnode1 dbs]$

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

oracle   11671     1  0 23:53 ?        00:00:00 ora_smon_TEST2

root     16924 31455  0 23:56 pts/0    00:00:00 grep --color=auto smon

root     21309     1  1 23:52 ?        00:00:03 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# olsnodes

hostnode1

hostnode2

[root@hostnode2 ~]# su - oracle

Last login: Sun Feb 11 23:54:21 IST 2024

[oracle@hostnode2 ~]$ . oraenv

ORACLE_SID = [oracle] ? +ASm2

ORACLE_HOME = [/home/oracle] ? ^C

[oracle@hostnode2 ~]$

[oracle@hostnode2 ~]$ . oraenv

ORACLE_SID = [+ASm2] ? +ASM2

The Oracle base has been set to /u01/app/oracle

[oracle@hostnode2 ~]$

[oracle@hostnode2 ~]$ asmcmd -p

ASMCMD [+] > cd +DATA/TEST/PARAMETERFILE/

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

Type           Redund  Striped  Time             Sys  Name

PARAMETERFILE  UNPROT  COARSE   FEB 11 23:00:00  Y    spfile.313.1160563609

PARAMETERFILE  UNPROT  COARSE   FEB 11 23:00:00  N    spfileTEST.ora => +DATA/TEST/PARAMETERFILE/spfile.313.1160563609

ASMCMD [+DATA/TEST/PARAMETERFILE] > rm spfileTEST.ora

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

ASMCMD-8002: entry 'PARAMETERFILE' does not exist in directory '+DATA/TEST/'

ASMCMD [+DATA/TEST/PARAMETERFILE] > cd +DATA/TEST/PARAMETERFILE/

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

Type           Redund  Striped  Time             Sys  Name

PARAMETERFILE  UNPROT  COARSE   FEB 12 00:00:00  Y    spfile.313.1160697793

PARAMETERFILE  UNPROT  COARSE   FEB 12 00:00:00  N    spfileTEST.ora => +DATA/TEST/PARAMETERFILE/spfile.313.1160697793

ASMCMD [+DATA/TEST/PARAMETERFILE] > rm spfileTEST.ora

ASMCMD [+DATA/TEST/PARAMETERFILE] >

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

ASMCMD-8002: entry 'PARAMETERFILE' does not exist in directory '+DATA/TEST/'

ASMCMD [+DATA/TEST/PARAMETERFILE] > cd +DATA/TEST

ASMCMD [+DATA/TEST] > ls -l

Type  Redund  Striped  Time  Sys  Name

                             Y    CONTROLFILE/

                             Y    DATAFILE/

                             Y    ONLINELOG/

                             Y    PASSWORD/

                             Y    TEMPFILE/

ASMCMD [+DATA/TEST] > mkdir PARAMETERFILE

ASMCMD [+DATA/TEST] > ls -l

Type  Redund  Striped  Time  Sys  Name

                             Y    CONTROLFILE/

                             Y    DATAFILE/

                             Y    ONLINELOG/

                             N    PARAMETERFILE/

                             Y    PASSWORD/

                             Y    TEMPFILE/

ASMCMD [+DATA/TEST] > cd PARAMETERFILE/

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

ASMCMD [+DATA/TEST/PARAMETERFILE] > ls -l

Type           Redund  Striped  Time             Sys  Name

PARAMETERFILE  UNPROT  COARSE   FEB 12 00:00:00  N    spfiletest.ora => +DATA/DB_UNKNOWN/PARAMETERFILE/SPFILE.313.1160697929

ASMCMD [+DATA/TEST/PARAMETERFILE] >

Regards,

Mallikarjun

RAC Cluster Maintenance Or Cluster Downtime

Bringdown Node1 Services:

=========================

crsctl check crs 

crsctl check has

crsctl stat res -t -init 

crsctl stat res -t 

crsctl stop crs 

crsctl stop has 

ps -ef|grep smon

ps -ef|grep d.bin

ps -ef|grep tns

crsctl check crs 

crsctl check has

crsctl stat res -t -init 

crsctl stat res -t

crsctl start crs 

crsctl start has 

crsctl stat res -t -init

ps -ef|grep smon

ps -ef|grep d.bin

ps -ef|grep tns

crsctl check crs 

crsctl check has 

crsctl stat res -t

Bringdown Node2 Services:

=========================

crsctl check crs 

crsctl check has 

crsctl stat res -t -init 

crsctl stat res -t

crsctl stop crs 

crsctl stop has 

ps -ef|grep smon

ps -ef|grep d.bin

ps -ef|grep tns

crsctl check crs 

crsctl check has

crsctl stat res -t -init 

crsctl stat res -t

crsctl start crs 

crsctl start has 

crsctl stat res -t -init

ps -ef|grep smon

ps -ef|grep d.bin

ps -ef|grep tns

crsctl check crs 

crsctl check has 

crsctl stat res -t

Bringdown entire cluster:

=========================

crsctl stop cluster -all (any one cluster node)

crsctl stop has (on all cluster nodes)

ps -ef|grep smon

ps -ef|grep d.bin

ps -ef|grep tns

crsctl check crs

crsctl check has

crsctl start has

crsctl start cluster -all

crsctl stat res -t -init

Logs:

=====

[root@hostnode1 ~]# ps -ef|grep smon

oracle   20338     1  0 23:16 ?        00:00:00 ora_smon_TEST1

root     27647     1  1 Feb04 ?        02:33:20 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle   28823     1  0 Feb04 ?        00:00:10 asm_smon_+ASM1

root     30406 17862  0 23:32 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]# olsnodes

hostnode1

hostnode2

[root@hostnode1 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4537: Cluster Ready Services is online

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online

[root@hostnode1 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                Started,STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stop crs

CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'hostnode1'

CRS-2673: Attempting to stop 'ora.crsd' on 'hostnode1'

CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on server 'hostnode1'

CRS-2673: Attempting to stop 'ora.proxy_advm' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.test.db' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.chad' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.qosmserver' on 'hostnode1'

CRS-2677: Stop of 'ora.test.db' on 'hostnode1' succeeded

CRS-33673: Attempting to stop resource group 'ora.asmgroup' on server 'hostnode1'

CRS-2673: Attempting to stop 'ora.OCR.dg' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.DATA.dg' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.RECO.dg' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_DEVDB.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN2.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN3.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.cvu' on 'hostnode1'

CRS-2677: Stop of 'ora.OCR.dg' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.DATA.dg' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.RECO.dg' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode1'

CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.LISTENER_DEVDB.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.hostnode1.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.LISTENER_SCAN3.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.scan3.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.LISTENER_SCAN2.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.scan2.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.cvu' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.hostnode1.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.scan3.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.scan2.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.asm' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode1'

CRS-2677: Stop of 'ora.qosmserver' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asmnet1.asmnetwork' on 'hostnode1'

CRS-2677: Stop of 'ora.asmnet1.asmnetwork' on 'hostnode1' succeeded

CRS-33677: Stop of resource group 'ora.asmgroup' on server 'hostnode1' succeeded.

CRS-2677: Stop of 'ora.chad' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.proxy_advm' on 'hostnode1' succeeded

CRS-2672: Attempting to start 'ora.qosmserver' on 'hostnode2'

CRS-2672: Attempting to start 'ora.scan2.vip' on 'hostnode2'

CRS-2672: Attempting to start 'ora.scan3.vip' on 'hostnode2'

CRS-2672: Attempting to start 'ora.cvu' on 'hostnode2'

CRS-2672: Attempting to start 'ora.hostnode1.vip' on 'hostnode2'

CRS-2676: Start of 'ora.cvu' on 'hostnode2' succeeded

CRS-2676: Start of 'ora.hostnode1.vip' on 'hostnode2' succeeded

CRS-2676: Start of 'ora.scan3.vip' on 'hostnode2' succeeded

CRS-2672: Attempting to start 'ora.LISTENER_SCAN3.lsnr' on 'hostnode2'

CRS-2676: Start of 'ora.scan2.vip' on 'hostnode2' succeeded

CRS-2672: Attempting to start 'ora.LISTENER_SCAN2.lsnr' on 'hostnode2'

CRS-2676: Start of 'ora.LISTENER_SCAN2.lsnr' on 'hostnode2' succeeded

CRS-2676: Start of 'ora.LISTENER_SCAN3.lsnr' on 'hostnode2' succeeded

CRS-2676: Start of 'ora.qosmserver' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.ons' on 'hostnode1'

CRS-2677: Stop of 'ora.ons' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.net1.network' on 'hostnode1'

CRS-2677: Stop of 'ora.net1.network' on 'hostnode1' succeeded

CRS-2792: Shutdown of Cluster Ready Services-managed resources on 'hostnode1' has completed

CRS-2677: Stop of 'ora.crsd' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.storage' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.crf' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.mdnsd' on 'hostnode1'

CRS-2677: Stop of 'ora.drivers.acfs' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.crf' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.storage' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode1'

CRS-2677: Stop of 'ora.mdnsd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.asm' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'hostnode1'

CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.ctssd' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.evmd' on 'hostnode1'

CRS-2677: Stop of 'ora.ctssd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.evmd' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.cssd' on 'hostnode1'

CRS-2677: Stop of 'ora.cssd' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.gipcd' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.gpnpd' on 'hostnode1'

CRS-2677: Stop of 'ora.gipcd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.gpnpd' on 'hostnode1' succeeded

CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'hostnode1' has completed

CRS-4133: Oracle High Availability Services has been stopped.

[root@hostnode1 ~]# ps -ef|grep smon

root      6920 17862  0 23:37 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep d.bin

root      7700 17862  0 23:38 pts/0    00:00:00 grep --color=auto d.bin

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep tns

root        23     2  0 Jan20 ?        00:00:00 [netns]

root      8231 17862  0 23:38 pts/0    00:00:00 grep --color=auto tns

[root@hostnode1 ~]# crsctl check crs

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode1 ~]# crsctl check has

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode1 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode1 ~]# crsctl stat res -t

CRS-4535: Cannot communicate with Cluster Ready Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep smon

root     13823 17862  0 23:40 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]# crsctl start has

CRS-4123: Oracle High Availability Services has been started.

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep smon

root     15475     1  1 23:42 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle   16065     1  0 23:42 ?        00:00:00 asm_smon_+ASM1

oracle   21033     1  0 23:43 ?        00:00:00 ora_smon_TEST1

root     21381 17862  0 23:43 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]# ps -ef|grep d.bin

root     15013     1  5 23:42 ?        00:00:06 /u01/app/19.0.0.0/grid/bin/ohasd.bin reboot

root     15160     1  1 23:42 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/orarootagent.bin

oracle   15275     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/oraagent.bin

oracle   15297     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/mdnsd.bin

oracle   15299     1  1 23:42 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/evmd.bin

oracle   15339     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/gpnpd.bin

oracle   15395 15299  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/evmlogger.bin -o /u01/app/19.0.0.0/grid/log/[HOSTNAME]/evmd/evmlogger.info -l /u01/app/19.0.0.0/grid/log/[HOSTNAME]/evmd/evmlogger.log

oracle   15438     1  0 23:42 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/gipcd.bin

root     15473     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/cssdmonitor

root     15475     1  1 23:42 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

root     15512     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/cssdagent

oracle   15535     1  3 23:42 ?        00:00:03 /u01/app/19.0.0.0/grid/bin/ocssd.bin

root     15788     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/octssd.bin reboot

root     16108     1  1 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/ologgerd -M

root     16510     1  9 23:43 ?        00:00:06 /u01/app/19.0.0.0/grid/bin/crsd.bin reboot

oracle   17045     1  2 23:43 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/oraagent.bin

root     17062     1  1 23:43 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/orarootagent.bin

oracle   18526     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr ASMNET1LSNR_ASM -no_crs_notify -inherit

oracle   18534     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/scriptagent.bin

oracle   18629 18530  0 23:43 ?        00:00:00 /bin/sh /u01/app/19.0.0.0/grid/bin/cluvfy comp healthcheck -mandatory -_format -_check_type partial

oracle   18785     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit

oracle   18833     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN3 -no_crs_notify -inherit

oracle   18840     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit

oracle   18846     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN2 -no_crs_notify -inherit

root     22250 17862  0 23:44 pts/0    00:00:00 grep --color=auto d.bin

[root@hostnode1 ~]# ps -ef|grep tns

root        23     2  0 Jan20 ?        00:00:00 [netns]

oracle   18526     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr ASMNET1LSNR_ASM -no_crs_notify -inherit

oracle   18785     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit

oracle   18788     1  0 23:43 ?        00:00:00 /u01/app/oracle/product/19.0.0.0/dbhome_1/bin/tnslsnr LISTENER_DEVDB -no_crs_notify -inherit

oracle   18833     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN3 -no_crs_notify -inherit

oracle   18846     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN2 -no_crs_notify -inherit

root     22651 17862  0 23:44 pts/0    00:00:00 grep --color=auto tns

[root@hostnode1 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4537: Cluster Ready Services is online

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online

[root@hostnode1 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode1 ~]# crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_DEVDB.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.chad

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.net1.network

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.ons

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.proxy_advm

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  OFFLINE      hostnode2                STARTING

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        ONLINE  OFFLINE                               STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.OCR.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        OFFLINE OFFLINE                               STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                Started,STABLE

      2        ONLINE  ONLINE       hostnode2                Started,STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.cvu

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode1.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode2.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.qosmserver

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan1.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan2.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan3.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.test.db

      1        ONLINE  ONLINE       hostnode1                Open,HOME=/u01/app/o

                                                             racle/product/19.0.0

                                                             .0/dbhome_1,STABLE

      2        ONLINE  OFFLINE      hostnode2                Instance Shutdown,ST

                                                             ARTING

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stop cluster -all

CRS-2673: Attempting to stop 'ora.crsd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.crsd' on 'hostnode1'

CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on server 'hostnode1'

CRS-2673: Attempting to stop 'ora.qosmserver' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.chad' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.test.db' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.proxy_advm' on 'hostnode1'

CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on server 'hostnode2'

CRS-2673: Attempting to stop 'ora.chad' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.proxy_advm' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.test.db' on 'hostnode2'

CRS-2677: Stop of 'ora.test.db' on 'hostnode2' succeeded

CRS-33673: Attempting to stop resource group 'ora.asmgroup' on server 'hostnode2'

CRS-2673: Attempting to stop 'ora.OCR.dg' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.DATA.dg' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.RECO.dg' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_DEVDB.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN1.lsnr' on 'hostnode2'

CRS-2677: Stop of 'ora.OCR.dg' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.DATA.dg' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.test.db' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_DEVDB.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN2.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN3.lsnr' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.cvu' on 'hostnode1'

CRS-2677: Stop of 'ora.RECO.dg' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER_DEVDB.lsnr' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.hostnode2.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER_SCAN1.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.scan1.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.LISTENER_SCAN3.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.scan3.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.LISTENER_SCAN2.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.scan2.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.LISTENER_DEVDB.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.hostnode1.vip' on 'hostnode1'

CRS-2677: Stop of 'ora.scan3.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.hostnode1.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.hostnode2.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.scan1.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.scan2.vip' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.cvu' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.asm' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.qosmserver' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode2'

CRS-2677: Stop of 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asmnet1.asmnetwork' on 'hostnode2'

CRS-2677: Stop of 'ora.asmnet1.asmnetwork' on 'hostnode2' succeeded

CRS-33677: Stop of resource group 'ora.asmgroup' on server 'hostnode2' succeeded.

CRS-2677: Stop of 'ora.chad' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.chad' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.proxy_advm' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.ons' on 'hostnode2'

CRS-2677: Stop of 'ora.ons' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.net1.network' on 'hostnode2'

CRS-2677: Stop of 'ora.net1.network' on 'hostnode2' succeeded

CRS-2792: Shutdown of Cluster Ready Services-managed resources on 'hostnode2' has completed

CRS-2677: Stop of 'ora.crsd' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.storage' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.evmd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.ctssd' on 'hostnode2'

CRS-2677: Stop of 'ora.storage' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.ctssd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.evmd' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode2'

CRS-2677: Stop of 'ora.proxy_advm' on 'hostnode1' succeeded

CRS-33673: Attempting to stop resource group 'ora.asmgroup' on server 'hostnode1'

CRS-2673: Attempting to stop 'ora.OCR.dg' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.DATA.dg' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.RECO.dg' on 'hostnode1'

CRS-2677: Stop of 'ora.OCR.dg' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.DATA.dg' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.RECO.dg' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode1'

CRS-2677: Stop of 'ora.asm' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode1'

CRS-2677: Stop of 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asmnet1.asmnetwork' on 'hostnode1'

CRS-2677: Stop of 'ora.asmnet1.asmnetwork' on 'hostnode1' succeeded

CRS-33677: Stop of resource group 'ora.asmgroup' on server 'hostnode1' succeeded.

CRS-2673: Attempting to stop 'ora.ons' on 'hostnode1'

CRS-2677: Stop of 'ora.ons' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.net1.network' on 'hostnode1'

CRS-2677: Stop of 'ora.net1.network' on 'hostnode1' succeeded

CRS-2792: Shutdown of Cluster Ready Services-managed resources on 'hostnode1' has completed

CRS-2677: Stop of 'ora.crsd' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.storage' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.ctssd' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.evmd' on 'hostnode1'

CRS-2677: Stop of 'ora.storage' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode1'

CRS-2677: Stop of 'ora.asm' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.ctssd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.evmd' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'hostnode2'

CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.cssd' on 'hostnode2'

CRS-2677: Stop of 'ora.cssd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.asm' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'hostnode1'

CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.cssd' on 'hostnode1'

CRS-2677: Stop of 'ora.cssd' on 'hostnode1' succeeded

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep smon

root      3477 17862  0 23:47 pts/0    00:00:00 grep --color=auto smon

root     15475     1  1 23:42 ?        00:00:05 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4535: Cannot communicate with Cluster Ready Services

CRS-4530: Communications failure contacting Cluster Synchronization Services daemon

CRS-4534: Cannot communicate with Event Manager

[root@hostnode1 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        OFFLINE OFFLINE                               STABLE

ora.cluster_interconnect.haip

      1        OFFLINE OFFLINE                               STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        OFFLINE OFFLINE                               STABLE

ora.cssd

      1        OFFLINE OFFLINE                               STABLE

ora.cssdmonitor

      1        OFFLINE OFFLINE                               STABLE

ora.ctssd

      1        OFFLINE OFFLINE                               STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        OFFLINE OFFLINE                               STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        OFFLINE OFFLINE                               STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl stop has

CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'hostnode1'

CRS-2673: Attempting to stop 'ora.crf' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.mdnsd' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.gpnpd' on 'hostnode1'

CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'hostnode1'

CRS-2677: Stop of 'ora.crf' on 'hostnode1' succeeded

CRS-2673: Attempting to stop 'ora.gipcd' on 'hostnode1'

CRS-2677: Stop of 'ora.drivers.acfs' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.gipcd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.gpnpd' on 'hostnode1' succeeded

CRS-2677: Stop of 'ora.mdnsd' on 'hostnode1' succeeded

CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'hostnode1' has completed

CRS-4133: Oracle High Availability Services has been stopped.

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# crsctl check has

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode1 ~]#

[root@hostnode1 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode1 ~]# crsctl stop cluster -all

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Stop failed, or completed with errors.

[root@hostnode1 ~]# crsctl start has

CRS-4123: Oracle High Availability Services has been started.

[root@hostnode1 ~]#

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  OFFLINE                               STABLE

ora.cluster_interconnect.haip

      1        ONLINE  OFFLINE                               STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  OFFLINE                               STABLE

ora.cssd

      1        ONLINE  OFFLINE      hostnode1                STARTING

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  OFFLINE                               STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  OFFLINE                               STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]#

[root@hostnode1 ~]#

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  OFFLINE      hostnode1                STARTING

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  OFFLINE                               STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  OFFLINE                               STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]# crsctl start cluster -all

[root@hostnode1 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode1                Started,STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode1                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode1                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode1                STABLE

--------------------------------------------------------------------------------

[root@hostnode1 ~]#

[root@hostnode1 ~]# ps -ef|grep smon

root      7495     1  1 23:50 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle    8372     1  0 23:51 ?        00:00:00 asm_smon_+ASM1

oracle   11425     1  0 23:52 ?        00:00:00 ora_smon_TEST1

root     14959 17862  0 23:52 pts/0    00:00:00 grep --color=auto smon

[root@hostnode1 ~]# crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_DEVDB.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.chad

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.net1.network

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.ons

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.proxy_advm

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        ONLINE  OFFLINE                               STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.OCR.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        OFFLINE OFFLINE                               STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                Started,STABLE

      2        ONLINE  ONLINE       hostnode2                Started,STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.cvu

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode1.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode2.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.qosmserver

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan1.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan2.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan3.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.test.db

      1        ONLINE  ONLINE       hostnode1                Open,HOME=/u01/app/o

                                                             racle/product/19.0.0

                                                             .0/dbhome_1,STABLE

      2        ONLINE  OFFLINE      hostnode2                Instance Shutdown,ST

                                                             ARTING

--------------------------------------------------------------------------------

[root@hostnode1 ~]#

[root@hostnode2 ~]#  ps -ef|grep smon

root      1420 31455  0 23:32 pts/0    00:00:00 grep --color=auto smon

root     21607     1  1 Feb04 ?        02:13:43 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle   22497     1  0 Feb04 ?        00:00:10 asm_smon_+ASM2

oracle   24160     1  0 23:16 ?        00:00:00 ora_smon_TEST2

[root@hostnode2 ~]# . oranev

-bash: oranev: No such file or directory

[root@hostnode2 ~]# . oraenv

ORACLE_SID = [root] ? +ASm2

ORACLE_HOME = [/home/oracle] ? ^C

[root@hostnode2 ~]#

[root@hostnode2 ~]# . oraenv

ORACLE_SID = [+ASm2] ? +ASM3

ORACLE_HOME = [/home/oracle] ?

ORACLE_BASE environment variable is not being set since this

information is not available for the current user ID root.

You can set ORACLE_BASE manually if it is required.

Resetting ORACLE_BASE to its previous value or ORACLE_HOME

The Oracle base has been set to /home/oracle

[root@hostnode2 ~]# . oraenv

ORACLE_SID = [+ASM3] ? +ASM2

The Oracle base has been changed from /home/oracle to /u01/app/oracle

[root@hostnode2 ~]# clear^C

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# olsnodes

hostnode1

hostnode2

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4537: Cluster Ready Services is online

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online

[root@hostnode2 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]# crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

               ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_DEVDB.lsnr

               ONLINE  ONLINE       hostnode2                STABLE

ora.chad

               ONLINE  ONLINE       hostnode2                STABLE

ora.net1.network

               ONLINE  ONLINE       hostnode2                STABLE

ora.ons

               ONLINE  ONLINE       hostnode2                STABLE

ora.proxy_advm

               ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        ONLINE  OFFLINE                               STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.OCR.dg(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                Started,STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.cvu

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.hostnode1.vip

      1        ONLINE  INTERMEDIATE hostnode2                FAILED OVER,STABLE

ora.hostnode2.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.qosmserver

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan1.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan2.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan3.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.test.db

      1        ONLINE  OFFLINE                               STABLE

      2        ONLINE  ONLINE       hostnode2                Open,HOME=/u01/app/o

                                                             racle/product/19.0.0

                                                             .0/dbhome_1,STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stop has

CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'hostnode2'

CRS-2673: Attempting to stop 'ora.crsd' on 'hostnode2'

CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on server 'hostnode2'

CRS-2673: Attempting to stop 'ora.test.db' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.qosmserver' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.proxy_advm' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.chad' on 'hostnode2'

CRS-2677: Stop of 'ora.test.db' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_DEVDB.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN1.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN2.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.LISTENER_SCAN3.lsnr' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.cvu' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.hostnode1.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.hostnode1.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.LISTENER_SCAN3.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.scan3.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER_DEVDB.lsnr' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.LISTENER_SCAN2.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.scan2.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.hostnode2.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.LISTENER_SCAN1.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.scan1.vip' on 'hostnode2'

CRS-2677: Stop of 'ora.scan3.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.scan2.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.scan1.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.hostnode2.vip' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.qosmserver' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.cvu' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.chad' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.proxy_advm' on 'hostnode2' succeeded

CRS-33673: Attempting to stop resource group 'ora.asmgroup' on server 'hostnode2'

CRS-2673: Attempting to stop 'ora.OCR.dg' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.DATA.dg' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.RECO.dg' on 'hostnode2'

CRS-2677: Stop of 'ora.DATA.dg' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.OCR.dg' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.RECO.dg' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode2'

CRS-2677: Stop of 'ora.asm' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode2'

CRS-2677: Stop of 'ora.ASMNET1LSNR_ASM.lsnr' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asmnet1.asmnetwork' on 'hostnode2'

CRS-2677: Stop of 'ora.asmnet1.asmnetwork' on 'hostnode2' succeeded

CRS-33677: Stop of resource group 'ora.asmgroup' on server 'hostnode2' succeeded.

CRS-2673: Attempting to stop 'ora.ons' on 'hostnode2'

CRS-2677: Stop of 'ora.ons' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.net1.network' on 'hostnode2'

CRS-2677: Stop of 'ora.net1.network' on 'hostnode2' succeeded

CRS-2792: Shutdown of Cluster Ready Services-managed resources on 'hostnode2' has completed

CRS-2677: Stop of 'ora.crsd' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.storage' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.crf' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.mdnsd' on 'hostnode2'

CRS-2677: Stop of 'ora.drivers.acfs' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.crf' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.storage' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.asm' on 'hostnode2'

CRS-2677: Stop of 'ora.mdnsd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.asm' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'hostnode2'

CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.ctssd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.evmd' on 'hostnode2'

CRS-2677: Stop of 'ora.ctssd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.evmd' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.cssd' on 'hostnode2'

CRS-2677: Stop of 'ora.cssd' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.gipcd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.gpnpd' on 'hostnode2'

CRS-2677: Stop of 'ora.gipcd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.gpnpd' on 'hostnode2' succeeded

CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'hostnode2' has completed

CRS-4133: Oracle High Availability Services has been stopped.

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

root     17889 31455  0 23:41 pts/0    00:00:00 grep --color=auto smon

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep tns

root        23     2  0 Jan20 ?        00:00:00 [netns]

root     17906 31455  0 23:41 pts/0    00:00:00 grep --color=auto tns

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep d.bin

oracle   17835 17834 14 23:40 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/ocrcheck.bin

root     17924 31455  0 23:41 pts/0    00:00:00 grep --color=auto d.bin

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl check crs

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode2 ~]# crsctl check has

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode2 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode2 ~]# crsctl stat res -t

CRS-4535: Cannot communicate with Cluster Ready Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl start crs

CRS-4123: Oracle High Availability Services has been started.

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  OFFLINE                               STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  OFFLINE      hostnode2                STARTING

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

root     21089     1  1 23:42 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

oracle   28626     1  0 23:44 ?        00:00:00 asm_smon_+ASM2

oracle   31321     1  0 23:44 ?        00:00:00 ora_smon_TEST2

root     31466 31455  0 23:44 pts/0    00:00:00 grep --color=auto smon

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep d.bin

root     20466     1  5 23:42 ?        00:00:08 /u01/app/19.0.0.0/grid/bin/ohasd.bin reboot

root     20684     1  2 23:42 ?        00:00:03 /u01/app/19.0.0.0/grid/bin/orarootagent.bin

oracle   20810     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/oraagent.bin

oracle   20855     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/mdnsd.bin

oracle   20858     1  0 23:42 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/evmd.bin

oracle   20899     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/gpnpd.bin

oracle   20947 20858  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/evmlogger.bin -o /u01/app/19.0.0.0/grid/log/[HOSTNAME]/evmd/evmlogger.info -l /u01/app/19.0.0.0/grid/log/[HOSTNAME]/evmd/evmlogger.log

oracle   20963     1  0 23:42 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/gipcd.bin

root     21087     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/cssdmonitor

root     21089     1  1 23:42 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

root     21127     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/cssdagent

oracle   21149     1  2 23:42 ?        00:00:03 /u01/app/19.0.0.0/grid/bin/ocssd.bin

root     21708     1  0 23:42 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/octssd.bin reboot

root     24638     1  5 23:43 ?        00:00:04 /u01/app/19.0.0.0/grid/bin/crsd.bin reboot

root     24753     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/orarootagent.bin

oracle   25930     1  1 23:43 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/oraagent.bin

oracle   25956     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit

oracle   27364     1  0 23:44 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr ASMNET1LSNR_ASM -no_crs_notify -inherit

oracle   27572     1  0 23:44 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit

root     31324 23848  0 23:44 ?        00:00:00 /bin/sh /u01/app/19.0.0.0/grid/bin/tfactl print ipaddress

root     32337 32293  0 23:44 ?        00:00:00 sh -c /bin/ps -ef | /bin/grep pmon | /bin/grep -v grep;/bin/ps -ef | /bin/grep 'ohasd.bin' | /bin/grep -v grep;/bin/ps -ef | /bin/grep 'ocssd.bin' | /bin/grep -v grep;

root     32359 31455  0 23:44 pts/0    00:00:00 grep --color=auto d.bin

[root@hostnode2 ~]# ps -ef|grep tns

root        23     2  0 Jan20 ?        00:00:00 [netns]

root       550 31455  0 23:45 pts/0    00:00:00 grep --color=auto tns

oracle   25956     1  0 23:43 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit

oracle   25958     1  0 23:43 ?        00:00:00 /u01/app/oracle/product/19.0.0.0/dbhome_1/bin/tnslsnr LISTENER_DEVDB -no_crs_notify -inherit

oracle   27364     1  0 23:44 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr ASMNET1LSNR_ASM -no_crs_notify -inherit

oracle   27572     1  0 23:44 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit

[root@hostnode2 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4537: Cluster Ready Services is online

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online

[root@hostnode2 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_DEVDB.lsnr

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.chad

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.net1.network

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.ons

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

ora.proxy_advm

               ONLINE  ONLINE       hostnode1                STABLE

               ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        ONLINE  OFFLINE                               STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.OCR.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                Started,STABLE

      2        ONLINE  ONLINE       hostnode2                Started,STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  ONLINE       hostnode1                STABLE

      2        ONLINE  ONLINE       hostnode2                STABLE

      3        OFFLINE OFFLINE                               STABLE

ora.cvu

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode1.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.hostnode2.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.qosmserver

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan1.vip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.scan2.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.scan3.vip

      1        ONLINE  ONLINE       hostnode1                STABLE

ora.test.db

      1        ONLINE  ONLINE       hostnode1                Open,HOME=/u01/app/o

                                                             racle/product/19.0.0

                                                             .0/dbhome_1,STABLE

      2        ONLINE  ONLINE       hostnode2                Open,HOME=/u01/app/o

                                                             racle/product/19.0.0

                                                             .0/dbhome_1,STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

root     11142 31455  0 23:47 pts/0    00:00:00 grep --color=auto smon

root     21089     1  1 23:42 ?        00:00:04 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4535: Cannot communicate with Cluster Ready Services

CRS-4530: Communications failure contacting Cluster Synchronization Services daemon

CRS-4534: Cannot communicate with Event Manager

[root@hostnode2 ~]# crsctl check has

CRS-4638: Oracle High Availability Services is online

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        OFFLINE OFFLINE                               STABLE

ora.cluster_interconnect.haip

      1        OFFLINE OFFLINE                               STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        OFFLINE OFFLINE                               STABLE

ora.cssd

      1        OFFLINE OFFLINE                               STABLE

ora.cssdmonitor

      1        OFFLINE OFFLINE                               STABLE

ora.ctssd

      1        OFFLINE OFFLINE                               STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        OFFLINE OFFLINE                               STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        OFFLINE OFFLINE                               STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stop has

CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'hostnode2'

CRS-2673: Attempting to stop 'ora.gpnpd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.mdnsd' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.crf' on 'hostnode2'

CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'hostnode2'

CRS-2677: Stop of 'ora.gpnpd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.drivers.acfs' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.mdnsd' on 'hostnode2' succeeded

CRS-2677: Stop of 'ora.crf' on 'hostnode2' succeeded

CRS-2673: Attempting to stop 'ora.gipcd' on 'hostnode2'

CRS-2677: Stop of 'ora.gipcd' on 'hostnode2' succeeded

CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'hostnode2' has completed

CRS-4133: Oracle High Availability Services has been stopped.

[root@hostnode2 ~]#

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl check has

CRS-4639: Could not contact Oracle High Availability Services

[root@hostnode2 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode2 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode2 ~]# crsctl stat res -t -init

CRS-4639: Could not contact Oracle High Availability Services

CRS-4000: Command Status failed, or completed with errors.

[root@hostnode2 ~]# crsctl start has

CRS-4123: Oracle High Availability Services has been started.

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  INTERMEDIATE hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]# crsctl stat res -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crf

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.crsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.ctssd

      1        ONLINE  ONLINE       hostnode2                OBSERVER,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.evmd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gipcd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.gpnpd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.mdnsd

      1        ONLINE  ONLINE       hostnode2                STABLE

ora.storage

      1        ONLINE  ONLINE       hostnode2                STABLE

--------------------------------------------------------------------------------

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

root      9498 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

root      9552 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:00 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

root     10194 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]#

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

root     10623 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

root     10773 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

root     10952 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  1 23:52 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

root     11260 31455  0 23:53 pts/0    00:00:00 grep --color=auto smon

root     21309     1  2 23:52 ?        00:00:01 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]# ps -ef|grep smon

oracle    9688     1  0 23:53 ?        00:00:00 asm_smon_+ASM2

oracle   11671     1  0 23:53 ?        00:00:00 ora_smon_TEST2

root     15992 31455  0 23:54 pts/0    00:00:00 grep --color=auto smon

root     21309     1  1 23:52 ?        00:00:02 /u01/app/19.0.0.0/grid/bin/osysmond.bin

[root@hostnode2 ~]#

Regards,

Mallikarjun