简介:

通过openfiler软件模拟共享存储，然后在本地安装Oracle12C RAC方便自己学习！真实还原在生产环境上安装的过程.

规划说明：

本次实验使用VM+Openfiler+Oracle linux6.8 + Oracle 12C R2 + ASM

除了最后的验证只需要在1台服务器上执行，其他的操作都需要在2台服务器上执行一遍！ASM磁盘只需要在一台服务器上创建，另一台服务器只要执行扫描操作！

软件包：

openfileresa-2.99.1-x86_64-disc1.iso

OracleLinux-R6-U8-Server-x86_64-dvd.iso

linuxx64_12201_grid_home.zip

linuxx64_12201_database.zip

环境准备说明：

openfiler：172.30.30.94

rac1：172.30.30.95(需要配置2块网卡)

rac2：172.30.30.96(需要配置2块网卡)

单个数据库服务器为2块网卡，内存最好是大于8G(小于8G也可以用，但是可能会影响性能)，swap 16G，其他的根据需求自行决定！

openfiler会准备3块30G磁盘，1块100G磁盘，1块80G磁盘(具体看个人实际情况来定)

服务器准备

openfiler的安装略过（默认已经安装好，磁盘映射已经做好），Oracle Linux的安装略过！在安装Oracle Linux的时候可以选择最小化或者其他，区别只是包的多少问题，后期可以通过yum按需安装！

服务器关于YUM配置简单说明：

在VM中将iso配置好并且状态为已经连接，然后在linux上挂载并配置yum源，如下：

mount /dev/cdrom /mnt/

[root@rac1 yum.repos.d]# cat dvd.repo

[dvd]

name=CentOS-$releasever - Base

baseurl=file:///mnt

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

如果是其它版本linux(CentOS，RedHat)，在yum.repos.d目录下可能存在其他repo文件，可以选择将这些文件重命名(mv)

服务器基础配置

1.编辑selinux

vi /etc/selinux/config

SELINUX=disabled

2.配置防火墙

iptables -F

chkconfig iptables off

3.配置postfix

chkconfig postfix off

4.配置NTP

使用Oracle 自带的时间同步，需要将ntp的配置文件重命名，即禁用NTP服务

mv /etc/ntp.conf /etc/ntp.conf.bak

chkconfig ntpd off

为了方便，配置完成后重启服务器！！！

磁盘处理

通过iscsi服务，扫描从openfiler映射过来的磁盘并挂载到本地。

1.需要安装的额外包：

yum install iscsi-initiator-utils

2.发现磁盘：

iscsiadm -m discovery -t sendtargets -p 172.30.30.94:3260

3.挂载磁盘：

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr01 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr02 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr03 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.data01 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.fra01 -p 172.30.30.94:3260 -l

查询当前会话的iscsi 连接：

iscsiadm -m node session

4.使用多路径软件(multipath)将磁盘路径做聚合

一般在生产环境中,通过存储映射过来的磁盘都会有多条路径(一般光纤线等会做冗余处理)。

多路径软件安装：

yum install device-mapper-multipath

启动multipath守护进程:

mpathconf --enable --with_multipathd y

chkconfig multipathd on

修改配置文件：

vi /etc/multipath.conf

找到最后的blacklist 中添加本地的设备（排除用来安装操作系统的盘）

blacklist｛

devnode "^sda"

｝

查看链路是否整合了

multipath -ll

查看操作系统上是否存在这些设备：

ls -l /dev/mapper

如果配置都正确，但是没有出现文件，请直接重启操作系统！

5.磁盘分区

使用fdisk将新的磁盘进行分区

软件包配置

如果自行安装系统rpm包，需要检查是否有下列rpm包：

rpm -q binutils elfutils-libelf elfutils-libelf-devel compat-libstdc++-33 gcc gcc-c++ glibc glibc-devel glibc-common libgcc libstdc++ libstdc++-devel libaio libaio-devel make sysstat unixODBC unixODBC-devel compat-db control-center glibc-headers libcap libcap-devel compat-libcap1

如果没有使用yum安装即可！！！

CVU软件包安装：(需要grid软件包解压后，安装)

该rpm包在在grid安装介质中 ./cv/rpm/cvuqdisk-1.0.10-1.rpm

rpm -ivh cvuqdisk-1.0.10-1.rpm

配置网络

配置/etc/hosts

# Public Network - (eth0)

172.30.30.95 rac1.zhouheiya.cn rac1

172.30.30.96 rac2.zhouheiya.cn rac2

# Private Interconnect - (eth1)

192.168.109.95 rac1-priv.zhouheiya.cn rac1-priv

192.168.109.96 rac2-priv.zhouheiya.cn rac2-priv

# Public Virtual IP (VIP) addresses

172.30.30.105 rac1-vip.zhouheiya.cn rac1-vip

172.30.30.106 rac2-vip.zhouheiya.cn rac2-vip

# Single Client Access Name (SCAN)

172.30.30.200 rac-zhy-scan

配置用户，组和目录

groupadd --gid 503 oinstall

groupadd --gid 504 dba

groupadd --gid 505 asmadmin

groupadd --gid 506 asmdba

groupadd --gid 507 asmoper

groupadd --gid 508 oper

useradd -u 501 -g oinstall -G dba,asmadmin,asmdba,asmoper grid

useradd -u 502 -g oinstall -G dba,oper,asmdba oracle

mkdir -p /u01/app/grid

mkdir -p /u01/app/12.2.0/grid

mkdir -p /u01/app/oracle

chown -R grid:oinstall /u01

chown oracle:oinstall /u01/app/oracle

chmod -R 775 /u01

配置内核参数

1. vi /etc/sysctl.conf

kernel.shmmni =4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range= 9000 65000

net.core.rmem_default = 1048576

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

fs.aio-max-nr= 1048576

执行sysctl -p使得参数生效

sysctl -p

通常情况，这2个参数在文件是存在的，使用默认即可，如果比默认大，可自行修改

kernel.shmmax kernel.shmall

2.vi /etc/security/limits.conf 加入下列内容

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft stack 10240

oracle hard memlock 3145728

oracle soft memlock 3145728

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

grid hard stack 32768

grid soft stack 10240

3.vi /etc/pam.d/login 加入下列内容

session required pam_limits.so

4. vi /etc/profile

#new add

if [ $USER = "oracle" ] || [ $USER = "grid" ] ; then

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

5.vi /etc/sysconfig/network

NOZEROCONF=yes

环境变量配置

Grid用户：

vi .bash_profile

#new add

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/12.2.0/grid

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

export ORACLE_SID=+ASM1

umask 022

stty erase ^h

Oracle 用户：

#new add

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app/oracle/product/12.2.0/db_1

export ORACLE_SID=racdb1

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

umask 022

stty erase ^h

配置安全shell和用户限制

配置ssh无密码连接：可以手工创建也可以在OUI界面配置用户等效性！！

手工配置：

使用命令行配置：(oracle图形界面使用的rsa形式)

ssh-keygen -t rsa

ssh-copy-id -i id_rsa.pub rac2

ssh rac2 date

在grid和oracle用户下都需要配置！！

ASM配置

1. 说明

12C R2相比前一版本，OCR的磁盘占用需求有了明显增长,OCR+VOLTING+MGMT存储通常放到一个磁盘组，且选择Normal的冗余方式

OCR ： Normal

ocr01 30G

ocr02 30G

ocr03 30G

DATA: External 100G

FRA : External 80G

使用到的rpm包（操作系统版本不同，对应的安装不同）

kernel-2.6.32-754.30.2.el6.x86_64.rpm ---先装！！

oracleasm-support-2.1.8-1.el6.x86_64.rpm

oracleasmlib-2.0.4-1.el6.x86_64.rpm

kmod-oracleasm-2.0.8-16.1.el6_10.x86_64.rpm

安装有先后，如果顺序不同，会缺少依赖包，具体可以看报错信息，然后调整顺序！

2.ASM磁盘配置(2台服务器都要执行)：

[root@rac1 ~]# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library

driver. The following questions will determine whether the driver is

loaded on boot and what permissions it will have. The current values

will be shown in brackets ('[]'). Hitting <ENTER> without typing an

answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: grid

Default group to own the driver interface []: asmadmin

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

Initializing the Oracle ASMLib driver: [ OK ]

Scanning the system for Oracle ASMLib disks: [ OK ]

[root@rac1 ~]# /usr/sbin/oracleasm init

Creating /dev/oracleasm mount point: /dev/oracleasm

Loading module "oracleasm": oracleasm

Mounting ASMlib driver filesystem: /dev/oracleasm

3.ASM磁盘创建(1台服务器上执行)：

/usr/sbin/oracleasm createdisk ocr01 /dev/mapper/mpathap1

/usr/sbin/oracleasm createdisk ocr02 /dev/mapper/mpathbp1

/usr/sbin/oracleasm createdisk ocr03 /dev/mapper/mpathcp1

/usr/sbin/oracleasm createdisk ZHY_DATA /dev/mapper/mpathdp1

/usr/sbin/oracleasm createdisk ZHY_FRA /dev/mapper/mpathep1

4.检查ASM磁盘

/usr/sbin/oracleasm scandisks ---扫描磁盘

/usr/sbin/oracleasm listdisks ---列出磁盘

至此配置完成，以上步骤需要在2台服务器上都操作一遍，使得2台配置一模一样！！

集群验证检查

在正式图形化安装之前，可以做个检查，通过生成的日志，检查是否满足所有需求

网络检查：

runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose -r 12.2

验证集群是否准备好安装CRS：

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -r 12.2

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose >>test.log

检验出来的结果如果有关于swap 或者 /etc/resolv.conf 的failed ，可以忽略！！！！

关于Xmanager使用

一般都会缺少下面相关包：

yum install xterm xorg-x11*

The X11 forwarding request was rejected!

rpm -qa|grep gdm

如果没有安装，则执行yum install -y gdm安装!

(也可能环境不一样，缺少的rpm包不一样，仅供参考)