1、在vSAN上部署Oracle RAC概述

VMware vSAN 或vSphere 会阻止多个虚拟机以读写模式打开同一个虚拟磁盘 (VMDK)，此问题与 VMFS 和 NFS 数据存储特性相关，最主要的是为了防止存储在虚拟磁盘上的数据由于大多数客户机操作系统所使用的非群集感知文件系统上出现多个写入器而受到损坏。

要启用客户机内系统（利用具有分布式写入（即多写入器）功能的群集感知文件系统），我们必须为所有适用的虚拟机和 VMDK 显示启用多写入器支持。

本文重点讨论在 VMware vSAN 上创建可共享 VMDK 和启用多写入器模式的过程。这样可允许多个虚拟机以读写模式访问同一个 VMDK，从而使客户机内共享存储群集解决方案（例如 Oracle RAC）可用。

警告：除非客户机上的应用程序能够安全地对正在访问同一个存储的多个系统进行仲裁和协调，否则请勿为任何虚拟机/VMDK 组合启用多写入器模式。为不使用客户机内群集感知文件系统的磁盘启用多写入器模式会导致数据损坏。
注意：启用多写入器模式会导致部分虚拟机操作和 vSphere 功能变得不受支持。启用多写入器模式时，请参考下表以了解操作/功能的可支持性：
2、受支持和不受支持的操作或功能

Oracle RAC使用说明：

• Oracle RAC，其中的应用程序可确保从两个或更多不同虚拟机发出的写入不会导致数据丢失
• 此配置已经过测试，并且仅在 vSphere 6.x 及更高版本上受支持。
• vSAN 6.5 及更高版本中的 vSAN iSCSI 目标支持虚拟化 Oracle RAC。对于部署在 vSAN 群集上的 Oracle RAC 虚拟机，建议使用 vSAN 本机解决方案。对于在非 vSAN 群集上运行的 Oracle RAC 虚拟机，可以在 Oracle RAC 虚拟机中将 iSCSI 启动器配置为使用 vSAN iSCSI 目标中的存储。

3、限制和要求：

• 由于 VMware vSAN 不支持原始设备映射 (RDM)，因此本文档仅适用于驻留在 vSAN 数据存储上的虚拟磁盘。
• vSAN 仅支持 vSAN 版本 6.7 U3 的 SCSI-3 永久预留。早期版本的 vSAN 不支持 SCSI-3 永久预留。但是，Oracle Clusterware 不会将 SCSI3-PR 用于 IO 防护，因此，应使用采用多写入器模式的基于主机的防护，而不是基于存储的防护。
• 在 vSAN 6.7 Patch 01 之前，使用多写入器模式时，虚拟磁盘必须为快速置零厚置备 (EZT)。在 vSAN 上创建 EZT 磁盘时，磁盘不会自动置零。如果需要置零，必须使用 vmkfstools -w 命令将所有块全部置零。有关详细信息，请参见 A virtual machine fails to power on with the error: Thin/TBZ disks cannot be opened in multiwriter mode.VMware ESX cannot open the virtual disk for clustering.(1033570)。
• 从 VMware vSAN 6.7 Patch 01 开始，vSAN 上的 Oracle RAC 不需要将共享设置为 VMDK 快速置零厚置备 (OSR = 100) 即可启用多写入器模式。共享 VMDK 为精简置备 (OSR = 0) 时即可启用多写入器模式。对于迁移到此 vSAN 6.7 Patch 01 vSAN 版本或更高版本的现有 Oracle RAC 部署，可以使用 SPBM（基于存储策略的管理）将现有存储策略从 OSR = 100 更改为 OSR = 0（如果需要，反之亦然）。这是一个在线更改，不需要停机。
• 热添加虚拟磁盘会移除多写入器标记。有关详细信息，请参见 Hot adding a virtual disk in ESXi 5.5 removes the multi-writer flag (2078540)。
• 多写入器磁盘共享受到基础文件系统的并发锁定支持的限制。最多 8 个设备可同时共享锁定。从 vSphere 6.7 Update 1 开始，将移除此限制。有关基于生成的锁定的详细信息，请参见以下注意。

注意：

最多 支持8 个 Oracle RAC 客户机可使用多写入器标记同时共享一个磁盘对象。VMware 建议使用反关联性规则，以防止加入同一 RAC 群集的多个 Oracle RAC 客户机位于同一 ESXi 主机上。

但是，从 vSphere 6 7 Update 1 开始，在多写入器中共享支持的虚拟磁盘已扩展到 8 个以上主机。“这也适用于 VMFS5/VMFS6”。为了启用此功能，您需要启用 /VMFS3/GBLAllowMW 高级配置选项，需登录到 ESXi 主机并执行以下命令：
#esxcli system settings advanced set -i 1 -o /VMFS3/GBLAllowMW
在共享环境（如裸设备映射 (RDM) 磁盘）中，您无法对超过 8 个 ESXi 主机上的虚拟机使用多写入器锁定。如果将虚拟机迁移到第九个主机，可能无法打开该主机的电源并显示错误消息“无法打开 xxxx.vmdk 或其依赖的快照之一。（用户过多）(Could not open xxxx.vmdk or one of the snapshots it depends on. (Too many users))。此修复使高级配置选项 /VMFS3/GBLAllowMW 可见。您可以使用基于生成的锁定为超过 8 个主机手动启用或禁用多写入程序锁定。

实际用例：

vSAN 6.5 及更高版本提供 vSAN iSCSI 目标功能支持，可将基于 vSAN 的存储作为 iSCSI LUN 提供给 iSCSI 启动器。如果在 Oracle RAC 物理机中配置了 iSCSI 启动器，则这些启动器可以共享 vSAN 6.5 及更高版本提供的 iSCSI LUN。有关配置 vSAN iSCSI 目标的说明，请参考 vSAN 官方文档。

使用多写入器标记启用或禁用 VMFS 提供的同步写入保护 (1034165)： https://kb.vmware.com/s/article/1034165

4、创建RAC集群，虚拟机层面（不含数据库和RAC集群层面）部署过程

创建每个 RAC 群集时，必须为该群集执行一次以下过程：在 vSAN 数据存储上配置 Oracle RAC 群集。此过程需要执行以下步骤：

• 创建虚拟机存储策略，以将其应用到用作集群共享存储的虚拟磁盘。
• 在 vSAN 6.7 Patch 01 之前，需要在快速置零模式下创建共享虚拟磁盘。从 VMware vSAN 6.7 Patch 01 开始，共享磁盘不需要针对多写入器属性进行快速置零厚置备 (EZT)。
• 将共享磁盘附加到一个或多个虚拟机
• 为虚拟机和磁盘启用多写入器模式。
• 将虚拟机存储策略应用到共享磁盘。

创建虚拟机存储策略

根据虚拟机的设计规范，您需要定义虚拟机存储策略以将其应用到 RAC 共享磁盘。
vSAN 6.7 Patch 01 和更高版本的示例存储策略：具有多写入器属性的共享 vmdk 可以进行精简置备 (OSR = 0%)

vSAN 6.7 P01 之前版本的示例存储策略：具有多写入器属性的共享 vmdk 必须进行厚置备 (OSR = 100%)

注意：

• 在本示例中，我们将虚拟机存储策略命名为“RAC”
• 对象空间预留：100%，此设置会在磁盘上预先分配所有对象的组件。仅在先前版本的 vSAN 6.7 Patch 01 中需要此项
• 从 vSAN 6.7 Patch 01 开始，共享磁盘的对象空间预留 (OSR) 可以设置为 0%
• 允许的故障数：默认设置是 1，可在另一个 vSAN　节点上提供镜像副本。此设置可对主机/硬件组件故障提供 RAID 1 保护。如对话框所示，这样将在 vSAN 数据存储上占用两倍的存储空间。
• 每个对象的磁盘带数: 默认 vSAN 策略为 1。请为此策略选择所需的磁盘带宽度。这与 RAID 0 相似。在本示例中，我们使用值 2。

有关存储策略配置选项的详细信息，请参见 VMware vSAN 文档。

将存储控制器添加到 Oracle RAC 虚拟机

注意：在每个 Oracle RAC 虚拟机上，创建类型相同并处于相同位置（SCSI 地址）的控制器。

1. 在 vSphere Web Client 中右键单击虚拟机，然后选择编辑设置。
2. 在后续窗口的底部，从新设备: 下拉菜单中选择 SCSI 控制器，然后单击添加。
3. 展开新的 SCSI 控制器条目。
4. 使总线共享模式保持为“无”，然后选择所需的类型（LSI Parallel、LSI SAS 或 Paravirtual）。
   注意：一般建议将准虚拟控制器类型用于 RAC 共享磁盘。
5. 单击确定
6. 对其余 RAC 虚拟机重复以上过程。

对于 VMware vSAN 6.7 P01 和更高版本：

在 VMware vSAN 6.7 Patch 01 之前，vSAN 上的 Oracle RAC 需要将共享 VMDK 设置为快速置零厚置备 (OSR = 100) 才能启用多写入器模式。从 VMware vSAN 6.7 P01 开始，vSAN 上的 Oracle RAC 不需要将共享 VMDK 设置为快速置零厚置备 (OSR = 100) 即可启用多写入器模式。

在第一个虚拟机上创建共享磁盘

要使用 vSphere Web Client 在第一个虚拟机上创建共享磁盘，请按照 vSphere 版本 6.5 一节中所示的步骤进行操作。
从 vSAN 6.7 Patch 01 开始，唯一的更改是共享 vmdk 无需进行快速置零厚置备 (EZT)。您可以选择将 OSR 设置为精简置备的存储策略。
其余步骤与“vSphere 版本 6.5 或更高版本，但低于 vSAN 6.7 Patch 01”一节所述相同。

对于低于 vSAN 6.7 P01 的所有 vSAN 6.5 和更高版本：
在第一个虚拟机上创建共享磁盘
从 vSphere 版本 6.5 开始，vSphere Web Client 可以选择在 vSAN 数据存储上创建快速置零厚置备磁盘 (EZT)。
注意：虚拟磁盘应添加到每个虚拟机上的相同 SCSI 位置。如果某个磁盘位于一个虚拟机上的位置 1:0，则在 Oracle RAC 中，该磁盘应位于所有虚拟机上的位置 1:0。
使用 vSphere Web Client
要使用 vSphere Web Client 在第一个虚拟机上创建共享磁盘，请执行以下操作：

1. 右键单击相应虚拟机，然后选择编辑设置。
2. 从新设备下拉菜单中选择新硬盘，然后单击添加。
3. 展开新硬盘条目，然后在磁盘置备下拉菜单中选择厚置备快速置零选项。
4. 在共享下拉菜单中，选择多写入器选项。
5. 将磁盘模式更改为独立持久。

注意：由于独立持久磁盘模式不是启用多写入器选项的硬性要求，因此，生成虚拟机快照时，默认的从属磁盘模式会导致“无法生成共享磁盘的快照 (cannot snapshot shared disk)”错误。使用独立持久磁盘模式将允许生成操作系统磁盘快照，而共享磁盘需要通过第三方供应商软件单独进行备份。

6. 根据需要修改虚拟设备节点。
7. 单击确定以保存更改。
8. （可选）由于在 vSAN 上创建的 EZT 磁盘不会自动置零，因此，在需要置零时，必须使用命令“vmkfstools -w <path-to-vmdk>”将所有块全部置零。在置零期间，请注意 vSAN 上额外的 IO 工作负载。
9. 对其余共享磁盘重复以上过程。

将共享磁盘添加到一个或多个虚拟机要使用 vSphere Web Client 将共享磁盘添加到一个或多个虚拟机，请执行以下操作：

1. 右键单击相应虚拟机，然后选择编辑设置。
2. 从新设备下拉菜单中选择现有硬盘，然后单击添加。
3. 导航到适当的目录，然后选择磁盘。
4. 单击确定。
5. 展开新硬盘条目，然后相应修改虚拟设备节点。
6. 在共享下拉菜单中，选择多写入器选项。
7. 将磁盘模式更改为独立持久。

注意：由于独立持久磁盘模式不是启用多写入器选项的硬性要求，因此，生成虚拟机快照时，默认的从属磁盘模式会导致“无法生成共享磁盘的快照 (cannot snapshot shared disk)”错误。使用独立持久磁盘模式将允许生成操作系统磁盘快照，而共享磁盘需要通过第三方供应商软件单独进行备份。

8. 单击确定以保存更改。
9. 对其余虚拟机和共享磁盘重复以上过程。

对于低于 6.5 的 vSphere 6.0 Update 1 或更高版本创建快速置零磁盘 (PowerCLI)

在 vSphere 6.0 U1 或更高版本，但低于 6.5 的版本（示例：6.0 U3）中，vSphere Web Client 无法在 vSAN 数据存储上创建快速置零磁盘。虽然 vSAN 数据存储支持快速置零磁盘，但目前未在 vSphere Web Client 中提供此功能。要适应当前版本中的此限制，我们必须使用 PowerCLI 或 ESXi 命令行来创建快速置零磁盘。本节概述了用于创建磁盘的 PowerCLI 方法，并指明这是首选方法。

1. 启动 PowerCLI 并使用 Connect-VIServer 连接到 vCenter。
   有关 PowerCLI 约定和登录等的更多指导，请参见 VMware vSphere PowerCLI Documentation。
2. 使用以下格式的 New-HardDisk cmdlet 创建新硬盘：
   New-HardDisk -VM VM_name -CapacityGB size -Datastore vSAN_datastore_name -StorageFormat EagerZeroedThick -Controller controller_name -Persistence IndependentPersistent
   例如，要在连接到 vsanDatastore 数据存储中 SCSI Controller 1 的 RAC_0 虚拟机上创建一个 10 GB 的磁盘，请运行以下命令：
   New-HardDisk -VM “RAC_0” -CapacityGB 10 -Datastore “vsanDatastore” -StorageFormat EagerZeroedThick -Controller “SCSI Controller 1” -Persistence IndependentPersistent
   存储控制器的名称将与上一节添加到虚拟机中的设备的名称相匹配。
3. （可选）由于在 vSAN 上创建的 EZT 磁盘不会自动置零，因此，在需要置零时，必须使用命令 vmkfstools -w <path-to-vmdk> 将所有块全部置零。在置零期间，请注意 vSAN 上额外的 IO 工作负载。
4. 对要创建的其余共享磁盘重复以上过程。

创建快速置零磁盘（ESXi 命令行）

在 vSphere 6.0 U1 或更高版本，但低于 6.5 的版本（示例：6.0 U3）中，vSphere Web Client 无法在 vSAN 数据存储上创建快速置零磁盘。虽然 vSAN 数据存储支持快速置零磁盘，但目前未在 vSphere Web Client 中提供此功能。要适应当前版本中的此限制，我们必须使用 PowerCLI 或 ESXi 命令行来创建快速置零磁盘。本节概述了用于创建磁盘的 ESXi 命令行方法。
注意：您必须启用对主机的本地 ESXi shell 或 SSH 访问并以特权 (root) 用户身份登录才能完成以下过程。

1. 导航到 Oracle RAC 群集中第一个虚拟机的目录：
   cd /vmfs/volumes/vsan_datastore/VM_Name
   例如：
   cd /vmfs/volumes/vsanDatastore/RAC_0
2. 使用以下 vmkfstools 命令创建要共享的快速置零厚置备虚拟磁盘：
   vmkfstools -c size -W vsan -d eagerzeroedthick `pwd`/vmdk_ile_name
   例如：
   vmkfstools -c 12G –W vsan –d eagerzeroedthick `pwd`/RAC_0_1.vmdk
3. (可选）由于在 vSAN 上创建的 EZT 磁盘不会自动置零，因此，在需要置零时，必须使用命令“vmkfstools -w <path-to-vmdk>”将所有块全部置零。在置零期间，请注意 vSAN 上额外的 IO 工作负载

vmkfstools -w `pwd`/vmdk_file_name
例如：
vmkfstools -w `pwd`/RAC_0_1.vmdk

4. 对要创建的所有共享磁盘重复步骤 2。

将共享磁盘添加到一个或多个虚拟机

创建快速置零磁盘之后，必须使用 vSphere Web Client 或 PowerCLI 将其添加到其余 RAC 虚拟机。

注意：虚拟磁盘应添加到每个虚拟机上的相同 SCSI 位置。如果某个磁盘位于一个虚拟机上的位置 1:0，则在 RAC 群集中，该磁盘应位于所有虚拟机上的位置 1:0。

使用 vSphere Web Client

要使用 vSphere Web Client 将共享磁盘添加到一个或多个虚拟机，请执行以下操作：

1. 右键单击相应的虚拟机，然后选择编辑设置。
2. 从新设备下拉菜单中选择现有硬盘，然后单击添加。
3. 导航到适当的目录，然后选择磁盘。
4. 单击确定。
5. 展开新硬盘条目，然后适当地修改虚拟设备节点。
6. 在“共享”下拉菜单中，选择多写入器选项。
7. 将磁盘模式更改为独立持久。

注意：由于独立持久磁盘模式不是启用多写入器选项的硬性要求，因此，生成虚拟机快照时，默认的从属磁盘模式会导致“无法生成共享磁盘的快照 (cannot snapshot shared disk)”错误。使用独立持久磁盘模式将允许生成操作系统磁盘快照，而共享磁盘需要通过第三方供应商软件单独进行备份。

8. 单击确定以保存更改。
9. 对其余虚拟机和共享磁盘重复以上过程。

使用 PowerCLI

1. 启动 PowerCLI 并使用 Connect-VIServer 连接到 vCenter Server。
2. 使用以下格式的 New-HardDisk cmdlet 添加现有磁盘：
   New-HardDisk -VM VM_Name -DiskPath “[datastore_name] folder/disk_file” -Controller controller_name -Persistence IndependentPersistent
   例如，要从 vsanDatastore 数据存储上的 RAC_0 文件夹中将磁盘 RAC_0_1.vmdk 添加到虚拟机 RAC_1 并将其连接到 SCSI Controller 1，请运行以下命令：
   New-HardDisk -VM RAC_1 -DiskPath “[vsanDatastore] RAC_0/RAC_0_1.vmdk” -Controller “SCSI Controller 1” -Persistence IndependentPersistent

注意：由于独立持久磁盘模式不是启用多写入器选项的硬性要求，因此，生成虚拟机快照时，默认的从属磁盘模式会导致“无法生成共享磁盘的快照 (cannot snapshot shared disk)”错误。使用独立持久磁盘模式将允许生成操作系统磁盘快照，而共享磁盘需要通过第三方供应商软件单独进行备份。

3. 对其余虚拟机和共享磁盘重复以上过程。

对于 vSphere 6.0 Update 1 之前的版本

使用 ESXi shell 为虚拟机和磁盘启用多写入器模式

无法通过 6.0 Update 1 以前的 vSphere Web Client 版本添加多写入器标记。如果未安装 vSphere 6.0 Update 1 或更高版本，请使用 ESXi shell 在适用的虚拟机和磁盘上启用多写入器模式。

注意：由于此过程涉及修改和加载虚拟机配置，因此建议向同一个 ESXi 主机注册所有 RAC 虚拟机以进行这些更改，从而不必登录到多个主机。进行这些更改后，虚拟机可以分布到整个 vSphere 群集。

1. 要为特定磁盘启用 SCSI 总线共享，请运行以下命令：
   echo ‘scsi:.sharing = “multi-writer”’ >>path_to_VMX_file
   例如，要为 vsanDatastore 数据存储上的 RAC_0 虚拟机的 SCSI 设备 1:0 启用多写入器，请运行以下命令：
   echo ‘scsi1:0.sharing = “multi-writer”’ >> /vmfs/volumes/vsanDatastore/RAC_0/RAC_0.vmx
2. 为所有适用的磁盘和虚拟机完成步骤 2，并适当地修改 SCSI 位置。例如，要共享四个磁盘，应将以下条目全部添加到适用的 VMX 文件：
   scsi1:0.sharing = "multi-writer"
   scsi1:1.sharing = "multi-writer"
   scsi1:2.sharing = "multi-writer"
   scsi1:3.sharing = "multi-writer"
3. 刷新虚拟机配置以应用更改。 使用以下命令确定要刷新的虚拟机：
   vim-cmd vmsvc/getallvms |grep -i VM_name
   例如，要列出所有注册到主机且名称中包含 RAC 的虚拟机，请运行以下命令：
   vim-cmd vmsvc/getallvms |grep -i RAC
   输出中包含虚拟机注册信息，其中 VMID 在最左列中显示。VMID 是一个简单的整数编号。刷新配置：
   vim-cmd vmsvc/reload VMID
   例如，如果其中一个 RAC 虚拟机的 VMID 是 24，请运行以下命令：
   vim-cmd vmsvc/reload 24
4. 重新加载所有适用的虚拟机。

将虚拟机存储策略应用到共享磁盘

使用上述三种方法之一创建共享磁盘并添加到所有虚拟机后，必须应用为 RAC 共享磁盘创建的存储策略。该策略必须应用到所有 RAC 虚拟机上所有适用的磁盘。

1. 在 vSphere Web Client 中，右键单击虚拟机，然后单击编辑设置。
2. 展开相应的硬盘条目。
3. 从下拉列表中选择所需的虚拟机存储策略。
4. 验证磁盘模式是否为独立持久。

注意：由于独立持久磁盘模式不是启用多写入器选项的硬性要求，因此，生成虚拟机快照时，默认的从属磁盘模式会导致“无法生成共享磁盘的快照 (cannot snapshot shared disk)“错误。使用独立持久磁盘模式将允许生成操作系统磁盘快照，而共享磁盘需要通过第三方供应商软件单独进行备份。

5. 单击确定。
6. 对所有适用的虚拟机和磁盘重复以上过程。
   注意：如果要在以后将其他存储策略应用到 RAC 共享磁盘，您必须对所有共享磁盘以及所有共享该磁盘的虚拟机执行策略更改。

本文参考VMware 官网KB：

https://kb.vmware.com/s/article/2121181?lang=zh_cn