Exadata Compute Nodes-Exadata-Oracle

计算节点基本硬件介绍

4个以太网口 (eth0用于管理网络，连接自带的CISCO交换机。eth1和eth2作为集群公有网络，分别连接客户网络的交换机，一般做了bond)

2个光纤网口 (PCIe Slot2)

2个Infiniband网口 (分别连接自带的两个Infiniband叶交换机- leaf switch，以达到冗余的目的。计算节点间的通信，以及计算节点对存储节点数据的访问皆通过此端口)

1个HBA磁盘控制器 (连接本地磁盘)

4块本地磁盘 (300/600GB，RAID1/RAID5，用来保存操作系统和Oracle软件，以及备份)

2个电源模块 (PS)

1个ILOM模块 (ILOM是主板上一个完全独立于操作系统的微型系统，供电即启动。用来监控硬件，控制电源等，ILOM (SunOracle), IMM (IBM), DRAC (DELL), ILO (HP) )

Oracle：ILOM (Integrated Lights Out Manager)
IBM ：IMM (Integrated Management Module)
Dell ：DRAC (Dell Remote Access Control)
HP：Integrated Lights-Out (ILO)

CPU
X2-2 2 x Six-Core Intel® Xeon® X5675 Processors (3.06 GHz)
X3-2 2 x Eight-Core Intel® Xeon® E5-2690 Processors (2.9 GHz)
X4-2 2 x Twelve-Core Intel® Xeon® E5-2697 v2 Processors (2.7 GHz)
X5-2 2 x Eighteen-Core Xeon® E5-2699 v3 Processors (2.3 GHz)

Disks
计算节点磁盘配置了10000RPM SAS Disks，在早期的版本(X2)中磁盘容量为300G，后来版本容量升级到了600G，不同版本中磁盘容量及热备盘情况也不一样。想查看是否安装了双系统，空间有没有被回收，可以通过reclaimdisks.sh去查看。计算节点和存储节点都安装了LSI MegaRaid HBA卡，计算节点配置了RAID1/RAID5，从而保证操作系统的安全。存储节点配置了RAID0，然后sda，sdb盘划分一部分空间做RAID1，用做操作系统，剩下空间仍为数据库使用。这样也可能发生操作系统的2块盘同时坏掉的可能，所以存储节点还配置了一块内置的USB盘/dev/sdm1

[root@dm01 ~]# /opt/oracle.SupportTools/reclaimdisks.sh -check
[INFO] This is SUN FIRE X4170 M2 SERVER machine
[INFO] Number of LSI controllers: 1
[INFO] Physical disks found: 4 (252:0 252:1 252:2 252:3)
[INFO] Logical drives found: 3
[INFO] Dual boot installation: yes
[INFO] Linux logical drive: 0
[INFO] RAID Level for the Linux logical drive: 1
[INFO] Physical disks in the Linux logical drive: 2 (252:0 252:1)
[INFO] Dedicated Hot Spares for the Linux logical drive: 0
[INFO] Global Hot Spares: 0
[INFO] Valid dual boot configuration found for Linux: RAID1 from 2 disks
[root@dm01 ~]#

RAID信息
X2-2/X3-2/X4-2 Linux and Solaris dual-boot(安装了双系统，空间还没有被回收)
    2-disk RAID 1 for Linux on images 11.2.2.3.2 and later.
    2 single-disk RAID0 as 1 mirrored zpool for Solaris on images 11.2.2.3.2 and later.

V2/X2-2/X3-2/X4-2 Linux only(如果Solaris空间已被收回)
    3-disk RAID 5 with 1 global hotspare on images 11.2.3.1.1 and earlier
    4-disk RAID 5 on images 11.2.3.2.0 and later

X2-2/X3-2/X4-2 Solaris only(如果Linux的空间被回收)
    4 single-disk RAID0 volumes configured into 2 mirrored zpool's (rpool and data), on images 11.2.2.3.2 and later

X2-8 Linux and Solaris dual-boot(安装了双系统，空间还没有被回收)
    3-disk RAID 5 with 1 global hotspare for Linux on images 11.2.3.1.0 and earlier
    4 single-disk RAID0 volumes configured into 2 mirrored zpool's (rpool and data) on images 11.2.3.1.0 and earlier
    Solaris support on X2-8 was discontinued as of image 11.2.3.1.1

X2-8 Linux only(如果Solaris空间已被收回)
    7-disk RAID 5 with 1 global hotspare on images 11.2.3.1.1 and earlier
    8-disk RAID 5 on images 11.2.3.2.0 and later

X3-8 Linux only

8-disk RAID 5

3个PCI插槽，PCIe0（LSI MegaRaid卡），PCIe1（10G网卡），PCIe2（HCA卡）

LSI MegaRaid HBA卡

(Disk Controller HBA with 512MB Battery Backed Cache)

RAID HBA卡电池BBU(Backup Battery Units)，须2年更换一次

HCA卡

InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA)
Mellanox HCA(Host Channel Adapter)
X2 和 X3 使用的基于 PCIe 2.0 的 HCA 卡。由于总线速度的限制，两个端口使用的是主备(active/passive)模式
X4 开始使用基于 PCIe 3.0 的 HCA 卡。得益于总线速度的提升，默认情况下两个端口会使用双活(active/active)模式

10Gb网卡

10GbE Ethernet SFP+ Ports (1 Dual-port 10GbE PCIe 2.0 network card based on the Intel 82599 10GbE Controller Technology

计算节点上的逻辑卷

LV        Path                   VG      LSize
LVDbOra1  /dev/VGExaDb/LVDbOra1  VGExaDb 100.00g
LVDbSwap1 /dev/VGExaDb/LVDbSwap1 VGExaDb  24.00g
LVDbSys1  /dev/VGExaDb/LVDbSys1  VGExaDb 30.00g
LVDbSys2  /dev/VGExaDb/LVDbSys2  VGExaDb 30.00g

可以通过pvs，vgs，lvs， pvdisplay， vgdisplay， lvdisplay去查看相应的信息。如果空间不够，可以通过lvextend去扩充空间。
The following example extends the logical volumes by 10 GB:
# lvextend -L +10G /dev/VGExaDb/LVDbSys1

# lvextend -L +10G /dev/VGExaDb/LVDbSys2

详见维护手册https://docs.oracle.com/cd/E50790_01/doc/doc.121/e51951/db_server.htm#DBMMN22020

有时为了安装其他第三方软件，比如ogg，dsg，我们也可以新建逻辑卷

# lvcreate -L 300G -n dsg VGExaDb
# mkfs.ext4 /dev/VGExaDb/dsg
#mkdir /dsg
#mount /dev/VGExaDb/dsg /dsg

关于LV详见http://linoxide.com/linux-how-to/lvm-configuration-linux/

下面的连接为Exadata计算节点和存储节点前端面板和后端面板示意图

Exadata Compute Nodes

相关文章

推荐文章

联系我们