ceph 集群布署案例1

---集群：HPC／LB／HA

LB：nginx/ lvs / haproxy / F5

HA：keepalived/ RHCS

LVS：Linux虚拟服务器

LVS工作模式：NAT／ TUN／ DR

---存储：

1. 块存储，如iSCSI、FC SAN

2. 文件存储，如NFS，CIFS

3. 对象存储

Ceph:

1. 它是一个分布式文件系统，可以提供块存储、文件系统存储和对象存储。但是文件存储还不非常成熟，不建议在生产环境中使用。应用的最多的形式是块存储。

2. Ceph主要组件

OSD：对象存储设备，它是ceph中唯一的真正进行数据存储的组件。通常情况下，一个OSD进程绑定到一块物理磁盘。

MON：Monitor监视器，跟踪整个集群的健康状态。它为每个ceph组件维护一个映射表。MON进程数目是奇数，如3、5、7……

MDS：元数据服务器。为ceph文件系统存储提供元数据，如果不是文件系统存储则不需要。

元数据：描述数据的数据。如一本书的出版社、页数、作者、出版时间等都是元数据。

RADOS：可靠自主的分存式对象存储。RADOS保证CEPH中的各种数据都是对象形式，操持CEPH的一致性。

RBD：为客户端提供块存储接口

RADOSGW：为客户端提供对象存储接口

CEPHFS：为客户端提供文件系统存储接口

CEPH环境搭建

1. 创建5台虚拟机

node1.tedu.cn` 192.168.4.1

node2.tedu.cn 192.168.4.2

node3.tedu.cn 192.168.4.3

node4.tedu.cn 192.168.4.4

client.tedu.cn 192.168.4.10

2、启动虚机

[root@room8pc16kvms_ansi]# for vm in rh7_node{1..5}

>do

>virsh start $vm

>done

3. 在物理主机上配置CEPH的YUM源

[root@room8pc16cluster]# mkdir /var/ftp/ceph/

[root@room8pc16cluster]# tail -1 /etc/fstab

/ISO/rhcs2.0-rhosp9-20161113-x86_64.iso/var/ftp/ceph iso9660 defaults 0 0

[root@room8pc16cluster]# mount -a

[root@room8pc16~]# vim server.repo

[rhel7.4]

name=rhel7.4

baseurl=ftp://192.168.4.254/rhel7.4

enabled=1

gpgcheck=0

[mon]

name=mon

baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/MON

enabled=1

gpgcheck=0

[osd]

name=osd

baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/OSD

enabled=1

gpgcheck=0

[tools]

name=tools

baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/Tools

enabled=1

gpgcheck=0