二、并修改各服务器上面的真人手机网页版: hostname,后期扩展为3台

2019-11-04 作者:联系我们   |   浏览(197)

Ceph 文件系统的安装

Ceph RBD  CephFS 存储

Ceph简介

CentOS 7.2下Ceph的安装和基本配置

yum install -y wget
wget
tar zxvf pip-1.5.6.tar.gz
cd pip-1.5.6
python setup.py build
python setup.py install
ssh-keygen

环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台)

eph的设计目标是是在廉价的存储介质上构建具有 high performance, high scalibility, high available, 提供统一存储,分文件存储,块存储,对象存储。最近看了相关文档觉得挺有意思,而且它已经能为openstack提供块存储,非常贴合主流趋势。

###ceph安装篇

#################################
#echo "ceph-admin" >/etc/hostname
#echo "ceph-node1" >/etc/hostname
#echo "ceph-node2" >/etc/hostname
#echo "ceph-node3" >/etc/hostname
#reboot
#################################

10.6.0.140 = ceph-manager

Ceph部署

一、环境

cat >/etc/hosts<<EOF
192.168.55.185 ceph-admin
192.168.55.186 ceph-node1
192.168.55.187 ceph-node2
192.168.55.188 ceph-node3
EOF

10.6.0.187 = ceph-mon-1

1、主机准备

1、主机分配

ssh-copy-id root@ceph-node1 && sh-copy-id root@ceph-node2 && ssh-copy-id root@ceph-node3

10.6.0.188 = ceph-osd-1

实验环境为VMare虚拟机机上进行实验,主要是为了对Cph有直观的认识。

osd:2台,各6块硬盘,其中2块做raid1安装系统,其他4块为数据盘

ssh root@ceph-node1 systemctl stop firewalld && setenforce 0
ssh root@ceph-node2 systemctl stop firewalld && setenforce 0
ssh root@ceph-node3 systemctl stop firewalld && setenforce 0

10.6.0.94 = node-94

第一步:准备5台主机

mon:1台,后期扩展为3台

cat >/root/.ssh/config<<EOF
Host ceph-node1
  Hostname ceph-node1
  User root
Host ceph-node2
  Hostname ceph-node2
  User root
Host ceph-node3
  Hostname ceph-node3
  User root
EOF

注: ceph 对时间要求很严格, 一定要同步所有的服务器时间

IP地址                                  主机名(Hostname)

admin:1台

 

一、在 manager 上面修改 /etc/hosts :

192.168.1.110              admin-node      (该主机用于管理,后续的ceph-deploy工具都在该主机上进行操作)

client:1台-N台

mkdir ~/my-cluster
cd ~/my-cluster
pip install ceph-deploy

10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94

192.168.1.111              node1              (监控节点)

2、操作系统及配置

ceph-deploy new ceph-node1 ceph-node2 ceph-node3
ceph-deploy install ceph-node1 ceph-node2 ceph-node3
ceph-deploy mon create-initial
ceph-deploy mon create ceph-node1 ceph-node2 ceph-node3
ceph-deploy gatherkeys ceph-node1 ceph-node2 ceph-node3

二、并修改各服务器上面的 hostname (说明:ceph-deploy工具都是通过主机名与其他节点通信)

192.168.1.112              node2              (osd.0节点)

OS:CentOS Linux release 7.2.1511

############################################################################
## ceph-deploy --overwrite-conf mon create ceph-node1 ceph-node2 ceph-node3#
############################################################################

hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94

192.168.1.113              node3                (osd.1节点)

selinux: disable

#mkfs.xfs /dev/sdb
#mount /dev/sdb /opt/ceph/

三、配置manager节点与其他节点ssh key 访问

192.168.1.114              client-node        (客服端,主要利用它挂载ceph集群提供的存储进行测试)

firewalld:disable

ssh root@ceph-node1 mkdir /opt/ceph
ssh root@ceph-node2 mkdir /opt/ceph
ssh root@ceph-node3 mkdir /opt/ceph
   
ceph-deploy osd prepare ceph-node1:/opt/ceph ceph-node2:/opt/ceph ceph-node3:/opt/ceph
ceph-deploy osd activate ceph-node1:/opt/ceph ceph-node2:/opt/ceph ceph-node3:/opt/ceph

[root@ceph-manager ~]# ssh-keygen

第二步:修改admin-node节点/etc/hosts文件,增加一下内容

二、安装

#添加metadata节点
ceph-deploy mds create ceph-node1

将key 发送到各节点中

192.168.1.111              node1

1、安装准备

###############################################################
#分发key文件
#ceph-deploy admin ceph-admin ceph-node1 ceph-node2 ceph-node3
###############################################################
#集群检查
ceph health
ceph -s
ceph -w
ceph quorum_status --format json-pretty

[root@ceph-manager ~]#ssh-copy-id ceph-mon-1
[root@ceph-manager ~]#ssh-copy-id ceph-osd-1

192.168.1.112              node2

#添加集群主机列表到所有主机的hosts文件

#客户端挂载
yum install -y ceph-fuse
mkdir /mnt/ceph

四、在manager节点安装 ceph-deploy

192.168.1.113              node3

192.168.1.241 osd1

[root@ceph-admin ~]# ceph osd pool create metadata 256 256
[root@ceph-admin ~]# ceph osd pool create data 256 256
[root@ceph-admin ~]# ceph fs new filesystemNew metadata data

[root@ceph-manager ~]#yum -y install CentOS-release-ceph
[root@ceph-manager ~]#yum makecache
[root@ceph-manager ~]#yum -y install ceph-deploy ntpdate

192.168.1.114              client-node

192.168.1.242 osd2

[root@ceph-admin ceph]# ceph fs ls
name: filesystemNew, metadata pool: metadata, data pools: [data ]

在其他各节点安装 ceph 的yum源

说明:ceph-deploy工具都是通过主机名与其他节点通信。修改主机名的命令为:hostnamectl set-hostname    "新的名字"

192.168.1.243 mon1

[root@ceph-admin ceph]# ceph mds stat
e5: 1/1/1 up {0=ceph-node1=up:active}

[root@ceph-mon-1 ~]# yum -y install centos-release-ceph
[root@ceph-mon-1 ~]# yum makecache

第三步:

192.168.1.244  admin

ceph-fuse -m 192.168.55.186:6789 /mnt/ceph

[root@ceph-osd-1 ~]# yum -y install centos-release-ceph
[root@ceph-osd-1 ~]# yum makecache

分别为5台主机存储创建用户ceph:(使用root权限,或者具有root权限)

192.168.1.245 client

####end####

五、配置ceph集群

创建用户

#集群所有主机名的修改

#添加osd节点
ssh ceph-node1
sudo mkdir /var/local/osd2
exit
[root@ceph-admin my-cluster]# ceph-deploy osd prepare ceph-node1:/var/local/osd2
[root@ceph-admin my-cluster]# ceph-deploy osd activate ceph-node1:/var/local/osd2
[root@ceph-admin my-cluster]# ceph -w
[root@ceph-admin my-cluster]# ceph -s
    cluster 8f7a79b6-ab8d-40c7-abfa-6e6e23d9a26d
    health HEALTH_OK
    monmap e1: 1 mons at {ceph-node1=192.168.55.186:6789/0}, election epoch 2, quorum 0 ceph-node1
    osdmap e13: 3 osds: 3 up, 3 in
      pgmap v38: 64 pgs, 1 pools, 0 bytes data, 0 objects
MB used, 35153 MB / 53754 MB avail
active+clean         

创建ceph 目录
[root@ceph-manager ~]#mkdir -p /etc/ceph
[root@ceph-manager ~]#cd /etc/ceph

sudo adduser -d /home/ceph -m ceph

修改 /etc/hostname 文件 后 reboot 或者

#添加monitors节点
[root@ceph-admin my-cluster]# ceph-deploy new ceph-node2 ceph-node3
[root@ceph-admin my-cluster]# ceph-deploy mon create-initial
[root@ceph-admin my-cluster]# ceph-deploy --overwrite-conf mon create ceph-node2 ceph-node3

创建监控节点:
[root@ceph-manager /etc/ceph]#ceph-deploy new ceph-mon-1

设置密码

hostnamectl set-hostname admin  #心主机名称为 admin

--------------------------------------分割线 -------------------------------------- 

执行完毕会生成 ceph.conf ceph.log ceph.mon.keyring 三个文件

sudo passwd ceph

#添加安装和管理用户所有集群主机

Ceph环境配置文档 PDF http://www.linuxidc.com/Linux/2013-05/85212.htm 

编辑 ceph.conf 增加 osd 节点数量
在最后增加:
osd pool default size = 1

设置账户权限

useradd ceph-deploy  #安装用户可以自定义

CentOS 6.3上部署Ceph http://www.linuxidc.com/Linux/2013-05/85213.htm 

使用ceph-deploy在所有机器安装ceph

echo “ceph ALL = (root) NOPASSWD:ALL” | sudo tee /etc/sudoers.d/ceph

echo mobnote | passwd ceph-deploy --stdin  # 修改用户密码

Ceph的安装过程 http://www.linuxidc.com/Linux/2013-05/85210.htm 

[root@ceph-manager /etc/ceph]# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1

sudo chomod 0440 /etc/sudoers.d/ceph

#增加sudo权限

HOWTO Install Ceph On FC12, FC上安装Ceph分布式文件系统 http://www.linuxidc.com/Linux/2013-05/85209.htm 

如果出现错误,也可以到各节点中直接 yum -y install ceph ceph-radosgw 进行安装

执行命令visudo修改suoders文件:

cat << EOF >/etc/sudoers.d/ceph-deploy

Ceph 文件系统安装 http://www.linuxidc.com/Linux/2013-05/85208.htm 

初始化监控节点

把Defaults    requiretty 这一行修改为修改  Defaults:ceph  !requiretty

ceph-deploy ALL = (root) NOPASSWD:ALL

CentOS 6.2 64位上安装Ceph 0.47.2 http://www.linuxidc.com/Linux/2013-05/85206.htm 

[root@ceph-manager /etc/ceph]# ceph-deploy mon create-initial

如果不进行修改ceph-depoy利用ssh执行命令将会出错

Defaults:ceph-deploy |requiretty

Ubuntu 12.04 Ceph分布式文件系统 http://www.linuxidc.com/Linux/2013-04/82588.htm 

osd 节点创建存储空间

2、配置admin-node与其他节点ssh无密码root权限访问其它节点。

EOF

Fedora 14上安装 Ceph 0.24 http://www.linuxidc.com/Linux/2011-01/31580.htm 

[root@ceph-osd-1 ~]# mkdir -p /opt/osd1

第一步:在admin-node主机上执行命令:

#切换用户

--------------------------------------分割线

Ceph 的详细介绍:请点这里
Ceph 的下载地址:请点这里

 本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-06/119366.htm

真人手机网页版 1

在管理节点上启动 并 激活 osd 进程

ssh-keygen

su - ceph-deploy

[root@ceph-manager ~]# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
[root@ceph-manager ~]# ceph-deploy osd activate ceph-osd-1:/opt/osd1

说明:(为了简单点命令执行时直接确定即可)

#增加ssh公钥登录其他集群主机

把管理节点的配置文件与keyring同步至其它节点

第二步:将第一步的key复制至其他节点

ssh-keygen  -b 4096 #生成公钥和密钥对,注意要输入密码

[root@ceph-manager ~]# ceph-deploy admin ceph-mon-1 ceph-osd-1

ssh-copy-id    ceph@node1

##以后每次通过admin主机操作集群时,

查看集群健康状态 (HEALTH_OK 表示OK)

ssh-copy-id    ceph@node2

##使用ssh-agent bash

[root@ceph-manager ~]# ceph health
HEALTH_OK

ssh-copy-id    ceph@node3

 ##和ssh-add 输入密码后,即可登录其他集群机器

客户端 挂载: ceph 有多种挂载方式, rbd 块设备映射, cephfs 挂载 等

ssh-copy-id    ceph@client-node

#上述生成的公钥拷贝到其他主机

注:
在生产环境中,客户端应该对应pool的权限,而不是admin 权限

同时修改~/.ssh/config文件增加一下内容:

for node in "admin osd1 osd2 mon1" ;do ssh-copy-id $node ;done

[root@ceph-manager ~]# ssh-copy-id node-94

Host    node1

# 更新系统

本文由美高梅赌堵59599发布于联系我们,转载请注明出处:二、并修改各服务器上面的真人手机网页版: hostname,后期扩展为3台

关键词: