&>&ceph 安装部署
ceph 安装部署
上传大小：3KB
ceph 安装部署
一：简介 1 二：部署环境介绍 1 三：集群配置准备工作 2 四：安装ceph软件包 6 五：安装ceph对象网关 9 六、搭建ceph集群 10 6.1、配置mon节点 10 6.2：添加osd节点 13 6.2.1、添加第一块osd节点 13 6.3：添加元数据.
综合评分：0（0位用户评分）
下载个数：8
{%username%}回复{%com_username%}{%time%}\
/*点击出现回复框*/
$(".respond_btn").on("click", function (e) {
$(this).parents(".rightLi").children(".respond_box").show();
e.stopPropagation();
$(".cancel_res").on("click", function (e) {
$(this).parents(".res_b").siblings(".res_area").val("");
$(this).parents(".respond_box").hide();
e.stopPropagation();
/*删除评论*/
$(".del_comment_c").on("click", function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_invalid/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parents(".conLi").remove();
alert(data.msg);
$(".res_btn").click(function (e) {
var q = $("#form1").serializeArray();
console.log(q);
var res_area_r = $.trim($(".res_area_r").val());
if (res_area_r == '') {
$(".res_text").css({color: "red"});
$.post("/index.php/comment/do_comment_reply/", q,
function (data) {
if (data.succ == 1) {
var $target,
evt = e || window.
$target = $(evt.target || evt.srcElement);
var $dd = $target.parents('dd');
var $wrapReply = $dd.find('.respond_box');
console.log($wrapReply);
var mess = $(".res_area_r").val();
var str = str.replace(/{%header%}/g, data.header)
.replace(/{%href%}/g, 'http://' + window.location.host + '/user/' + data.username)
.replace(/{%username%}/g, data.username)
.replace(/{%com_username%}/g, _username)
.replace(/{%time%}/g, data.time)
.replace(/{%id%}/g, data.id)
.replace(/{%mess%}/g, mess);
$dd.after(str);
$(".respond_box").hide();
$(".res_area_r").val("");
$(".res_area").val("");
$wrapReply.hide();
alert(data.msg);
}, "json");
/*删除回复*/
$(".rightLi").on("click",'.del_comment_r', function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_comment_del/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parent().parent().parent().parent().parent().remove();
$(e.target).parents('.res_list').remove()
alert(data.msg);
//填充回复
function KeyP(v) {
$(".res_area_r").val($.trim($(".res_area").val()));
评论共有0条
审核通过送C币
电子书《Linux Perf Master》
创建者：zijingshanke
创建者：lijunhu
创建者：chenhongxin
上传者其他资源上传者专辑
s3接口并发测试工具－上传与下载并发测试
autoload与namespace实例
ceph s3管理接口 php python
Redhat 使用CentOS的yum源进行升级或软件安装
jQuery Simple Tree Ajax无限级树形菜单插件php版
操作系统热门标签
VIP会员动态
CSDN下载频道资源及相关规则调整公告V11.10
下载频道用户反馈专区
下载频道积分规则调整V1710.18
spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip
资源所需积分/C币
当前拥有积分
当前拥有C币
为了良好体验，不建议使用迅雷下载
ceph 安装部署
会员到期时间：
剩余下载个数：
剩余C币：593
剩余积分：0
为了良好体验，不建议使用迅雷下载
积分不足！
资源所需积分/C币
当前拥有积分
您可以选择
程序员的必选
绿色安全资源
资源所需积分/C币
当前拥有积分
当前拥有C币
(仅够下载10个资源)
为了良好体验，不建议使用迅雷下载
资源所需积分/C币
当前拥有积分
当前拥有C币
为了良好体验，不建议使用迅雷下载
资源所需积分/C币
当前拥有积分
当前拥有C币
您的积分不足，将扣除 10 C币
为了良好体验，不建议使用迅雷下载
你当前的下载分为234。
你还不是VIP会员
开通VIP会员权限，免积分下载
你下载资源过于频繁，请输入验证码
你下载资源过于频繁，请输入验证码
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
若举报审核通过，可奖励20下载分
被举报人：
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：
ceph 安装部署安装（快速） & Ceph Documentation
Navigation
安装（快速）
步骤一：预检在部署 Ceph 存储集群之前，需要对 和 进行一些基本的配置，你也可以加入 Ceph 社区以寻求帮助。
步骤二：存储集群完成预检之后，你就可以开始部署 Ceph 存储集群了。
步骤三： Ceph 客户端大多数 Ceph 用户不会直接往 Ceph 存储集群里存储对象，他们通常会使用 Ceph 块设备、 Ceph 文件系统、或 Ceph 对象存储这三大功能中的一个或多个。
Navigation> 博客详情
摘要: 本文描述了ceph集群如何从Firefly版升级到Hammer版的升级过程。
单机上部署了Firefly版的Ceph集群，其中包括：mon（一个）、osd（三个）和mds（一个）。单机上使用的操作系统是ubuntu-14.04-server-amd64版。此次升级的要求是数据不能丢失且不能停机升级。
由于当前Firefly版本使用的是mkcephfs部署的，而新版本的ceph已经用ceph-deploy代替了mkcephfs，因此在Hammer版本中已经没有了mkcephfs。升级部署可以使用ceph-deploy工具进行升级，也可以通过包管理的方法进行升级。这里我才用ceph-deploy工具进行升级。
具体升级操作流程如下：
1、安装ceph-deploy工具。
&&&&1）更新新版本的软件源。
&&&&&&&&＃wget -q -O- '/git/?p=ceph.a=blob_f=keys/release.asc' | sudo apt-key add -
&&&&&&&&#apt-add-repository 'deb /debian-hammer/ trusty main'
&&&&&&&&#echo deb /debian-hammer/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
&&&&2）更新ceph-deploy。
&&&&&&&&#pip install -U ceph-deploy
2、更新monitor节点。
&&&&1）更新ceph集群中的所有monitor节点的ceph版本。
&&&&&&&&由于我的集群都部署在一台设备上了，所以此处的更新就是整个Ceph集群的更新
&&&&&&&&#ceph-deploy install --release hammer ceph0
&&&&2）重新启动每一个monitor节点。
&&&&&&&&#/etc/init.d/ceph restart mon
&&&&3）查看monitor节点的启动情况。
&&&&&&&&#ceph mon stat
e1: 1 mons at {a=192.168.250.58:6789/0}, election epoch 1, quorum 0 a
3、更新OSD节点。
&&&&1）更新ceph集群中的所有osd节点的ceph版本。
&&&&&&&&#ceph-deploy install --release hammer ceph0
&&&&2）重新启动每一个osd节点。
&&&&&&&&#/etc/init.d/ceph restart osd
&&&&3）查看osd节点的启动情况。
&&&&&&&&#ceph osd stat
& &&osdmap e191: 3 osds: 3 up, 3 in
4、更新MDS节点。
&&&&1）更新ceph集群中的所有mds节点的ceph版本。
&&&&&&&&#ceph-deploy install --release hammer ceph0
&&&&2）重新启动每一个mds节点。
&&&&&&&&#/etc/init.d/ceph restart mds
&&&&3）查看mds节点的启动情况。
&&&&&&&&#ceph mds stat
e27: 1/1/1 up {0=0=up:active}
5、查看当前ceph集群的版本号。
&&&&#ceph --verison
ceph version 0.94.5 (23e0bf7304401fee43)
&&&&此处可以看到ceph已经成功升级到了Hammer版本。
6、查看当前ceph集群的运行情况。
&&&&#ceph -s&
cluster efe9-4dfc-947f-ad9
&& & health HEALTH_WARN
& & & & & & too many PGs per OSD (2760 & max 300)
&& & monmap e1: 1 mons at {a=192.168.250.58:6789/0}
& & & & & & election epoch 1, quorum 0 a
&& & mdsmap e27: 1/1/1 up {0=0=up:active}
&& & osdmap e190: 3 osds: 3 up, 3 in
& & & pgmap v60 pgs, 21 pools, 27263 MB data, 18280 objects
& & & & & & 85251 MB used, 1589 GB / 1672 GB avail
& & & & & & & & 2760 active+clean
&&&&此时可以看到Ceph当前的状态是HEALTH_WARN状态。问题出在ceph集群默认每个OSD上最多只能有300个PGs，而当前的系统上有多达2760个PGs（在Firefly版本上并没有给出上述的HEALTH_WARN状态，而是升级到Hammer版后才给出的提示）。
&&&&针对这个问题，我的解决方案是修改ceph配置文件中关于关于没有OSD最多可以配置的PGs数量来解决这个问题。在ceph.conf的[mon]节点下添加mon pg warn max per osd = 4096。保存ceph.conf后重新启动ceph monitor节点，之后再使用ceph -s查看当前ceph集群的状态时，一切就都正常了。
&&&&#ceph -s&
cluster efe9-4dfc-947f-ad9
&& & health HEALTH_OK
&& & monmap e1: 1 mons at {a=192.168.250.58:6789/0}
& & & & & & election epoch 1, quorum 0 a
&& & mdsmap e27: 1/1/1 up {0=0=up:active}
&& & osdmap e191: 3 osds: 3 up, 3 in
& & & pgmap v60 pgs, 21 pools, 27263 MB data, 18280 objects
& & & & & & 85245 MB used, 1589 GB / 1672 GB avail
& & & & & & & & 2760 active+clean
ceph集群从Firefly版升级到Hammer版需要注意的问题有：
1、monitor访问权限中一定要添加caps mon 'allow *'到/var/lib/ceph/mon/ceph-a/keyring中；
2、集群一定要使用默认的路径，即：/var/lib/ceph
支付宝支付
微信扫码支付
打赏金额: ￥
已支付成功
打赏金额: ￥在CentOS 7上安装分布式存储系统Ceph
作者:51cto
关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil
读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储(Block
Storage)和分布式对象存储(Object Storage)，现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph
现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.
Ceph 提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：
ceph-cluster
我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph
现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。
硬件环境准备
准备了6台机器，其中3台物理服务器做监控节点(mon: ceph-mon1, ceph-mon2,
ceph-mon3)，2台物理服务器做存储节点(osd: ceph-osd1, ceph-osd2)，1台虚拟机做管理节点(adm:
ceph-adm)。
Ceph 要求必须是奇数个监控节点，而且最少3个(自己玩玩的话，1个也是可以的)，ceph-adm 是可选的，可以把 ceph-adm 放在
monitor 上，只不过把 ceph-adm 单独拿出来架构上看更清晰一些。当然也可以把 mon 放在 osd 上，生产环境下是不推荐这样做的。
ADM 服务器硬件配置比较随意，用1台低配置的虚拟机就可以了，只是用来操作和管理 C
MON 服务器2块硬盘做成 RAID1，用来安装操作系统;
OSD 服务器上用10块 4TB 硬盘做 Ceph 存储，每个 osd 对应1块硬盘，每个 osd 需要1个 Journal，所以10块硬盘需要10个
Journal，我们用2块大容量 SSD 硬盘做 journal，每个 SSD 等分成5个区，这样每个区分别对应一个 osd 硬盘的
journal，剩下的2块小容量 SSD 装操作系统，采用 RAID1.
配置列表如下：
软件环境准备
所有 Ceph 集群节点采用 CentOS 7.1 版本(CentOS-7-x86_64-Minimal-1503-01.iso)，所有文件系统采用
Ceph 官方推荐的 xfs，所有节点的操作系统都装在 RAID1 上，其他的硬盘单独用，不做任何 RAID.
安装完 CentOS 后我们需要在每个节点上(包括 ceph-adm 哦)做一点基本配置，比如关闭 SELINUX、打开防火墙端口、同步时间等：
在每台 osd 服务器上我们需要对10块 SAS 硬盘分区、创建 xfs 文件系统;对2块用做 journal 的 SSD
硬盘分5个区，每个区对应一块硬盘，不需要创建文件系统，留给 Ceph 自己处理。
上面的命令行要对10个硬盘处理，重复的操作太多，以后还会陆续增加服务器，写成脚本 parted.sh 方便操作，其中
/dev/sda|b|d|e|g|h|i|j|k|l 分别是10块硬盘，/dev/sdc 和 /dev/sdf 是用做 journal 的 SSD：
在 ceph-adm 上运行 ssh-keygen 生成 ssh key 文件，注意 passphrase 是空，把 ssh key 拷贝到每一个
Ceph 节点上：
在 ceph-adm 上登陆到每台节点上确认是否都能无密码 ssh 了，确保那个烦人的连接确认不会再出现：&
比起在每个 Ceph 节点上手动安装 Ceph，用 ceph-deploy 工具统一安装要方便得多：
创建一个 ceph 工作目录，以后的操作都在这个目录下面进行：
初始化集群，告诉 ceph-deploy 哪些节点是监控节点，命令成功执行后会在 ceph-cluster 目录下生成 ceph.conf,
ceph.log, ceph.mon.keyring 等相关文件：
在每个 Ceph 节点上都安装 Ceph：
初始化监控节点：
查看一下 Ceph 存储节点的硬盘情况：
初始化 Ceph 硬盘，然后创建 osd 存储节点，存储节点:单个硬盘:对应的 journal 分区，一一对应：
最后，我们把生成的配置文件从 ceph-adm 同步部署到其他几个节点，使得每个节点的 ceph 配置一致：
看一下配置成功了没?
增加 PG 数目，根据 Total PGs = (#OSDs * 100) / pool size 公式来决定 pg_num(pgp_num 应该设成和
pg_num 一样)，所以 20*100/2=1000，Ceph 官方推荐取最接近2的指数倍，所以选择 1024。如果顺利的话，就应该可以看到
HEALTH_OK 了：
更详细一点：
如果操作没有问题的话记得把上面操作写到 ceph.conf 文件里，并同步部署的各节点：
如果一切可以从来
部署过程中如果出现任何奇怪的问题无法解决，可以简单的删除一切从头再来：
Troubleshooting
如果出现任何网络问题，首先确认节点可以互相无密码 ssh，各个节点的防火墙已关闭或加入规则：
初次安装 Ceph 会遇到各种各样的问题，总体来说排错还算顺利，随着经验的积累，今年下半年将会逐步把 Ceph 加入到生产环境。
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料，全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与，TechWeb官方微博期待您的关注。
↑扫描二维码
想在手机上看科技资讯和科技八卦吗？想第一时间看独家爆料和深度报道吗？请关注TechWeb官方微信公众帐号：1.用手机扫左侧二维码；2.在添加朋友里，搜索关注TechWeb。
前不久OPPO发布了R11s手机，这款产品是该品牌旗下的首款全面屏幕手机，今天上午10点将...
小米MIX系列产品是国内最早关注全面屏幕的产品，不过第一代产品并不是18：9的比例，第...
HTC在手机领域也算是元老级的人物了，当年的首款Android系统手机就是HTC联合谷歌推出...
监管文件显示，科斯罗萨西周四通知纽约时报公司董事会，他将因为出任Uber的新职位而卸...
北京时间10月30日早间消息，Uber上周五宣布任命一名新的首席法务官，帮助该公司应对诸...
一名美国法官已责令进行一项新的审判，目的是判定三星应因其抄袭苹果公司iPhone外观设...
财大气粗的腾讯再次出手了，这次下手的可是Snapchat。昨天，Snap官方宣布腾讯再次选择...
Chromium 传教士 Fran?ois Beaufort 刚刚在 Google+ 上透露：chrome://gpu 内部页面...
据Techcrunch报道，Facebook周四宣布推出社区助力（ Community Boost）项目。Facebook...
阴阳师荒骷髅小兵真假如何判断，小兵先击杀那一个。封魔之时的新boss已经上线了，......
炉石传说本周乱斗大召唤师角逐赛标准模式卡组怎么搭配？这个是目前新上线的本周乱斗的......
在荒野行动中空投是重要的一项补给品，每当空投掉落下来，那块区域就成了兵家必争之地......
《绝地求生大逃杀》中的四排是需要有一些战术策略的，这样团队合作才能发挥出较好的效......
Copyright (C)
All rights reserved.
请选择一张图片分享
要转发到新浪微博，请
要转发到QQ空间，请1395人阅读
ceph工具部署（6）
ceph 操作（11）
1. 安装ceph
ceph官方为一些常用平台编译了rpm包，对于Centos7，可到此下载：
根据你需要的功能而定，一般不需要全部下载，我下载了下列rpm：
ceph-12.1.3-0.el7.x86_64.rpm
ceph-base-12.1.3-0.el7.x86_64.rpm
ceph-common-12.1.3-0.el7.x86_64.rpm
ceph-mds-12.1.3-0.el7.x86_64.rpm
ceph-mgr-12.1.3-0.el7.x86_64.rpm
ceph-mon-12.1.3-0.el7.x86_64.rpm
ceph-osd-12.1.3-0.el7.x86_64.rpm
ceph-radosgw-12.1.3-0.el7.x86_64.rpm
ceph-selinux-12.1.3-0.el7.x86_64.rpm
libcephfs2-12.1.3-0.el7.x86_64.rpm
librados2-12.1.3-0.el7.x86_64.rpm
librados-devel-12.1.3-0.el7.x86_64.rpm
libradosstriper1-12.1.3-0.el7.x86_64.rpm
libradosstriper-devel-12.1.3-0.el7.x86_64.rpm
librbd1-12.1.3-0.el7.x86_64.rpm
librgw2-12.1.3-0.el7.x86_64.rpm
python-cephfs-12.1.3-0.el7.x86_64.rpm
python-rados-12.1.3-0.el7.x86_64.rpm
python-rbd-12.1.3-0.el7.x86_64.rpm
python-rgw-12.1.3-0.el7.x86_64.rpm
rpm -hiv librados2-12.1.3-0.el7.x86_64.rpm
rpm -hiv python-rados-12.1.3-0.el7.x86_64.rpm
rpm -hiv librbd1-12.1.3-0.el7.x86_64.rpm
rpm -hiv python-rbd-12.1.3-0.el7.x86_64.rpm
rpm -hiv libcephfs2-12.1.3-0.el7.x86_64.rpm
rpm -hiv python-cephfs-12.1.3-0.el7.x86_64.rpm
rpm -hiv librgw2-12.1.3-0.el7.x86_64.rpm
rpm -hiv librados-devel-12.1.3-0.el7.x86_64.rpm
rpm -hiv libradosstriper1-12.1.3-0.el7.x86_64.rpm
rpm -hiv libradosstriper-devel-12.1.3-0.el7.x86_64.rpm
rpm -hiv python-rgw-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-common-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-selinux-12.1.3-0.el7.x86_64.rpm
ceph-base-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-osd-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-mon-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-mds-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-mgr-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-12.1.3-0.el7.x86_64.rpm
rpm -hiv ceph-radosgw-12.1.3-0.el7.x86_64.rpm
2. 单机部署
本例子在node2上手动部署一个单机ceph集群：testcluster。本机器有两个网卡：192.168.100.132和192.168.73.132，分别做集群的public network和cluster network。另外，本机器有三块磁盘，用做OSD。
为了看清楚集群名的作用，我没有使用默认的集群名ceph，而是使用testcluster作为集群名。很多命令都有一个--cluster {cluster-name}选项，并根据此全选项来找到配置文件{cluster-name}.conf。不指定时，命令就使用默认集群名ceph，因此，多数情况下，我们的配置文件为ceph.conf，命令中也不用特意加上 --cluster ceph选项。
另外，为了方便，我使用root用户。
基于上面两个原因，我需要修改一下这些systemctl配置文件：
/usr/lib/systemd/system/ceph-mon@.service
/usr/lib/systemd/system/ceph-osd@.service
/usr/lib/systemd/system/ceph-mds@.service
/usr/lib/systemd/system/ceph-mgr@.service
/usr/lib/systemd/system/ceph-radosgw@.service
Environment=CLUSTER=ceph & & & & & & & & & & & & & & & & & & & & & & & & &&--- &改成CLUSTER=testcluster
ExecStart=/usr/bin/... --id %i --setuser ceph --setgroup ceph & &&--- 删掉--setuser ceph --setgroup ceph
2.1 创建配置文件testcluster.conf
cluster = testcluster
fsid = a7f-4f1e-a635-d0aeaca0e993
mon initial members = node2
mon host = 192.168.100.132
public network = 192.168.100.0/24
cluster network = 192.168.73.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 33
osd pool default pgp num = 33
osd crush chooseleaf type = 1
2.2 创建keyring
ceph中的osd,mon,mds,client等被抽象成user。这里的user可以是一个人，也可以是程序模块。每个user由type和id定位。例如：client.admin的type是client，id是admin；再如，osd.3的type是osd，id是3。每个user有key和权限。其权限由CAP (Capabilities)描述。
ceph中对权限的操作分两种：
第一种：使用ceph-authtool，来操作一个keyring文件，增删user，为每个user生成key并为其设置权限……然后，使这个keyring文件生效。若集群还未创建，可以在创建集群时带入keyring使之生效（ceph-mon --cluster {cluster-name} --mkfs -i {monitor-id} --monmap /tmp/monmap --keyring {keyring-file}）；若集群已经创建，可以使用ceph auth import -i {keyring-file}导入使之生效；第二种：使用ceph auth命令，来直接在集群中增删user，为每个user生成key并为其设置权限……需要时，也可以使用ceph auth get-or-create及类似命令把集群中的user及其权限导出来，保存成keyring文件；
可见，这两种方式是等价的。
我们是用ceph命令时，虽然我们没有指定user，但其实我们在使用默认的client.admin：
ceph health
其实在内部被解析成：
ceph --cluster {cluster-name} -n client.admin --keyring=/etc/ceph/${cluster-name}.client.admin.keyring health
这里，通过第一种方式，先生成keyring文件，后面创建集群时将其带入。
ceph-authtool --create-keyring /tmp/testcluster.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring /etc/ceph/testcluster.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
ceph-authtool /tmp/testcluster.mon.keyring --import-keyring /etc/ceph/testcluster.client.admin.keyring
ceph-authtool --create-keyring /etc/ceph/testcluster.client.bootstrap-osd.keyring --gen-key -n client.bootstrap-osd --cap mon 'allow profile bootstrap-osd'
ceph-authtool /tmp/testcluster.mon.keyring --import-keyring /etc/ceph/testcluster.client.bootstrap-osd.keyring
这里的/tmp/testcluster.mon.keyring名字并不恰当，按里讲的习惯，应该叫testcluster.keyring。然而名字并不重要，重要的是，目前它存储了三个user以及它们的key和权限：
# cat testcluster.client.admin.keyring
[client.admin]
key = AQBhVpFZr7x8MBAAMaLBiv5Zvkcg+S9oD+pEBA==
caps mds = &allow *&
caps mgr = &allow *&
caps mon = &allow *&
caps osd = &allow *&
# cat testcluster.client.bootstrap-osd.keyring
[client.bootstrap-osd]
key = AQDaVpFZ2z7vKhAARWoHu4u75lrE1gfDFoLjCg==
caps mon = &allow profile bootstrap-osd&
# cat /tmp/testcluster.mon.keyring
key = AQATVpFZ4/XdNBAACvFjCBjGz1G4m1WIum8+Jw==
caps mon = &allow *&
[client.admin]
key = AQBhVpFZr7x8MBAAMaLBiv5Zvkcg+S9oD+pEBA==
caps mds = &allow *&
caps mgr = &allow *&
caps mon = &allow *&
caps osd = &allow *&
[client.bootstrap-osd]
key = AQDaVpFZ2z7vKhAARWoHu4u75lrE1gfDFoLjCg==
caps mon = &allow profile bootstrap-osd&
2.3 创建monitor map
monmaptool --create --add node2 192.168.100.132 --fsid a7f-4f1e-a635-d0aeaca0e993 /tmp/monmap
单机环境下，只有一个monitor。和keyring类似，monmap只是一个本地文件，后面创建集群时将其带入。它的内容可以通过monmaptool --print查看：
# monmaptool --print /tmp/monmap
monmaptool: monmap file /tmp/monmap
fsid a7f-4f1e-a635-d0aeaca0e993
last_changed
07:55:57.114621
07:55:57.114621
0: 192.168.100.132:6789/0 mon.node2
2.4 创建集群
2.4.1 创建目录{mon data}
配置项{mon data}的默认值是“/var/lib/ceph/mon/$cluster-$id” （当然，我们可以在testcluster.conf中把它改成别的目录），我们的cluster名叫testcluster，monitor id是node2，故创建如下目录：
mkdir /var/lib/ceph/mon/testcluster-node2
2.4.2 初始化monitor
即在{mon data}中生成monitor的初始文件。它需要{mon data}目录存在，所以前面我们创建了此目录。注意，这里我们带入了前面生成的keyring和monmap。
ceph-mon --cluster testcluster --mkfs -i node2 --monmap /tmp/monmap --keyring /tmp/testcluster.mon.keyring成功之后，我们可以看见{mon data}目录下生成了一些初始文件
/var/lib/ceph/mon/testcluster-node2
kv_backend
2.4.3 创建done文件
touch /var/lib/ceph/mon/testcluster-node2/done
2.4.4 启动集群
systemctl start ceph-mon@node2这时可以看集群的状态：
# ps -ef |grep ceph
00:00:00 /usr/bin/ceph-mon -f --cluster testcluster --id node2
# ceph --cluster testcluster -s
a7f-4f1e-a635-d0aeaca0e993
health: HEALTH_OK
mon: 1 daemons, quorum node2
mgr: no daemons active
osd: 0 osds: 0 up, 0 in
0 pools, 0 pgs
objects: 0 objects, 0 bytes
0 kB used, 0 kB / 0 kB avail
2.5 添加osd
这里，我们使用不同的方式添加三个osd。这只是为了测试，不同添加方式的区别。现实中不必如此。
2.5.1 手动添加osd /dev/sdb
2.5.1.1 删除/dev/sdb的所有分区
2.5.1.2 为osd生成uuid
a270cc4b-54e4-4d5f-ab6c-d31b2.5.1.3 为osd生成cephx key
# ceph-authtool --gen-print-key
AQA/XJFZmeaDFRAAKpJ1o6XXnrC6cTMLws5GrA==
2.5.1.4 生成osd号 &（如下，生成的osd号为0）
# echo &{\&cephx_secret\&: \&AQA/XJFZmeaDFRAAKpJ1o6XXnrC6cTMLws5GrA==\&}&
| ceph --cluster testcluster osd new a270cc4b-54e4-4d5f-ab6c-d31b -i - -n client.bootstrap-osd -k /tmp/testcluster.mon.keyring
2.5.1.5 格式化并mount磁盘
和前面{mon data}类似，这里的文件夹是{osd data}；默认值是：/var/lib/ceph/osd/$cluster-$id。我们也可以在testcluster.conf中修改它。
mkdir /var/lib/ceph/osd/testcluster-0
mkfs.xfs -f -i size=1024 /dev/sdb
mount -o rw,noatime,nobarrier,inode64,logbsize=256k,delaylog /dev/sdb /var/lib/ceph/osd/testcluster-0
2.5.1.6 为osd创建keyring
ceph-authtool --create-keyring /var/lib/ceph/osd/testcluster-0/keyring --name osd.0 --add-key AQA/XJFZmeaDFRAAKpJ1o6XXnrC6cTMLws5GrA==
# cat /var/lib/ceph/osd/testcluster-0/keyring
key = AQA/XJFZmeaDFRAAKpJ1o6XXnrC6cTMLws5GrA==
2.5.1.7 初始化osd
和初始化monitor类似，在{osd data}目录中生成osd所需的一些文件或文件夹：
ceph-osd --cluster testcluster -i 0 --mkfs --osd-uuid a270cc4b-54e4-4d5f-ab6c-d31b
# ls /var/lib/ceph/osd/testcluster-0
store_version
superblock
2.5.1.8 启动osd
systemctl start ceph-osd@0
# ceph --cluster testcluster -s
a7f-4f1e-a635-d0aeaca0e993
health: HEALTH_WARN
no active mgr
mon: 1 daemons, quorum node2
mgr: no daemons active
osd: 1 osds: 1 up, 1 in
0 pools, 0 pgs
objects: 0 objects, 0 bytes
0 kB used, 0 kB / 0 kB avail
# ceph --cluster testcluster daemon osd.0 config show
| grep objectstore
&objectstore_blackhole&: &false&,
&osd_objectstore&: &filestore&,
&-------- 手动方式，osd使用的filestore
&osd_objectstore_fuse&: &false&,
&osd_objectstore_tracing&: &false&,
2.5.2 使用ceph-disk添加osd /dev/sdc
2.5.2.1 删除/dev/sdc的所有分区
2.5.2.2 prepare&
ceph-disk prepare --cluster testcluster --cluster-uuid a7f-4f1e-a635-d0aeaca0e993 /dev/sdc
这一步会把/dev/sdc分为/dev/sdc1和/dev/sdc2两个分区，并把/dev/sdc1格式化为文件系统（默认xfs, 可以通过&--fs-type&指定别的文件系统）。
2.5.2.3 activate
ceph-disk activate /dev/sdc1 --activate-key /etc/ceph/testcluster.client.bootstrap-osd.keyring这样，osd就直接被添加并启动了：
# mount | grep sdc
/dev/sdc1 on /var/lib/ceph/osd/testcluster-1 type xfs (rw,noatime,seclabel,attr2,inode64,noquota)
&-------- sdc被分区、格式化并挂载
# ls /var/lib/ceph/osd/testcluster-1
activate.monmap
block_uuid
kv_backend
# ll /var/lib/ceph/osd/testcluster-1/block
lrwxrwxrwx. 1 ceph ceph 58 Aug 14 09:04 /var/lib/ceph/osd/testcluster-1/block -& /dev/disk/by-partuuid/1f29c7dc-7b4a-bd265a77ed
# ll /dev/disk/by-partuuid/1f29c7dc-7b4a-bd265a77ed
lrwxrwxrwx. 1 root root 10 Aug 14 09:06 /dev/disk/by-partuuid/1f29c7dc-7b4a-bd265a77ed -& ../../sdc2
&----------- block是sdc2的软链接
# ceph --cluster testcluster daemon osd.1 config show
| grep objectstore
&objectstore_blackhole&: &false&,
&osd_objectstore&: &bluestore&,
&-------------bluestore !!!
bluestore建在osd/testcluster-1/block之上，它是sdc2的软链接
&osd_objectstore_fuse&: &false&,
&osd_objectstore_tracing&: &false&,
2.5.3 使用ceph-disk添加osd /dev/sdd2
2.5.3.1 将/dev/sdd分区，我们只使用/dev/sdd2
2.5.3.2 prepare
ceph-disk prepare --cluster testcluster --cluster-uuid a7f-4f1e-a635-d0aeaca0e993 /dev/sdd2
2.5.3.3 activate
ceph-disk activate /dev/sdd2 --activate-key /etc/ceph/testcluster.client.bootstrap-osd.keyring
# mount | grep sdd
/dev/sdd2 on /var/lib/ceph/osd/testcluster-2 type xfs (rw,noatime,seclabel,attr2,inode64,noquota)
&---- sdd2 被格式化并挂载
# ll /var/lib/ceph/osd/testcluster-2/block
-rw-r--r--. 1 ceph ceph
Aug 14 09:11 /var/lib/ceph/osd/testcluster-2/block
&----- block是一个常规文件
# ceph --cluster testcluster daemon osd.2 config show
| grep objectstore
&objectstore_blackhole&: &false&,
&osd_objectstore&: &bluestore&,
&------------------
bluestore. !!! bluestore建在osd/testcluster-1/block之上，它是一个常规文件
&osd_objectstore_fuse&: &false&,
&osd_objectstore_tracing&: &false&,
2.6 添加mgr
自从ceph 12开始，manager是必须的。应该为每个运行monitor的机器添加一个mgr，否则集群处于WARN状态。
2.6.1 添加一个user，type为mgr，id为node2
ceph --cluster testcluster auth get-or-create mgr.node2 mon 'allow profile mgr' osd 'allow *' mds 'allow *'
[mgr.node2]
key = AQCTa5FZ5z2SBxAAmcNNPFCi40jI+qi+Kyk2Pw==
2.6.2 把这个user的key及权限导出
mkdir /var/lib/ceph/mgr/testcluster-node2/ceph --cluster testcluster auth get-or-create mgr.node2 -o /var/lib/ceph/mgr/testcluster-node2/keyring
2.6.3 启动mgr
systemctl start ceph-mgr@node2
# ceph --cluster testcluster -s
a7f-4f1e-a635-d0aeaca0e993
health: HEALTH_OK
&------ cluster is healthy
mon: 1 daemons, quorum node2
mgr: node2(active)
mgr with id node2 is active
osd: 3 osds: 3 up, 3 in
0 pools, 0 pgs
objects: 0 objects, 0 bytes
3240 MB used, 88798 MB / 92038 MB avail
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：51816次
排名：千里之外
原创：36篇
评论：11条
(1)(2)(3)(1)(2)(3)(4)(2)(3)(1)(1)(4)(1)(5)(7)
ictfox blog：
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'}