联系我们联系我们
电子邮箱电子邮箱

块存储应用案例,Ceph文件系统,创建对象存储服务器

[复制链接]
  • TA的每日心情
    无聊
    2020-7-15 16:55
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    liujia 发表于 2020-10-14 17:18:52
    76 0
    块存储应用案例问题
    延续Day03的实验内容,演示块存储在KVM虚拟化中的应用案例,实现以下功能:
    • Ceph创建块存储镜像
    • 客户端安装部署ceph软件
    • 客户端部署虚拟机
    • 客户端创建secret
    • 设置虚拟机配置文件,调用ceph存储
    方案
    使用Ceph存储创建镜像。
    KVM虚拟机调用Ceph镜像作为虚拟机的磁盘。
    步骤
    实现此案例需要按照如下步骤进行。
    1)创建磁盘镜像。
    [root@node1 ~]# rbd create vm1-image --image-feature  layering --size 10G[root@node1 ~]# rbd  list[root@node1 ~]# rbd  info  vm1-image
    2)Ceph认证账户(仅查看即可)。
    Ceph默认开启用户认证,客户端需要账户才可以访问,默认账户名称为client.admin,key是账户的密钥。
    可以使用ceph auth添加新账户(案例我们使用默认账户)。
    [root@node1 ~]# cat /etc/ceph/ceph.conf                                        //配置文件 [global]mon_initial_members = node1, node2, node3mon_host = 192.168.2.10,192.168.2.20,192.168.2.30auth_cluster_required = cephx                                                                //开启认证auth_service_required = cephx                                                                //开启认证auth_client_required = cephx                                                                //开启认证[root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring                //账户文件[client.admin]        key = AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==
    3)创建KVM虚拟机(注意:这里使用真实机操作!!!)。
    创建2台的KVM虚拟机,或者直接使用现有的虚拟机也可以。
    4)配置libvirt secret(注意:这里使用真实机操作!!!)。
    编写账户信息文件,让KVM知道ceph的账户名称。
    [root@room9pc01 ~]# vim secret.xml              #新建临时文件,内容如下 <secret ephemeral='no' private='no'>        <usage type='ceph'>                <name>client.admin secret</name>        </usage></secret>#使用XML配置文件创建secret[root@room9pc01 ~]# virsh secret-define secret.xml#命令会生成随机的UUID,这个UUID对应的有账户信息[root@room9pc01 ~]# virsh secret-list           #查看Secret信息
    给secret绑定admin账户的密码,密码参考ceph.client.admin.keyring文件。
    [root@room9pc01] virsh secret-set-value \--secret 733f0fd1-e3d6-4c25-a69f-6681fc19802b \--base64 AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg#这里secret后面是前一步secret-fine创建的UUID#base64后面是client.admin账户的密码
    5)虚拟机的XML配置文件。
    每个虚拟机都会有一个XML配置文件,包括:
    虚拟机的名称、内存、CPU、磁盘、网卡等信息。
    [root@room9pc01 ~]# virsh edit  虚拟机名称//原始模板内容如下:<disk type='file' device='disk'>      <driver name='qemu' type='qcow2'/>      <source file='/var/lib/libvirt/images/vm1.qcow2'/>      <target dev='vda' bus='virtio'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>    </disk>
    不推荐直接使用vim修改配置文件,推荐使用virsh edit修改配置文件,效果如下:
    [root@room9pc01] virsh edit tedu_node01                                //tedu_node01为虚拟机名称<disk type='network' device='disk'>      <driver name='qemu' type='raw'/>      <auth username='admin'>       <secret type='ceph' uuid='733f0fd1-e3d6-4c25-a69f-6681fc19802b'/>      </auth>      <source protocol='rbd' name='rbd/vm1-image'>           <host name='192.168.4.11' port='6789'/>      </source>    <target dev='vda' bus='virtio'/> </disk>
    备注:修改secret的UUID,修改source中的共享名name,修改dev设备名称。
    2:Ceph文件系统问题
    延续前面的实验,实现Ceph文件系统的功能。具体实现有以下功能:
    • 部署MDSs节点
    • 创建Ceph文件系统
    • 客户端挂载文件系统
    方案
    添加一台虚拟机,部署MDS节点。
    主机的主机名及对应的IP地址如表-1所示。
    表-1 主机名称及对应IP地址表
    table001.jpg

    步骤
    实现此案例需要按照如下步骤进行。
    1)添加一台新的虚拟机,要求如下:
    IP地址:192.168.4.14
    主机名:node4
    配置yum源(包括rhel、ceph的源)
    与Client主机同步时间
    node1允许无密码远程node4
    修改node1的/etc/hosts,并同步到所有node主机
    2)部署元数据服务器
    登陆node4,安装ceph-mds软件包
    [root@node4 ~]# yum -y install ceph-mds
    登陆node1部署节点操作
    [root@node1 ~]# cd  /root/ceph-cluster//该目录,是最早部署ceph集群时,创建的目录[root@node1 ceph-cluster]# ceph-deploy mds create node4//远程nod4,拷贝配置文件,启动mds服务
    如果没有密钥和配置文件则可以通过admin命令重新发送配置和密钥(备选操作)
    [root@node1 ceph-cluster]# ceph-deploy admin node4//同步配置文件和key
    3)创建存储池
    [root@node4 ~]# ceph osd pool create cephfs_data 128//创建存储池,对应128个PG[root@node4 ~]# ceph osd pool create cephfs_metadata 128//创建存储池,对应128个PG
    备注:一个文件系统是由inode和block两部分组成,效果如图-1所示。
    inode存储文件的描述信息(metadata元数据),block中存储真正的数据。
    image001.jpg 图-1

    4)创建Ceph文件系统
    [root@node4 ~]# ceph fs new myfs1 cephfs_metadata cephfs_datanew fs with metadata pool 2 and data pool 1//注意,先写medadata池,再写data池//默认,只能创建1个文件系统,多余的会报错[root@node4 ~]# ceph fs lsname: myfs1, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
    5)客户端挂载
    [root@client ~]# mount -t ceph 192.168.4.11:6789:/  /mnt/cephfs/ \-o name=admin,secret=AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==//注意:文件系统类型为ceph//192.168.4.11为MON节点的IP(不是MDS节点)//admin是用户名,secret是密钥//密钥可以在/etc/ceph/ceph.client.admin.keyring中找到 3:创建对象存储服务器 问题
    延续前面的实验,实现Ceph对象存储的功能。具体实现有以下功能:
    • 安装部署Rados Gateway
    • 启动RGW服务
    • 设置RGW的前端服务与端口
    • 客户端测试
    步骤
    步骤一:部署对象存储服务器
    1)准备实验环境,要求如下:
    IP地址:192.168.4.15
    主机名:node5
    配置yum源(包括rhel、ceph的源)
    与Client主机同步时间
    node1允许无密码远程node5
    修改node1的/etc/hosts,并同步到所有node主机
    2)部署RGW软件包
    [root@node1 ~]# yum -y install ceph-radosgw或者使用脚本自动安装ceph-deploy install --rgw node5.
    3)新建网关实例
    拷贝配置文件,启动一个rgw服务
    [root@node1 ~]# cd /root/ceph-cluster[root@node1 ~]# ceph-deploy rgw create node5
    如果没有密钥和配置文件则可以通过admin命令重新发送配置和密钥(备选操作)
    [root@node1 ceph-cluster]# ceph-deploy admin node5//同步配置文件和key
    登陆node5验证服务是否启动
    [root@node5 ~]# ps aux |grep radosgwceph      4109  0.2  1.4 2289196 14972 ?       Ssl  22:53   0:00 /usr/bin/radosgw -f --cluster ceph --name client.rgw.node4 --setuser ceph --setgroup ceph[root@node5 ~]# systemctl  status ceph-radosgw@\*
    4)修改服务端口
    登陆node5,RGW默认服务端口为7480,修改为8000或80更方便客户端记忆和使用
    [root@node5 ~]#  vim  /etc/ceph/ceph.conf[client.rgw.node5]host = node5rgw_frontends = "civetweb port=8000"//node5为主机名//civetweb是RGW内置的一个web服务
    步骤二:客户端测试(扩展选做实验)
    1)curl测试
    [root@client ~]# curl  192.168.4.15:8000<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>
    2)使用第三方软件访问
    登陆node5(RGW)创建账户
    [root@node5 ~]#  radosgw-admin user create \--uid="testuser" --display-name="First User"… …"keys": [        {            "user": "testuser",            "access_key": "5E42OEGB1M95Y49IBG7B",            "secret_key": "i8YtM8cs7QDCK3rTRopb0TTPBFJVXdEryRbeLGK6"        }    ],... ...#[root@node5 ~]# radosgw-admin user info --uid=testuser//testuser为用户,key是账户访问密钥
    3)客户端安装软件
    [root@client ~]#  yum install s3cmd-2.0.1-1.el7.noarch.rpm
    修改软件配置(注意,除了下面设置的内容,其他提示都默认回车)
    [root@client ~]#  s3cmd --configureAccess Key: 5E42OEGB1M95Y49IBG7B Secret Key: i8YtM8cs7QDCK3rTRopb0TTPBFJVXdEryRbeLGK6S3 Endpoint [s3.amazonaws.com]: 192.168.4.15:8000[%(bucket)s.s3.amazonaws.com]: %(bucket)s.192.168.4.15:8000Use HTTPS protocol [Yes]: NoTest access with supplied credentials? [Y/n] nSave settings? [y/N] y//注意,其他提示都默认回车
    4)创建存储数据的bucket(类似于存储数据的目录)
    [root@client ~]# s3cmd ls[root@client ~]# s3cmd mb s3://my_bucketBucket 's3://my_bucket/' created[root@client ~]# s3cmd ls2018-05-09 08:14 s3://my_bucket[root@client ~]# s3cmd put /var/log/messages s3://my_bucket/log/[root@client ~]# s3cmd ls s3://my_bucketDIR s3://my_bucket/log/[root@client ~]# s3cmd ls s3://my_bucket/log/2018-05-09 08:19 309034 s3://my_bucket/log/messages
    5)测试下载功能
    [root@client ~]# s3cmd get s3://my_bucket/log/messages /tmp/
    6)测试删除功能
    [root@client ~]# s3cmd del s3://my_bucket/log/messages
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    发表新帖

    小黑屋|手机版|Archiver|华盟论坛 ( 京ICP备11013304号-8 )

    Powered by 华盟网 X 8.0  © 2001-2013 Comsenz Inc.  华夏黑客同盟