Как выполнить команды Ceph на кластере Rook Ceph, работающем в Kubernetes / OpenShift ?
Если вы используете Ceph в Kubernetes с rook, вам понадобится способ получить доступ к инструменту командной строки ceph для устранения проблем, когда они возникают.
Rook имеет сертификат CNCF, готовое к использованию решение с открытым исходным кодом для облачных хранилищ для Kubernetes.
Это облегчает управление для хранения файлов, блоков и объектов.
☸️ Распределенное хранение данных в Kubernetes
Запустк Ceph Toolbox в Kubernetes
rook toolbox может работать как развертывание в кластере Kubernetes.
Убедившись, что у вас запущен кластер Kubernetes с развернутой rook, запустите под rook-ceph-tools.
$ vim toolbox.yaml
Со следующим содержимым:
apiVersion: apps/v1
kind: Deployment
metadata:
name: rook-ceph-tools
namespace: rook-ceph
labels:
app: rook-ceph-tools
spec:
replicas: 1
selector:
matchLabels:
app: rook-ceph-tools
template:
metadata:
labels:
app: rook-ceph-tools
spec:
dnsPolicy: ClusterFirstWithHostNet
containers:
- name: rook-ceph-tools
image: rook/ceph:master
command: ["/tini"]
args: ["-g", "--", "/usr/local/bin/toolbox.sh"]
imagePullPolicy: IfNotPresent
env:
- name: ROOK_ADMIN_SECRET
valueFrom:
secretKeyRef:
name: rook-ceph-mon
key: admin-secret
volumeMounts:
- mountPath: /etc/ceph
name: ceph-config
- name: mon-endpoint-volume
mountPath: /etc/rook
volumes:
- name: mon-endpoint-volume
configMap:
name: rook-ceph-mon-endpoints
items:
- key: data
path: mon-endpoints
- name: ceph-config
emptyDir: {}
tolerations:
- key: "node.kubernetes.io/unreachable"
operator: "Exists"
effect: "NoExecute"
tolerationSeconds: 5
После сохранения файла запустите под rook-ceph-tools:
kubectl create -f toolbox.yaml
Дождитесь, пока под загрузит свой контейнер и перейдет в рабочее состояние:
kubectl -n rook-ceph get pod -l "app=rook-ceph-tools"
kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash
kubectl -n rook-ceph delete deployment rook-ceph-tools
Запуск Ceph Toolbox в OpenShift Container Storage (OCS) v4.2 +
Если вы используете OpenShift, который использует Rook.
Сначала включите Ceph Tools, выполнив команду:
oc patch OCSInitialization ocsinit -n openshift-storage --type json --patch '[{ "op": "replace", "path": "/spec/enableCephTools", "value": true }]'
Создайте новый файл:
$ vi toolbox.yaml
Добавьте следующее содержимое в созданный файл.
apiVersion: apps/v1
kind: Deployment
metadata:
name: rook-ceph-tools
namespace: openshift-storage
labels:
app: rook-ceph-tools
spec:
replicas: 1
selector:
matchLabels:
app: rook-ceph-tools
template:
metadata:
labels:
app: rook-ceph-tools
spec:
dnsPolicy: ClusterFirstWithHostNet
containers:
- name: rook-ceph-tools
image: registry.redhat.io/ocs4/rook-ceph-rhel8-operator:latest
command: ["/tini"]
args: ["-g", "--", "/usr/local/bin/toolbox.sh"]
imagePullPolicy: IfNotPresent
env:
- name: ROOK_ADMIN_SECRET
valueFrom:
secretKeyRef:
name: rook-ceph-mon
key: admin-secret
securityContext:
privileged: true
volumeMounts:
- mountPath: /dev
name: dev
- mountPath: /sys/bus
name: sysbus
- mountPath: /lib/modules
name: libmodules
- name: mon-endpoint-volume
mountPath: /etc/rook
# if hostNetwork: false, the "rbd map" command hangs, see https://github.com/rook/rook/issues/2021
hostNetwork: true
volumes:
- name: dev
hostPath:
path: /dev
- name: sysbus
hostPath:
path: /sys/bus
- name: libmodules
hostPath:
path: /lib/modules
- name: mon-endpoint-volume
configMap:
name: rook-ceph-mon-endpoints
items:
- key: data
path: mon-endpoints
oc create -f toolbox.yaml
Дождитесь, пока под загрузит свой контейнер и перейдет в рабочее состояние:
$ oc -n openshift-storage get pod -l "app=rook-ceph-tools"
NAME READY STATUS RESTARTS AGE
rook-ceph-tools-86cbb6dddb-vnht9 1/1 Running 0 6m49s
oc -n openshift-storage exec -it $(oc -n openshift-storage get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash
Общие команды Ceph для устранения неполадок
Вот некоторые общие команды для устранения неполадок кластера Ceph:
ceph status
ceph osd status
ceph osd df
ceph osd utilization
ceph osd pool stats
ceph osd tree
ceph pg stat
Смотрите примеры ниже.
# ceph -s
cluster:
id: 58a41eac-5550-42a2-b7b2-b97c7909a833
health: HEALTH_WARN
1 osds down
1 host (1 osds) down
1 rack (1 osds) down
Degraded data redundancy: 91080/273240 objects degraded (33.333%), 80 pgs degraded, 104 pgs undersized
services:
mon: 3 daemons, quorum a,b,c (age 2h)
mgr: a(active, since 2h)
mds: ocs-storagecluster-cephfilesystem:1 {0=ocs-storagecluster-cephfilesystem-a=up:active} 1 up:standby-replay
osd: 3 osds: 2 up (since 2h), 3 in (since 4w)
rgw: 1 daemon active (ocs.storagecluster.cephobjectstore.a)
task status:
data:
pools: 10 pools, 104 pgs
objects: 91.08k objects, 335 GiB
usage: 670 GiB used, 3.3 TiB / 4.0 TiB avail
pgs: 91080/273240 objects degraded (33.333%)
80 active+undersized+degraded
24 active+undersized
io:
client: 7.7 KiB/s rd, 24 MiB/s wr, 3 op/s rd, 236 op/s wr
Проверка дерева OSD.
# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 5.99698 root default
-4 1.99899 rack rack0
-3 1.99899 host ocs-deviceset-0-0-prf65
0 ssd 1.99899 osd.0 down 1.00000 1.00000
-12 1.99899 rack rack1
-11 1.99899 host ocs-deviceset-1-0-mfgmx
2 ssd 1.99899 osd.2 up 1.00000 1.00000
-8 1.99899 rack rack2
-7 1.99899 host ocs-deviceset-2-0-b96pk
1 ssd 1.99899 osd.1 up 1.00000 1.00000
Посмотреть список пуллов:
# ceph osd lspools
1 ocs-storagecluster-cephblockpool
2 ocs-storagecluster-cephobjectstore.rgw.control
3 ocs-storagecluster-cephfilesystem-metadata
4 ocs-storagecluster-cephobjectstore.rgw.meta
5 ocs-storagecluster-cephfilesystem-data0
6 ocs-storagecluster-cephobjectstore.rgw.log
7 .rgw.root
8 ocs-storagecluster-cephobjectstore.rgw.buckets.index
9 ocs-storagecluster-cephobjectstore.rgw.buckets.non-ec
10 ocs-storagecluster-cephobjectstore.rgw.buckets.data