☸️ Запуск Ceph для работы с Rook в Kubernetes / OpenShift

by itisgood

Как выполнить команды Ceph на кластере Rook Ceph, работающем в Kubernetes / OpenShift ?

Если вы используете Ceph в Kubernetes с rook, вам понадобится способ получить доступ к инструменту командной строки ceph для устранения проблем, когда они возникают.

Rook имеет сертификат CNCF, готовое к использованию решение с открытым исходным кодом для облачных хранилищ для Kubernetes.

Это облегчает управление для хранения файлов, блоков и объектов.

☸️ Распределенное хранение данных в Kubernetes

rook-ceph toolbox представляет собой под с общими инструментами, используемыми для отладки и тестирования Ceph.
Вы можете настроить Ceph напрямую при запуске Rook на Kubernetes.
Это достигается с помощью CLI Ceph из панели инструментов Rook-Ceph.
Из контейнера панели инструментов вы можете изменять конфигурации Ceph, включать модули менеджера, создавать пользователей и пулы и многое другое.

Запустк Ceph Toolbox в Kubernetes

rook toolbox может работать как развертывание в кластере Kubernetes.

Убедившись, что у вас запущен кластер Kubernetes с развернутой rook, запустите под rook-ceph-tools.

Создайте файл развертывания Toolbox:
$ vim toolbox.yaml

Со следующим содержимым:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rook-ceph-tools
  namespace: rook-ceph
  labels:
    app: rook-ceph-tools
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rook-ceph-tools
  template:
    metadata:
      labels:
        app: rook-ceph-tools
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      containers:
      - name: rook-ceph-tools
        image: rook/ceph:master
        command: ["/tini"]
        args: ["-g", "--", "/usr/local/bin/toolbox.sh"]
        imagePullPolicy: IfNotPresent
        env:
          - name: ROOK_ADMIN_SECRET
            valueFrom:
              secretKeyRef:
                name: rook-ceph-mon
                key: admin-secret
        volumeMounts:
          - mountPath: /etc/ceph
            name: ceph-config
          - name: mon-endpoint-volume
            mountPath: /etc/rook
      volumes:
        - name: mon-endpoint-volume
          configMap:
            name: rook-ceph-mon-endpoints
            items:
            - key: data
              path: mon-endpoints
        - name: ceph-config
          emptyDir: {}
      tolerations:
        - key: "node.kubernetes.io/unreachable"
          operator: "Exists"
          effect: "NoExecute"
          tolerationSeconds: 5

После сохранения файла запустите под rook-ceph-tools:

kubectl create -f toolbox.yaml

Дождитесь, пока под загрузит свой контейнер и перейдет в рабочее состояние:

kubectl -n rook-ceph get pod -l "app=rook-ceph-tools"
После запуска пода rook-ceph-tools вы можете подключиться к нему:
kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash
Когда вы закончите с toolbox, вы можете удалить развертывание:
kubectl -n rook-ceph delete deployment rook-ceph-tools

Запуск Ceph Toolbox в OpenShift Container Storage (OCS) v4.2 +

Если вы используете OpenShift, который использует Rook.

Сначала включите Ceph Tools, выполнив команду:

oc patch OCSInitialization ocsinit -n openshift-storage --type json --patch  '[{ "op": "replace", "path": "/spec/enableCephTools", "value": true }]'

Создайте новый файл:

$ vi toolbox.yaml

Добавьте следующее содержимое в созданный файл.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rook-ceph-tools
  namespace: openshift-storage
  labels:
    app: rook-ceph-tools
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rook-ceph-tools
  template:
    metadata:
      labels:
        app: rook-ceph-tools
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      containers:
      - name: rook-ceph-tools
        image: registry.redhat.io/ocs4/rook-ceph-rhel8-operator:latest
        command: ["/tini"]
        args: ["-g", "--", "/usr/local/bin/toolbox.sh"]
        imagePullPolicy: IfNotPresent
        env:
          - name: ROOK_ADMIN_SECRET
            valueFrom:
              secretKeyRef:
                name: rook-ceph-mon
                key: admin-secret
        securityContext:
          privileged: true
        volumeMounts:
          - mountPath: /dev
            name: dev
          - mountPath: /sys/bus
            name: sysbus
          - mountPath: /lib/modules
            name: libmodules
          - name: mon-endpoint-volume
            mountPath: /etc/rook
      # if hostNetwork: false, the "rbd map" command hangs, see https://github.com/rook/rook/issues/2021
      hostNetwork: true
      volumes:
        - name: dev
          hostPath:
            path: /dev
        - name: sysbus
          hostPath:
            path: /sys/bus
        - name: libmodules
          hostPath:
            path: /lib/modules
        - name: mon-endpoint-volume
          configMap:
            name: rook-ceph-mon-endpoints
            items:
            - key: data
              path: mon-endpoints
Запустите под toolkbox rook-ceph:
oc create -f toolbox.yaml

Дождитесь, пока под загрузит свой контейнер и перейдет в рабочее состояние:

$ oc -n openshift-storage get pod -l "app=rook-ceph-tools"
NAME                               READY   STATUS    RESTARTS   AGE
rook-ceph-tools-86cbb6dddb-vnht9   1/1     Running   0          6m49s
После запуска пода вы можете подключиться к нему:
oc -n openshift-storage exec -it $(oc -n openshift-storage get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash

Общие команды Ceph для устранения неполадок

Вот некоторые общие команды для устранения неполадок кластера Ceph:

  • ceph status
  • ceph osd status
  • ceph osd df
  • ceph osd utilization
  • ceph osd pool stats
  • ceph osd tree
  • ceph pg stat
Все команды могут быть выполнены в контейнере toolbox

Смотрите примеры ниже.

# ceph -s
  cluster:
    id:     58a41eac-5550-42a2-b7b2-b97c7909a833
    health: HEALTH_WARN
            1 osds down
            1 host (1 osds) down
            1 rack (1 osds) down
            Degraded data redundancy: 91080/273240 objects degraded (33.333%), 80 pgs degraded, 104 pgs undersized
 
  services:
    mon: 3 daemons, quorum a,b,c (age 2h)
    mgr: a(active, since 2h)
    mds: ocs-storagecluster-cephfilesystem:1 {0=ocs-storagecluster-cephfilesystem-a=up:active} 1 up:standby-replay
    osd: 3 osds: 2 up (since 2h), 3 in (since 4w)
    rgw: 1 daemon active (ocs.storagecluster.cephobjectstore.a)
 
  task status:
 
  data:
    pools:   10 pools, 104 pgs
    objects: 91.08k objects, 335 GiB
    usage:   670 GiB used, 3.3 TiB / 4.0 TiB avail
    pgs:     91080/273240 objects degraded (33.333%)
             80 active+undersized+degraded
             24 active+undersized
 
  io:
    client:   7.7 KiB/s rd, 24 MiB/s wr, 3 op/s rd, 236 op/s wr

Проверка дерева OSD.

#  ceph osd tree
ID  CLASS WEIGHT  TYPE NAME                            STATUS REWEIGHT PRI-AFF 
 -1       5.99698 root default                                                 
 -4       1.99899     rack rack0                                               
 -3       1.99899         host ocs-deviceset-0-0-prf65                         
  0   ssd 1.99899             osd.0                      down  1.00000 1.00000 
-12       1.99899     rack rack1                                               
-11       1.99899         host ocs-deviceset-1-0-mfgmx                         
  2   ssd 1.99899             osd.2                        up  1.00000 1.00000 
 -8       1.99899     rack rack2                                               
 -7       1.99899         host ocs-deviceset-2-0-b96pk                         
  1   ssd 1.99899             osd.1                        up  1.00000 1.00000 

Посмотреть список пуллов:

# ceph osd lspools
1 ocs-storagecluster-cephblockpool
2 ocs-storagecluster-cephobjectstore.rgw.control
3 ocs-storagecluster-cephfilesystem-metadata
4 ocs-storagecluster-cephobjectstore.rgw.meta
5 ocs-storagecluster-cephfilesystem-data0
6 ocs-storagecluster-cephobjectstore.rgw.log
7 .rgw.root
8 ocs-storagecluster-cephobjectstore.rgw.buckets.index
9 ocs-storagecluster-cephobjectstore.rgw.buckets.non-ec
10 ocs-storagecluster-cephobjectstore.rgw.buckets.data

 

You may also like

Leave a Comment