Wenn man von Ceph-Version "tentacle" auf die ältere "Squid" zurückwill (oder muss),

geht das am besten folgendermaßen:

systemctl stop ceph-mon.target
systemctl stop ceph-mgr.target
systemctl stop ceph-mds.target
systemctl stop ceph-osd.target
rm -rf /etc/systemd/system/ceph*
killall -9 ceph-mon ceph-mgr ceph-mds

ls -l /etc/systemd/system/*/ceph*
rm -rf /etc/systemd/system/*/ceph*
ls /lib/systemd/system/ceph*
rm -rf /lib/systemd/system/ceph*

mount | grep ceph | cut -d' ' -f3 | xargs umount
rm -rf /var/lib/ceph/mon/ /var/lib/ceph/mgr/ /var/lib/ceph/mds/ /var/lib/ceph/osd/
pveceph purge

apt purge -y ceph-mon ceph-osd ceph-mgr ceph-mds ceph-base ceph-mgr-modules-core
apt autoremove -y
apt clean

rm -rf /etc/ceph/*
rm -rf /etc/pve/ceph.conf
rm -rf /etc/pve/ceph
rm -rf /etc/pve/priv/ceph
rm -rf /var/lib/ceph
rm -rf /var/log/ceph

Jetzt sind die OSDs aber noch nicht frei. Wenn man sie löschen (wipe) will, kommt:

Error disk/partition '/dev/sda' has a holder (500)

lsblk

sdb 8:16 1 117.2G 0 disk
└─ceph--0b732bce--7d04--4fa8--a52d--7025bcbe8c53-osd--block--b45ae6e6--c86b--4ca8--94db--a00a2bf51587

dmsetup remove xxxx

Jetzt kann man die Platten mit "wipe disk" löschen...

 

apt update
apt install --allow-downgrades -y \
ceph=19.2.6-pve4 \
ceph-common=19.2.6-pve4 \
ceph-base=19.2.6-pve4 \
ceph-mgr=19.2.6-pve4 \
ceph-mon=19.2.6-pve4 \
ceph-osd=19.2.6-pve4 \
ceph-fuse=19.2.6-pve4 \
libcephfs2=19.2.6-pve4 \
librados2=19.2.6-pve4 \
librbd1=19.2.6-pve4 \
libradosstriper1=19.2.6-pve4 \
librgw2=19.2.6-pve4 \
python3-ceph-common=19.2.6-pve4 \
python3-cephfs=19.2.6-pve4 \
python3-ceph-argparse=19.2.6-pve4 \
python3-rados=19.2.6-pve4 \
python3-rbd=19.2.6-pve4 \
python3-rgw=19.2.6-pve4