Ubuntu2204 纯离线搭建ceph 19.2.2 测试环境的笔记

• 实验环境需要准备2台服务器，一台为在线主机 192.168.81.142，配可连外网的网关，用于完整走一遍在线安装流程；另一台离线主机 192.168.81.42 ，不配网关，用于模拟离线环境。两台主机就绪后，打一个干净的快照。
• 以下内容在在线主机81.142上运行 echo 'Binary::apt::APT::Keep-Downloaded-Packages "true";' > /etc/apt/apt.conf.d/01keep-debs
• 这样，在/var/cache/apt/archives 即可缓存下安装包（不做这个配置的话，默认安装完就删除）
• 添加 Ceph GPG 密钥 wget -q -O- 'https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc' | sudo apt-key add -
• 添加 Squid 版本的仓库（19.2.2 属于 Squid）echo "deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-squid/ $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/ceph-squid.list，清华源比官方源快太多了。
• 更新仓库 sudo apt update
• 确认最新cephadm名字 apt search cephadm
• 安装最新版(cephadm17.2会自动依赖安装docker，19.2似乎要手工安装) apt install cephadm=19.2.2-1jammy docker.io ceph-common -y
• 确认最新版 cephadm version
• 初始化集群(只需做一次) cephadm bootstrap --mon-ip 192.168.81.142
• 初次运行会下载镜像如下:

root@DSLab-CPU-Node1:/# docker images
REPOSITORY                         TAG       IMAGE ID       CREATED         SIZE
quay.io/ceph/ceph                  v19       4892a7ef541b   4 weeks ago     1.31GB
quay.io/prometheus/prometheus      v2.51.0   1d3b7f56885b   14 months ago   262MB
quay.io/ceph/grafana               10.4.0    c8b91775d855   14 months ago   430MB
quay.io/prometheus/node-exporter   v1.7.0    72c9c2088986   18 months ago   22.7MB
quay.io/prometheus/alertmanager    v0.25.0   c8568f914cd2   2 years ago     65.1MB

• 由于实验需要反复测试，在第一次pull完镜像后，将其保存并考到离线主机，在下次恢复快照之后、cephadm初始化之前导回，步骤如下:
• 备份(只需做一次):docker save $(docker images | grep -v REPOSITORY | awk 'BEGIN{OFS=":";ORS=" "}{print $1,$2}') -o 1.tar
• 考去(只需做一次):scp ./1.tar dslab@192.168.81.42:/home/dslab。拷贝成功后，记得为离线主机再打一个快照，以防离线主机回退时，镜像丢失。
• 考回:scp dslab@192.168.81.42:/home/dslab/1.tar ./
• 导入:docker load -i 1.tar
• 初始化集群(反复多次测试时用这个命令) cephadm --image quay.io/ceph/ceph:v19 bootstrap --mon-ip 192.168.81.142
• 安装ceph-common (可省略，已整合，与docker一并安装) apt install ceph-common -y
• 至此，在线版已经装好。

root@DSLab-CPU-Node1:~# ceph -s
  cluster:
    id:     d5a1dcae-305d-11f0-8261-91e74234d1dc
    health: HEALTH_WARN
            mon DSLab-CPU-Node1 is low on available space
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 1 daemons, quorum DSLab-CPU-Node1 (age 5m)
    mgr: DSLab-CPU-Node1.vqbzjs(active, since 3m)
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     
 
root@DSLab-CPU-Node1:~# ceph -v
ceph version 19.2.2 (0eceb0defba60152a8182f7bd87d164b639885b8) squid (stable)

• 为离线版制作离线包，docker 镜像之前已经打包传至离线服务器81.42，此处省略
• 执行下面一系列命令，做deb本地源

apt-get install dpkg-dev -y
mkdir /offlinePackage
cp -r /var/cache/apt/archives  /offlinePackage
chmod 777 -R /offlinePackage/
dpkg-scanpackages /offlinePackage/ /dev/null |gzip >/offlinePackage/Packages.gz
mkdir -p /offlinePackage/dists/jammy/main/binary-amd64/
mv /offlinePackage/Packages.gz /offlinePackage/dists/jammy/main/binary-amd64/
cd /offlinePackage
apt-ftparchive release dists/jammy > dists/jammy/Release
cd
tar zcvf offlinePackage.tar.gz /offlinePackage/

• 做好的本地源，目录结构如下：

/offlinePackage/
└── dists
    └── jammy
        ├── Release
        └── main
            └── binary-amd64
                └── Packages.gz

• 把离线包传到离线服务器81.42，scp ./offlinePackage.tar.gz dslab@192.168.81.42:/home/dslab/ ,随后，为81.42再打一次快照。
• 以下内容开始在离线主机81.42上运行，执行下面一系列命令，在离线主机建立本地源。

tar zxvf offlinePackage.tar.gz -C /
mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo "deb [trusted=yes] file:///offlinePackage/ jammy main" > /etc/apt/sources.list
#在/offlinePackage/dists/jammy/Release的最后加上：
Origin: Local
Label: Local
Suite: jammy
Codename: jammy
Architectures: amd64
Components: main
#保存之后再：
apt update

• 暴力安装，不完美，需要反复装，并定点解决依赖。dpkg -i /offlinePackage/archives/*.deb
• 下面是完美安装的效果，用apt install来安装,并通过本地源，自行解决依赖：

root@DSLab-CPU-Node1:/home/dslab# apt install cephadm=19.2.2-1jammy docker.io ceph-common -y
正在读取软件包列表... 完成
正在分析软件包的依赖关系树... 完成
正在读取状态信息... 完成                 
ceph-common 已经是最新版 (19.2.2-1jammy)。
cephadm 已经是最新版 (19.2.2-1jammy)。
docker.io 已经是最新版 (26.1.3-0ubuntu1~22.04.1)。
升级了 0 个软件包，新安装了 0 个软件包，要卸载 0 个软件包，有 0 个软件包未被升级。

• 离线环境初始化集群（81.42是虚拟机、81.45是物理机均离线安装成功）：cephadm --image quay.io/ceph/ceph:v19 bootstrap --mon-ip 192.168.81.45 --skip-pull