====== Docker Swarm (Docker 多主機方案) ======
* 因進入 Kubernetes 的學習門檻高, 以及需要較高規格的硬體資源議題, 因此快速安裝測試 Docker Swarm 方案.
===== 安裝與部署 =====
- 確保每一台已經安裝好 docker 環境且每台之間都可以透過 TCP port 2377 互相溝通
- 選定一台當主控點 Exp. 192.168.11.186
- 登入到 192.168.11.186
- 執行初始化指令 docker swarm init --advertise-addr 192.168.11.186
- 將回應的訊息記錄下來 Exp.docker swarm join --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk7434l103e8k2d6x 192.168.11.186:2377
- 將三台 docker 環境加入成為 swarm 的 Worker Exp. 192.168.11.182, 192.168.11.237, 192.168.11.195
- 登入到 192.168.11.182, 192.168.11.237, 192.168.11.195
- 貼上並執行加入指令 (請使用您自己產生的 Token 和 IP) docker swarm join --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk7434l103e8k2d6x 192.168.11.186:2377
- 回到主控點上 Exp. 192.168.11.186 查看狀態docker node ls
**如果忘記加入 Swarm 的語法**
* 到主控點執行
- 取得加入成為 Manager 語法 : docker swarm join-token manager
- 取得加入成為 Worker 語法 : docker swarm join-token worker
===== 使用 portainer 進行 Web 統一控管 =====
* 在主控點安裝 Portainer (參考 [[tech/portainer]])
* 系統管理權限登入 Portainer UI -> Home -> Environment-related -> Environments -> Add environment \\ {{:tech:螢幕擷取畫面_2025-09-23_154130.png?1024|}}
* 在主控點安裝 Agent (直接貼上這段即可) \\ {{:tech:螢幕擷取畫面_2025-09-23_154335.png?1024|}}
* 當 Agent 安裝成功後, 回到 WebUI 輸入主控點的 Name (Exp. Portainer-186) 與 address (Exp. 192.168.1.186:9001), 然後點下 Connect 按鈕就可以建立完成
* 回到 Home 在 Environments 清單就可以看到 Portainer-186 , 點下去就可以開始管理這個 Swarm cluster \\ {{:tech:螢幕擷取畫面_2025-09-23_155253.png?1024|}}
* 當每台 swarm node 重新啟動後 Portainer 管理介面點選出現 Failure Unable to retrieve system info: Unable to find an agent on any manager node 這異常訊息時, 可以重啟所有的 Portainer Agent 來解決
portainer-161:~# docker service update --force portainer_agent
portainer_agent
overall progress: 1 out of 1 tasks
aeaia7g7xz3w: running [==================================================>]
verify: Service portainer_agent converged
===== 建立 shepherd 統一在主控點進行管理 =====
* stack yaml
services:
shepherd:
image: containrrr/shepherd:latest
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
restart_policy:
condition: on-failure
delay: 10s
max_attempts: 3
environment:
- TZ=Asia/Taipei
- SLEEP_TIME=8h # 每8小時檢查一次，減少速率限制觸發（Go Duration 格式）
# - WITH_REGISTRY_AUTH=true # 啟用註冊庫驗證
# - REGISTRY_USER_FILE=/run/secrets/dockerhub_user
# - REGISTRY_PASSWORD_FILE=/run/secrets/dockerhub_token
- ROLLBACK_ON_FAILURE=true # 更新失敗時自動回滾
- UPDATE_OPTIONS=--update-delay=1m --update-parallelism=1 --update-failure-action=rollback # 添加延遲和並行限制，避免順序錯誤
- IGNORELIST_SERVICES=cleanup-scheduler_cleanup-scheduler
- NO_PROXY=localhost,127.0.0.1,/var/run/docker.sock
volumes:
- type: bind
source: /var/run/docker.sock
target: /var/run/docker.sock
===== FAQ =====
==== 1. 移除特定 Worker host 方式 Exp. immich-237 ====
* 進入主控點主機執行
- 將 immich-237 設為 drain (暫停提供服務) docker node update --availability drain immich-237
- 確認 immich-237 的 AVAILABILITY 已經由 Active -> Drain , STATUS 已經由 Ready -> Down docker node ls
- 移除 immich-237 這 Worker host docker node rm immich-237
* 進入要移除的 Worker 執行 (immich-237)
* 執行離開 swarm 指令docker swarm leave
==== 2. 建立擴充至三台當主控點 ====
* 將叢集中一台已經是工作節點 (Worker) 的主機，提升 (Promote) 為主控點。
* 確保您現有的 Swarm 叢集運作正常，主控點處於 Ready 狀態。
* 奇數原則：為了維持 Quorum 機制的穩定性，強烈建議主控點的總數為奇數（例如 3、5、7...）。如果您目前只有 1 台，那麼增加 2 台湊成 3 台是最好的做法。如果您目前已有 2 台，建議再增加 1 台湊成 3 台。
* 至現有的主控點執行
- 列出目前 Worker 清單docker node ls
portainer-186:~# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
ramtv89mfx2vcrekm7lsoobt8 moon-tv-195 Ready Active 28.3.3
318i734m5zx0w6iqe1q2ddijm * portainer-186 Ready Active Leader 28.3.3
i9zyahgszt2awip7dl1tckyz8 sbom-182 Ready Active 28.3.3
lxftp7j4emal33f81vmywtxaz swarm-225 Ready Active 28.3.3
q4fxgqgi2sp42wntxynks3wqf swarm-226 Ready Active 28.3.3
- 將 swarm-225 與 swarm-226 升級成主控點
docker node promote swarm-225
docker node promote swarm-226
- 確認升級結果 docker node ls
portainer-186:~# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
ramtv89mfx2vcrekm7lsoobt8 moon-tv-195 Ready Active 28.3.3
318i734m5zx0w6iqe1q2ddijm * portainer-186 Ready Active Leader 28.3.3
i9zyahgszt2awip7dl1tckyz8 sbom-182 Ready Active 28.3.3
lxftp7j4emal33f81vmywtxaz swarm-225 Ready Active Reachable 28.3.3
q4fxgqgi2sp42wntxynks3wqf swarm-226 Ready Active Reachable 28.3.3
==== 3. 建立 nfs volume 的作法 ====
- 先在 NFS Server 建立分享目錄與權限設定 參考 - [[tech/nfs]]
- NFS Volume 的指定方式如下 Exp. NFS Serer: 192.168.1.159 , 分享目錄: /swarmdata/mystack/nfs-data
volumes:
mystack_nfs-data:
driver: local
driver_opts:
type: nfs
o: "addr=192.168.1.159,rw,noatime,rsize=8192,wsize=8192,tcp,timeo=14,nfsvers=4"
device: ":/swarmdata/mystack/nfs-data"
* 啟動 stack 時**不會**如同本地 volume 自動建立出目錄, 必須要在 NFS Server 先建立好指定的目錄 Exp.mkdir -p /swarmdata/mystack/nfs-data
* 如想要修改 NFS Volume 定義
- 要將 stack 移除 Exp. docker stack rm mystack
- 進入 swarm **每個 node 移除 volume** Exp.docker volume rm mystack_nfs-data
- 重新部署 stack Exp. docker stack deploy -c mystack.yml mystack
- 檢查新建立的 Volume 內容 Exp. docker volume inspect mystack_nfs-data
{{tag>docker k8s}}