Docker Swarm (Docker 多主機方案)

  • 因進入 Kubernetes 的學習門檻高, 以及需要較高規格的硬體資源議題, 因此快速安裝測試 Docker Swarm 方案.

安裝與部署

  1. 確保每一台已經安裝好 docker 環境且每台之間都可以透過 TCP port 2377 互相溝通
  2. 選定一台當主控點 Exp. 192.168.11.186
    1. 登入到 192.168.11.186
    2. 執行初始化指令 

      docker swarm init --advertise-addr 192.168.11.186

    3. 將回應的訊息記錄下來 Exp.

      docker swarm join --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk7434l103e8k2d6x 192.168.11.186:2377

  3. 將三台 docker 環境加入成為 swarm 的 Worker Exp. 192.168.11.182, 192.168.11.237, 192.168.11.195
    1. 登入到 192.168.11.182, 192.168.11.237, 192.168.11.195
    2. 貼上並執行加入指令 (請使用您自己產生的 Token 和 IP) 

      docker swarm join --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk7434l103e8k2d6x 192.168.11.186:2377

  4. 回到主控點上 Exp. 192.168.11.186 查看狀態

    docker node ls

如果忘記加入 Swarm 的語法
  • 到主控點執行
  1. 取得加入成為 Manager 語法 : 

    docker swarm join-token manager

  2. 取得加入成為 Worker 語法 : 

    docker swarm join-token worker

使用 portainer 進行 Web 統一控管

  • 在主控點安裝 Portainer (參考 在 Alpine 內安裝 Portainer 管理 Container)
  • 系統管理權限登入 Portainer UI → Home → Environment-related → Environments → Add environment
  • 在主控點安裝 Agent (直接貼上這段即可)
  • 當 Agent 安裝成功後, 回到 WebUI 輸入主控點的 Name (Exp. Portainer-186) 與 address (Exp. 192.168.1.186:9001), 然後點下 Connect 按鈕就可以建立完成
  • 回到 Home 在 Environments 清單就可以看到 Portainer-186 , 點下去就可以開始管理這個 Swarm cluster
  • 當每台 swarm node 重新啟動後 Portainer 管理介面點選出現 Failure Unable to retrieve system info: Unable to find an agent on any manager node 這異常訊息時, 可以重啟所有的 Portainer Agent 來解決

    portainer-161:~# docker service update --force portainer_agent
portainer_agent
overall progress: 1 out of 1 tasks
aeaia7g7xz3w: running   [==================================================>]
verify: Service portainer_agent converged

建立 shepherd 統一在主控點進行管理

  • stack yaml 
    services:
  shepherd:
    image: containrrr/shepherd:latest
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
          - node.role == manager
      restart_policy:
        condition: on-failure
        delay: 10s
        max_attempts: 3        
    environment:
      - TZ=Asia/Taipei
      - SLEEP_TIME=8h  # 每8小時檢查一次，減少速率限制觸發（Go Duration 格式）
      # - WITH_REGISTRY_AUTH=true  # 啟用註冊庫驗證
      # - REGISTRY_USER_FILE=/run/secrets/dockerhub_user
      # - REGISTRY_PASSWORD_FILE=/run/secrets/dockerhub_token
      - ROLLBACK_ON_FAILURE=true  # 更新失敗時自動回滾
      - UPDATE_OPTIONS=--update-delay=1m --update-parallelism=1 --update-failure-action=rollback  # 添加延遲和並行限制，避免順序錯誤
      - IGNORELIST_SERVICES=cleanup-scheduler_cleanup-scheduler
      - NO_PROXY=localhost,127.0.0.1,/var/run/docker.sock
    volumes:
      - type: bind
        source: /var/run/docker.sock
        target: /var/run/docker.sock

FAQ

1. 移除特定 Worker host 方式 Exp. immich-237

  • 進入主控點主機執行
    1. 將 immich-237 設為 drain (暫停提供服務) 

      docker node update --availability drain immich-237

    2. 確認 immich-237 的 AVAILABILITY 已經由 Active → Drain , STATUS 已經由 Ready → Down 

      docker node ls

    3. 移除 immich-237 這 Worker host 

      docker node rm immich-237

  • 進入要移除的 Worker 執行 (immich-237)
    • 執行離開 swarm 指令

      docker swarm leave

2. 建立擴充至三台當主控點

  • 將叢集中一台已經是工作節點 (Worker) 的主機，提升 (Promote) 為主控點。
  • 確保您現有的 Swarm 叢集運作正常，主控點處於 Ready 狀態。
  • 奇數原則：為了維持 Quorum 機制的穩定性，強烈建議主控點的總數為奇數（例如 3、5、7…）。如果您目前只有 1 台，那麼增加 2 台湊成 3 台是最好的做法。如果您目前已有 2 台，建議再增加 1 台湊成 3 台。
  • 至現有的主控點執行
    1. 列出目前 Worker 清單

      docker node ls
      portainer-186:~# docker node ls
ID                            HOSTNAME        STATUS    AVAILABILITY   MANAGER STATUS   ENGINE VERSION
ramtv89mfx2vcrekm7lsoobt8     moon-tv-195     Ready     Active                          28.3.3
318i734m5zx0w6iqe1q2ddijm *   portainer-186   Ready     Active         Leader           28.3.3
i9zyahgszt2awip7dl1tckyz8     sbom-182        Ready     Active                          28.3.3
lxftp7j4emal33f81vmywtxaz     swarm-225       Ready     Active                          28.3.3
q4fxgqgi2sp42wntxynks3wqf     swarm-226       Ready     Active                          28.3.3

    2. 將 swarm-225 與 swarm-226 升級成主控點

      docker node promote swarm-225
docker node promote swarm-226

    3. 確認升級結果 

      docker node ls
      portainer-186:~# docker node ls
ID                            HOSTNAME        STATUS    AVAILABILITY   MANAGER STATUS   ENGINE VERSION
ramtv89mfx2vcrekm7lsoobt8     moon-tv-195     Ready     Active                          28.3.3
318i734m5zx0w6iqe1q2ddijm *   portainer-186   Ready     Active         Leader           28.3.3
i9zyahgszt2awip7dl1tckyz8     sbom-182        Ready     Active                          28.3.3
lxftp7j4emal33f81vmywtxaz     swarm-225       Ready     Active         Reachable        28.3.3
q4fxgqgi2sp42wntxynks3wqf     swarm-226       Ready     Active         Reachable        28.3.3

3. 建立 nfs volume 的作法

  1. 先在 NFS Server 建立分享目錄與權限設定 參考 - Linux NFS 設定
  2. NFS Volume 的指定方式如下 Exp. NFS Serer: 192.168.1.159 , 分享目錄: /swarmdata/mystack/nfs-data 
    volumes:
  mystack_nfs-data:
    driver: local
    driver_opts:
      type: nfs
      o: "addr=192.168.1.159,rw,noatime,rsize=8192,wsize=8192,tcp,timeo=14,nfsvers=4"
      device: ":/swarmdata/mystack/nfs-data"
  • 啟動 stack 時不會如同本地 volume 自動建立出目錄, 必須要在 NFS Server 先建立好指定的目錄 Exp.

    mkdir -p /swarmdata/mystack/nfs-data

  • 如想要修改 NFS Volume 定義
    1. 要將 stack 移除 Exp. 

      docker stack rm mystack

    2. 進入 swarm 每個 node 移除 volume Exp.

      docker volume rm mystack_nfs-data

    3. 重新部署 stack Exp. 

      docker stack deploy -c mystack.yml mystack

    4. 檢查新建立的 Volume 內容 Exp. 

      docker volume inspect mystack_nfs-data

,
  • tech/docker_swarm.txt
  • 上一次變更: 2025/11/19 11:49
  • 由 jonathan