Chế độ cứu hộ Control plane ops-api không phản hồi từ 14:11:38 (5 phút). Đang gọi thẳng agent trên từng VPS qua tailnet.
Agent
h1 · 18 ms h2 · 164 ms h3 · không tới được h4 · 41 ms
ops-api · 504
Bây giờ vẫn làm được
  • Xem container trên từng node
  • Xem log trực tiếp của container
  • Khởi động lại · dừng · chạy container
Phải chờ ops-api sống lại
  • Deploy và khôi phục bản cũ
  • Sửa config, biến môi trường
  • Số liệu giao dịch, thị trường, tin tức
Thao tác trong chế độ cứu hộ vẫn được agent ghi lại và sẽ đồng bộ vào nhật ký kiểm toán khi ops-api trở lại.

h1 · sgp-1

agent 1.4.2 · 18 ms 4 container
  • ops-api
    up 4 giờ · healthz 504
  • trading
    up 3 ngày · healthz 200
  • nats
    up 23 ngày
  • caddy
    up 23 ngày

h2 · fra-1

agent 1.4.2 · 164 ms 3 container
  • marketdata
    up 2 ngày
  • listener
    đã dừng · exit 1
  • mailreader
    up 11 ngày

h3 · sgp-2

agent không phản hồi

Không tới được 100.83.12.11 qua tailnet (timeout 5 giây, thử 3 lần). Node này có thể đã mất mạng hoặc đã tắt.

h4 · hcm-1

agent 1.4.0 · 41 ms không tin cậy
  • announcer
    up 7 ngày
  • manager-web
    up 4 giờ

Log trực tiếp

h1 / ops-api ĐANG CHẢY 
14:11:02 INFO  http server listening :8080
14:11:02 INFO  nats connected nats://h1:4222
14:11:19 INFO  release rel_2f9c finished status=rolled_back
14:11:31 WARN  sqlite busy timeout 5s table=releases
14:11:33 WARN  sqlite busy timeout 5s table=releases
14:11:36 WARN  request queue depth=128 (max 128)
14:11:38 ERROR database is locked (5) — GET /nodes
14:11:38 ERROR database is locked (5) — GET /services
14:11:41 ERROR healthz handler timeout after 3s
14:12:04 ERROR database is locked (5) — GET /releases
14:12:44 WARN  goroutines=4821 heap=612MB
14:13:10 ERROR healthz handler timeout after 3s
14:14:52 ERROR database is locked (5) — GET /nodes
14:16:20 WARN  goroutines=5104 heap=703MB
14:16:44 ERROR healthz handler timeout after 3s▍