Главная on Галуст Аракелян

Как снять бэкап Kubernetes-кластера, когда ноды никуда не достучатся

Sat, 24 Oct 2026 00:00:00 +0000

В октябре 2026 года наш облачный провайдер за несколько дней потерял две из трёх зон доступности. Прод-кластер был на месте, и его API-сервер отвечал через VPN, но у оставшихся воркеров не было интернета: NAT-шлюз жил в мёртвой зоне. Объектное хранилище провайдера работало только на чтение.

Прежде чем решать, где восстанавливаться, нужна была полная копия кластера. Обычно Velero ставят прямо в кластер, но здесь это было невозможно: ноды не могли скачать образ Velero и не могли достучаться ни до какого хранилища, чтобы туда писать.

Обо мне

Mon, 01 Jan 0001 00:00:00 +0000

Я Галуст, DevOps-инженер. Сейчас отвечаю за прод на Kubernetes в финтех-группе: managed Kubernetes в облаке, VMware и своё железо, плюс всё, что хранит состояние и без чего деньги не ходят: PostgreSQL, RabbitMQ, Redis, Redpanda и Vault.

Больше всего в работе я ценю моменты, когда всё ломается. В октябре 2026 года наш облачный провайдер за несколько дней потерял две из трёх зон доступности. Прод лёг, у оставшихся нод не было интернета, и всё нужно было вытащить и запустить в другом месте. Я снял копии кластеров через Velero, запущенный вне кластера, сохранил образы и состояние Vault, Redis, RabbitMQ и Redpanda, а потом за день поднял их на новом Kubernetes в нашем офисе. Про копирование я написал отдельную статью.

Резюме (печать)

Mon, 01 Jan 0001 00:00:00 +0000