Кластер высокой (не)доступности. Разбираем три распространенных инфраструктурных инцидента
- Words
- 163
- Chars
- 1167
- AI summary
- Yes
The author was handling a planned InfluxDB migration for a client when an urgent ticket and a video conference invitation came in. On the call, the author saw a PostgreSQL cluster whose servers were all alive but stuck in Replica status, with no Leader in the cluster. Colleagues said they had rebooted the virtualization, after which the cluster somehow ended up in that state.
Обычный рабочий день. Я занимаюсь плановой миграцией InfluxDB у очередного заказчика. И тут приходит тикет с пометкой «Срочно» и приглашение на ВКС. Подключаюсь, на экране – PostgreSQL-кластер. Все серверы живы, но почему-то находятся в статусе Replica. В кластере нет ни одного Leader. Коллеги на той стороне объясняют: «Мы тут виртуализацию перезагрузили. После этого кластер как-то… в тыкву превратился». Высокая доступность внезапно стала очень недоступной. Для бизнеса в этот момент не так важно, что именно произошло с Patroni, etcd или PostgreSQL. Важно другое: приложение не может подключиться к базе, пользователи не работают, а простой продолжается. Я ведущий системный инженер, занимаюсь эксплуатацией ИТ-инфраструктуры и баз данных в компании «Онланта». За время работы успел увидеть сотни аварий. Некоторые из них действительно лечатся очень быстро. Другие заставляют восстанавливать события буквально по минутам и проверять гипотезы, которые сначала кажутся совершенно нелепыми. В этой статье я расскажу о нескольких таких историях из своей практики. Возможно, что-то из моего опыта поможет вам однажды потратить на инцидент меньше времени. Читать далее
Open article