Два сторожа памяти на одном сервере: почему не earlyoom и что показал журнал за полтора месяца
The author describes protecting memory on a server running several background services from a single resource-hungry command. The setup has two layers: a Bash script run by cron once a minute and a Python daemon that checks memory every second. The article includes the code for both and explains why the author did not use earlyoom or systemd-oomd. It also analyzes a month-and-a-half log: 57 terminated processes, one series of 26 terminations in three minutes, and a hang.
Я расскажу, как на сервере с несколькими фоновыми службами я защищаю память от одной прожорливой команды. Защита у меня в два слоя: скрипт на bash по cron раз в минуту и демон на Python, который проверяет память каждую секунду. Ниже код обоих, объяснение, почему я не взял earlyoom или systemd-oomd, и разбор журнала за полтора месяца: 57 снятых процессов, одна серия из 26 снятий за три минуты и зависание, которое сторож памяти не мог увидеть в принципе. Отдельно разберу, почему grep -o с длинным интервалом занял 4 ГБ. Читать далее