[Перевод] История одной борьбы: Netflix vs уволившиеся инженеры
An engineer switched teams, access rights were updated, and a nightly pipeline stopped working. At Netflix, this problem occurred at a large scale, involving millions of tables and tens of thousands of tasks. To avoid fixing access after every team reshuffle, the company created Data Projects. In this system, related data and processes are grouped into a project, and tasks run under the project’s name.
Инженер сменил команду, его права доступа обновили — и ночной пайплайн перестал работать. В Netflix эта проблема возникала на масштабе миллионов таблиц и десятков тысяч задач. Чтобы не чинить доступ после каждой перестановки в командах, в компании создали Data Projects: связанные данные и процессы объединяют в проект, а задачи запускаются от его имени. Я подумал, что тема острая, поэтому перевел разбор команды Netflix — про права, технические учетные записи и миграцию существующих процессов. Читать далее