Как я ускорил повторный бэкап 24 млн файлов на HDD с 12 часов до 3

habrahabr.ru · world
Full story

A repeat backup of 24 million files on an HDD initially took as long as 12 hours, even though almost no data had changed. During the run, the processor and network were idle, while the process sat in the D state and the disk was occupied with something else. The author traced where the time was going and reduced the backup to 3 hours. The fix involved read-ahead of metadata in inode order and a single mount parameter.

Повторный бэкап 24 млн файлов шёл до 12 часов, хотя данных изменилось почти ничего. Процессор и сеть простаивали, поток стоял в D , а диск при этом занимался чем-то другим. Расскажу, куда уходило время и как я получили 3 часа: опережающее чтение метаданных в порядке inode и один параметр монтирования. Читать разбор

Read full article → Compare