Почему мы делаем собственное объектное хранилище в MWS
newsare.net
Привет! Меня зовут Алексей Баранов, я руковожу направлением Data Storage Systems в облаке MWS. Мы начинаем серию статей, в которой расскажем, как устроенПочему мы делаем собственное объектное хранилище в MWS
Привет! Меня зовут Алексей Баранов, я руковожу направлением Data Storage Systems в облаке MWS. Мы начинаем серию статей, в которой расскажем, как устроены наши системы хранения, почему мы их делаем так и почему именно такие.Начнём с фундаментальных технологий и сервисов — на их основе построены все системы хранения и обработки данных. Посмотрим, какие были варианты, какие из существующих решений мы выбрали, а где стали реализовывать что-то своё. Расскажем, какие требования мы предъявляем к системам, и как это влияет на их архитектуру. Поднимаясь по стеку решений вверх, поговорим как про базовые сервисы блочного и объектного хранилищ, так и про системы аналитики и баз данных, которые уже предоставляет или будет предоставлять наше облако.Одна из причин, почему мы объединили такую широкую область под зонтиком одного направления — это стремление найти синергию между сервисами разных уровней и построить единую платформу для работы с данными. Индустрия идёт в сторону разделения слоёв хранения и обработки (compute-storage separation) — бо́льшую пользу приносит создание гибких и эффективных решений по хранению, которые могут быть базой для технологий обработки и анализа.В качестве дисклеймера и красной нити сразу скажем, что при принятии всех решений важным фактором будет то, что облако — это, в первую очередь, проект технологический, а задача команды облака — глубоко понимать то, как всё устроено, и владеть технологиями, которые мы предоставляем пользователям. Только так можно с нужным качеством и определённостью устранять проблемы и двигать сервисы вперёд. Поэтому даже при переиспользовании существующих решений нужно закладывать трудозатраты на полноценное «взятие на баланс» команды: сборки, тесты, анализ архитектуры, работу с апстримом и патчи уязвимостей и так далее. Читать далее Read more