Внутри метастора S3: эволюция современного хранилища метаданных

Метастор в S3-совместимом хранилище — это сердце системы: он хранит все данные кроме содержания объектов, проводит через себя как объемную клиентскую нагрузку, так и тяжелые асинхронные фоновые операции по сбору статистики, выполнению правил жизненного цикла или обслуживанию внутренних структур. Мы прошли несколько итераций в развитии нашего метастора на базе Cassandra и готовы поделиться опытом разработки производительной распределенной системы на примере хранилища метаданных для S3.

В докладе обсудим:

• Как эффективно сканировать миллиарды версий объектов, не перегружая систему.
• Как собирать статистику по бакетам в реальном времени.
• Как быстро искать пустые директории в метаданных с помощью фильтра Блума.
• Почему использовать Cassandra как очередь — плохая идея.

Доклад будет полезен другим разработчикам S3-совместимых хранилищ и всем, кто проектирует высоконагруженные системы с большим объемом метаданных и асинхронной обработкой.