Что такое объектное хранилище и чем оно отличается от файлового и блочного

Объектное хранилище — это способ хранения данных в виде объектов с уникальным идентификатором и богатыми метаданными, к которым обычно обращаются по HTTP/REST. В отличие от файлового хранилища с деревом каталогов и POSIX-доступом и блочного хранилища, которое отдаёт «сырые» блоки как диск, объектное хранилище ориентировано на простое горизонтальное масштабирование и дешёвое хранение больших объёмов данных. Оно отлично подходит для больших файлов и архивов, но не для очень частых мелких записей с минимальными задержками.

Объектное хранилище хранит данные не как файлы в каталогах и не как блоки на диске, а как отдельные объекты. Каждый объект представляет собой целостную сущность, к которой обращаются по ключу, а не по пути в файловой системе или смещению на диске.

• Структура объекта: объект обычно состоит из:
  — содержимого (payload) — сами данные (файл, изображение, архив, дамп БД и т.д.);
  — метаданных — набор пар «ключ–значение» (тип контента, владелец, теги, время жизни, бизнес-атрибуты), по которым удобно искать и управлять данными;
  — уникального идентификатора — строкового ключа (например, logs/2025/04/10/app.log), по которому объект читается и удаляется через API.
• Чем объектное отличается от файлового:
  — Файловое хранилище организует данные как дерево каталогов и файлов, доступ идёт по пути (/data/reports/2025/report.pdf) через файловые протоколы (NFS/SMB) или локальную файловую систему с POSIX-семантикой (open, rename, блокировки и т.п.).
  — В объектном хранилище пространство имён логически «плоское»: есть бакеты и ключи объектов, а «папки» чаще всего — просто часть имени ключа. Доступ идёт по HTTP/HTTPS через REST API или SDK, традиционных операций типа «переименовать каталог» или жёстких ссылок нет, а файловая семантика сильно упрощена.
• Чем объектное отличается от блочного:
  — Блочное хранилище выдаёт том (LUN) — последовательность блоков с адресацией по смещению; ОС видит это как диск (/dev/sdX) и сама поверх него создаёт файловую систему (ext4, XFS, NTFS и т.п.). Работают не с «файлами», а с блоками.
  — В объектном хранилище приложения вообще не видят блоков: можно записать, прочитать или удалить объект целиком, но нельзя просто так изменить несколько байт посередине — обычно объект нужно перезаписать (или использовать специальный механизм многочастичной загрузки/версий).
• Интерфейс доступа:
  — Объектное хранилище: HTTP/HTTPS, REST API, SDK; типичные операции — PUT/GET/DELETE объекта, перечисление объектов в бакете, работа с метаданными, политиками доступа (ACL, IAM, политики бакета).
  — Файловое хранилище: монтируется как папка или сетевой диск, доступны стандартные файловые операции (open, read, write, rename, chmod), приложения ожидают полную файловую семантику и блокировки.
  — Блочное хранилище: ОС видит устройство как диск, доступ идёт через драйвер блочных устройств, а уже сверху вы сами создаёте и используете файловую систему.
• Масштабируемость и отказоустойчивость:
  — Объектные хранилища изначально спроектированы для очень больших объёмов (терабайты–петабайты и больше): горизонтальное масштабирование по узлам, автоматическая репликация или кодирование стирания, распределённое хранение. Часто используется eventual consistency, поэтому новые или изменённые объекты могут с небольшой задержкой становиться видимыми везде.
  — Файловые и блочные системы обычно дают более строгую консистентность и предсказуемые операции, но масштабируются сложнее и чаще привязаны к конкретному кластеру или стойке.
• Типичные сценарии использования объектного хранилища:
  — Архивы, бэкапы, логи, медиа-контент (фото, видео, аудио), большие датасеты для аналитики и ML, то есть «тёплые» и «холодные» данные, где важнее ёмкость и цена хранения, чем минимальная задержка записи.
  — Хранение статического контента для веб- и мобильных приложений (картинки, файлы скачивания), бэкэнд для CDN.
• Когда лучше файловое или блочное:
  — Файловое хранилище выбирают, когда нужны привычные файловые операции, совместная работа с документами, сложная файловая семантика, блокировки и транзакционное поведение в рамках файловой системы.
  — Блочное хранилище используют для СУБД, высоконагруженных транзакционных систем, виртуальных машин и других приложений, которым критичны очень низкие задержки, высокий IOPS и собственный контроль над файловой системой.
• Кратко:
  — Блочное хранилище даёт «диск», поверх которого вы строите файловую систему.
  — Файловое хранилище даёт «сетевую папку» с деревом каталогов и файлов.
  — Объектное хранилище даёт «бакет объектов» с ключами и метаданными, очень хорошо масштабируется и дёшево хранит большие объёмы, но не заменяет файловое/блочное там, где нужны частые мелкие обновления и строгая файловая семантика.

На практике объектные хранилища часто реализуют S3-совместимый API, поэтому с ними работают как с сервисом: «положить объект с ключом», «получить объект по ключу», «удалить объект», управлять версиями и правами доступа.