Что такое ETag в S3 и для чего он нужен

ETag в S3 — это идентификатор текущего состояния содержимого объекта, который хранится в его метаданных и меняется при изменении данных. Его используют для проверки, изменился ли объект (кеширование, синхронизация, условные запросы) и иногда — для проверки целостности при простых загрузках. Важно помнить, что ETag не всегда равен MD5-хэшу файла, особенно при multipart-загрузке и шифровании.

ETag (Entity Tag) в S3 — это строковое метаданное объекта, которое однозначно описывает текущее состояние его содержимого. При каждом изменении данных (перезапись объекта) ETag меняется, поэтому по нему удобно понимать, нужно ли скачивать или перезаписывать файл, и использовать его в механизмах HTTP-кеширования и конкурентного доступа.

Как формируется и интерпретируется ETag:

• Для небольших объектов, загруженных одним запросом без шифрования, ETag обычно совпадает с MD5-хэшем содержимого файла (часто отображается в кавычках, например, "d41d8cd98f00b204e9800998ecf8427e").
• Для multipart-загрузки ETag, как правило, вычисляется на основе комбинации частей и уже не является простым MD5 всего файла, поэтому его нельзя напрямую сравнивать с локальным MD5.
• При использовании шифрования (SSE, SSE-C) и некоторых опций SDK ETag тоже не гарантирует совпадение с MD5, а выступает лишь как логический идентификатор версии содержимого.
• ETag относится к содержимому объекта, а не к его идентификатору версии: VersionId — это механизм версионирования S3, а ETag — часть HTTP/объектных метаданных, отражающая состояние данных.

Основные сценарии использования ETag в S3:

• Проверка изменения объекта и синхронизация: утилиты резервного копирования и синхронизации (например, собственные скрипты) могут хранить ранее считанный ETag и сравнивать его с текущим, чтобы не перекачивать неизменившиеся файлы.
• HTTP-кеширование и условные запросы: заголовки If-None-Match и If-Match позволяют не передавать тело объекта, если ETag не изменился (экономия трафика и времени) или не перезаписывать объект, если он был изменён кем-то ещё (оптимистичная блокировка).
• Проверка целостности (ограниченно): для простых нешифрованных одночастных загрузок можно вычислить локальный MD5 файла и сравнить его со значением ETag, чтобы убедиться, что данные переданы без искажений.

В этом примере, если ETag объекта на стороне S3 совпадает с переданным в If-None-Match, сервер вернёт 304 Not Modified без тела ответа, что позволяет эффективно использовать кеш у клиента.

Ограничения и важные замечания:

• Нельзя универсально считать, что ETag — это MD5 файла: при multipart-загрузке, шифровании и некоторых настройках SDK он рассчитывается иначе и не подходит для строгой проверки целостности.
• Для надёжной проверки целостности лучше использовать встроенные чек-суммы S3 (заголовки x-amz-checksum-*) или явный заголовок Content-MD5 при загрузке и сверять его на стороне сервера.
• ETag прекрасно подходит для задач «обновлялся ли объект» и для условных HTTP-запросов, но не должен быть единственным механизмом безопасности или аудита целостности данных.