Объектное хранилище S3: классы, lifecycle, presigned-URL, надёжность

Бакеты, ключи и плоское пространство ключей

S3 — объектное хранилище, не файловая система. Объект — это байты плюс метаданные плюс ключ, и он лежит в бакете — глобально-именованном, привязанном к региону контейнере. Настоящих директорий нет. Ключ logs/2026/06/04/app.log выглядит как путь, но это единая плоская строка; слэши — просто символы. Консоль рисует дерево папок для удобства, разбивая по /, но под капотом есть одно гигантское лексикографическое пространство ключей и ничего больше. Это важно, потому что почти всё, что масштабируется в S3, масштабируется по префиксу — ведущей части ключа, — а не по папке, потому что папок не существует.

Эта плоская модель формирует и производительность. S3 даёт как минимум 3 500 запросов PUT/COPY/POST/DELETE и 5 500 запросов GET/HEAD в секунду на префикс, и число префиксов ничем не ограничено. Так что пропускную способность по запросам ты проектируешь, разнося ключи по префиксам, а не упираешься в фиксированную квоту. Бакет, который гонит каждую запись через один горячий префикс (скажем, ключи, начинающиеся с одной и той же даты), начнёт троттлить с 503 SlowDown задолго до того, как бакет «заполнится», — потому что у бакета нет лимита размера, есть только лимиты запросов на префикс.

# Ключ — это одна плоская строка; «папки» — просто слэши в ней.
aws s3api put-object \
  --bucket app-prod-events \
  --key "logs/2026/06/04/ingest-7f3a.json.gz" \
  --body ingest-7f3a.json.gz \
  --storage-class STANDARD

# Листинг по префиксу — это и есть то, что «ls папки» делает под капотом.
aws s3api list-objects-v2 \
  --bucket app-prod-events \
  --prefix "logs/2026/06/04/" \
  --query "Contents[].{Key:Key,Class:StorageClass,Bytes:Size}"

С декабря 2020 года S3 также даёт строгую консистентность read-after-write бесплатно, на каждом запросе, в каждом регионе. После успешного PUT — будь то новый объект, перезапись или удаление — любой последующий GET, HEAD или LIST немедленно видит актуальное состояние. Старые оговорки об eventual consistency («сразу после записи можно прочитать устаревший или отсутствующий объект») ушли. Обходные пути read-your-write больше не нужны; если чтение сегодня выглядит устаревшим, баг в твоём коде или слое кэширования, а не в S3.

Классы хранения: трейдофф извлечения против мин. срока

Когда ты кладёшь данные в S3, класс по умолчанию никогда не нейтрален — это тихое биллинговое решение, принятое один раз и тарифицируемое каждый месяц. Прежде чем выбрать первый класс из списка, задай себе вопрос: как часто эти данные будут реально читаться и как быстро они должны возвращаться? Ответ задаёт все трейдоффы ниже.

Каждый объект несёт класс хранения (storage class), и этот единственный атрибут — главный рычаг стоимости. Классы разменивают три вещи: цену хранения за ГБ, латентность извлечения и минимальный срок хранения, за который ты платишь, даже если удалишь раньше. Числа ниже — из документации AWS; долларовые цифры иллюстративны и зависят от региона — всегда сверяйся со страницей цен S3.

S3 Standard — класс по умолчанию: хранится в ≥3 зонах доступности (AZ), доступ за миллисекунды, без минимального срока, без платы за извлечение. Это верный дом для горячих данных и неверный для всего холодного — ты платишь премиальную цену за байты, которые никто не читает.

Standard-IA (Infrequent Access) сохраняет ту же ≥3-AZ устойчивость и доступ за миллисекунды, но режет цену хранения в обмен на плату за извлечение за ГБ и минимальный срок 30 дней. One Zone-IA ещё дешевле, потому что хранит в одной-единственной AZ — тот же дизайн надёжности, но если эта AZ физически утрачена, данные исчезли. Intelligent-Tiering обходит угадывание: за небольшую плату за мониторинг на объект он автоматически перемещает каждый объект между тирами доступа по мере смены паттерна, без платы за извлечение и без минимального срока — безопасный дефолт, когда паттерн действительно неизвестен.

Семейство Glacier — для архивов. Glacier Instant Retrieval сохраняет доступ за миллисекунды (мин. срок 90 дней) для редко читаемых данных, которые всё же нужны быстро. Glacier Flexible Retrieval (мин. 90 дней) и Glacier Deep Archive (мин. 180 дней) — настоящее холодное хранилище: объекты архивированы и недоступны в реальном времени — нужно вызвать RestoreObject и подождать минуты-часы (Flexible) или часы (Deep Archive), прежде чем читать, и сверх того заплатить за извлечение за ГБ. Именно в эту плату за извлечение и латентность и врезалась команда из Hook.

Lifecycle-политики и presigned-URL

Объекты между классами руками перемещают редко. Lifecycle-конфигурация на бакете делает это по расписанию: переводит объекты в более холодный класс через N дней и истекает (удаляет) их через M дней. Так ты кодируешь «горячее месяц, редкое квартал, архив год, исчезает через семь лет» одним правилом, а не cron-задачей.

{
  "Rules": [
    {
      "ID": "events-cooling",
      "Filter": { "Prefix": "logs/" },
      "Status": "Enabled",
      "Transitions": [
        { "Days": 30,  "StorageClass": "STANDARD_IA" },
        { "Days": 90,  "StorageClass": "GLACIER" },
        { "Days": 365, "StorageClass": "DEEP_ARCHIVE" }
      ],
      "Expiration": { "Days": 2555 }
    }
  ]
}

Второй рабочий инструмент — presigned-URL. По умолчанию каждый объект приватен — читать его может только владелец. Presigned-URL встраивает ограниченную по времени криптографическую подпись (SigV4), так что любой держатель URL может выполнить одну конкретную операцию — GET для скачивания или PUT для загрузки — пока она не истечёт. Подпись несёт права того, кто сгенерировал URL, поэтому она никогда не даёт доступа больше, чем уже есть у подписавшего. Стандартный паттерн: твой сервер подписывает PUT-URL и отдаёт его браузеру, который загружает файл прямо в S3 — серверы приложения никогда не касаются байтов, так что загрузка на 2 ГБ не занимает процесс приложения и не идёт в твой egress. Срок истечения — это и есть вся модель безопасности: presigned-URL из SDK/CLI может жить до 7 дней (604 800 секунд); консоль ограничивает 12 часами. Подписывай коротко.

import boto3
s3 = boto3.client("s3")

# PUT-URL с ограниченным сроком: отдай его браузеру, чтобы он загружал
# прямо в S3. Истекает через 15 минут; несёт права подписавшего.
upload_url = s3.generate_presigned_url(
    ClientMethod="put_object",
    Params={"Bucket": "app-prod-uploads", "Key": "user/42/avatar.png"},
    ExpiresIn=900,  # секунды; макс. 604800 (7 дней) для SigV4
)