Понимание постоянного диска gcloud для поддержания пропускной способности записи файлов

Мой опыт работы с корпоративными системами хранения данных, поэтому я помогу вам с некоторыми основами.

Пропускная способность записи на ГБ означает на диск. Пропускная способность записи для каждого экземпляра означает общее количество всех дисков, подключенных к экземпляру.

Анализ 1:

Ваша цель - хранить 1000 файлов размером 100 КБ каждый в секунду. Если не учитывать разницу между КБ и КиБ, это 100 МБ в секунду. Высокий, но разумный при сегодняшнем хранении. Теперь учтите накладные расходы на метаданные файловой системы, задержку и т. Д. И округлите это число на 25%. Это означает, что вам нужна стабильная скорость записи 125 МБ / с.

На диаграмме выберите самый быстрый постоянный (нелокальный) диск для этого примера: Зональный SSD.

Этот диск обеспечивает производительность записи 0,48 МБ в секунду на 1 ГБ. Вам нужно 125 МБ / сек. Следовательно, вам потребуется как минимум 260 ГБ дискового пространства (125 / 0,48). Это не большой драйв. Я бы выбрал 1 ТБ, чтобы освободить место. Однако обратите внимание на максимальный диапазон производительности записи (76-400 МБ / с).

Анализ 2:

Диск IOPS. Если вы возьмете 125 МБ и в этом примере предположите, что один ввод-вывод составляет 4 КБ, то вам потребуется не менее 32 КБ операций ввода-вывода в секунду. При использовании того же Zonal SSD вам потребуется не менее 1092 ГБ дискового пространства (125 МБ / 4 КБ). Обратите внимание, что 32K IOPS превышает максимально поддерживаемую производительность записи.

Ноты:

У показателей эффективности Google есть особенности:

1. Размер блока ввода-вывода составляет 8 КБ или меньше для показателей производительности IOPS.
2. Размер блока ввода-вывода составляет 256 КБ или больше для скорости записи (МБ / с).

Не используйте мои вычисленные числа в вашем случае. Просмотрите то, что я написал, чтобы на очень простом уровне понять, как вычислить показатели производительности хранилища. Я не учитываю пропускную способность сети, задержки, требуемую производительность процессора и многие другие факторы. Когда я проектирую системы, я использую математику, подобную приведенной выше, а затем использую примеры из реального мира. Я пытаюсь найти максимально устойчивые показатели и моделировать то, что на самом деле делают наши корпоративные приложения.

И последнее замечание. Эти типы операций ввода-вывода в секунду в облачном мире дороги (термин относительный). Я предоставлю вам возможность оценить стоимость хранения.

Поведение квот производительности в документации, которую вы цитировали:

Дисковые операции ввода-вывода в секунду и производительность увеличиваются линейно с размером диска, пока не достигнут следующих ограничений для каждого экземпляра

Таким образом, увеличение числа операций чтения / записи и пропускной способности на 1 ГБ дискового пространства до предела для одного экземпляра виртуальной машины. Повышение устойчивости приводит к снижению производительности, как и более дешевые варианты на основе шпинделя.

Вы не предоставили другие входные данные для выбора хранилища, требуемой емкости и срока службы. Принимать 1000 файлов в секунду - это хорошо, но как долго это будет происходить? Как долго хранятся файлы? Помни это локальные SSD стираются при остановке. Используйте эти решения для собственных расчетов, например, для электронной таблицы планирования мощности.