Я создаю сервис, который будет распространять контент на другие сайты.
Веб-сайты получат небольшой фрагмент кода javascript, который будет извлекать контент из статических файлов .json.
Мне нужен хороший хостинг для файлов .json. Их около 150000, и мне нужно обновлять их еженедельно.
Мне нужна масштабируемая емкость для 1–5 миллионов обращений в день.
Кажется, что облачные файлы amazon s3 или rackspace были бы естественным выбором для размещения этого, но ни один из них не кажется хорошим решением для массовой загрузки 150000 файлов.
Как лучше всего разместить эти файлы?
Разве нельзя .tar.bz2 файлов и разархивировать архив после загрузки?
Или, если нет все файлов обновляются, вы также можете использовать rsync.
Я определенно буду искать для этого rsync. Он очень быстрый, безопасный и создан именно для такого использования.
Это может быть немного левое поле, но я считаю, что Dropbox вернулся к S3, и вы можете поделиться каталогом в Интернете. Исправьте файлы JSON, поместив их в папку Dropbox и разрешив Dropbox позаботиться о синхронизации. Я понятия не имею, считают ли они, что использование CDN приемлемо.
JungleDisk - еще одна программа, предназначенная для резервного копирования, которая может бездействовать и передавать файлы на S3. Они проведут вас через настройку учетной записи S3, а Amazon.com взимает отдельную плату.
Я уверен, что существует множество других программ, упрощающих синхронизацию файлов с облаком.
Если параллелизм вызывает беспокойство, я мог бы создать новый каталог для каждой версии, перенести 150 000 файлов в облако, а затем указать приложению новый каталог после синхронизации.
-дэнни