Назад | Перейти на главную страницу

Лучший способ доступа к файлам в S3 Bucket из экземпляра EC2

Я пробовал несколько пакетов (goofys, s3fs, fuse) и не смог найти решение моей проблемы.

У меня есть S3 Bucket с несколькими тысячами файлов, и я буду продолжать расти. Большинство приложений для преобразования S3 в EC2 работают с меньшими отпечатками, чем то, с чем я имею дело. Доставка файлов - это не мой выбор.

Все файлы не превышают 100 КБ. Самая большая проблема, которую я обнаружил до сих пор, - это большое количество файлов. Мне нужно средство для PHP-скрипта для опроса списка файлов в поисках общих шаблонов, которые, как известно, создают сохраненный список для использования в будущем. т.е. IMG-20160704_01.png В этом случае я ищу все файлы, содержащие 20160704.

Кто-нибудь, у кого есть текущие рабочие решения для этого?

EC2 - это Centos 6.5

Спасибо.

Это легко сделать с помощью любого из SDK AWS. Вам необходимо сделать следующее:

  1. Получить список всех объектов, находящихся в корзине S3.
  2. Отфильтруйте список в соответствии с вашими критериями, используя регулярные выражения.
  3. Скачивание файлов по списку объектов

Если вы используете PHP, вам могут быть полезны следующие документы: http://docs.aws.amazon.com/aws-sdk-php/v3/api/api-s3-2006-03-01.html

Примечание: я могу сделать это на питоне за вас. Напишите мне, если вам интересно (мой контактный адрес электронной почты указан в описании профиля)