Я управляю серверной частью, размещенной на AWS, для запуска мобильного приложения, и исторически мы хранили данные журнала приложений (то есть необработанные запросы API) в таблицах InnoDB в нашем производственном экземпляре MariaDB на RDS. Эти данные журнала не используются нашим приложением; мы используем его только для отладки и статистики, и мы обрезаем таблицы каждые 1-2 дня.
По мере роста нашей активности я обнаружил, что это становится все более неэффективным, поскольку наша производственная база данных сильно страдает из-за запросов журналирования, а количество таблиц журналов увеличилось со 100 тыс. Строк в день до 2 млн +.
Как лучше всего хранить такие журналы (желательно с помощью AWS) с возможностью поиска?
Предлагаем вам изучить использование Журналы Cloudwatch. По умолчанию журналы хранятся неограниченное время, вы можете искать в них, вы можете предупреждать обо всем, что захотите. Вы можете переместить их в любой другой сервис AWS, например EMR, для дальнейшего анализа.