Есть ли причина вести журнал для сайта с очень большим объемом? Какие ценные данные хранятся в необработанных журналах.
Сегодня мы ведем журналы «на всякий случай», может ли кто-нибудь дать ответ на «Что на всякий случай»?
Постарайтесь вести свои журналы хотя бы 1/2 недели. Вы можете использовать такие инструменты, как OSSEC, чтобы анализировать их в режиме реального времени и сохранять только то, что важно для безопасности (несколько кодов ошибок 400, 500, сканирование и т. Д.).
Взгляните на этот документ, чтобы получить некоторые идеи о значении безопасности хранения этих журналов:
Вы хотите вести журналы, но, возможно, посмотрите на агрегирование. я использую Аналоговый для создания еженедельных и ежемесячных отчетов, которые архивируются. Некоторые исторические сравнения 404-х привели к исправлению неработающих изменений на моем сайте.
Я храню журналы IIS в течение нескольких месяцев, но у меня есть годы ежемесячных отчетов по аналогам, которые создаются на их основе.
Общий размер моих логов + отчетов тривиален - менее 50 МБ.
Предполагая, что вы отслеживаете трафик в другом месте, я бы предположил, что ваше самое важное использование будет заключаться в обратном отслеживании необычной активности, которую не всегда легко увидеть в чистых мониторах трафика. Например, много запросов на страницу входа с одного IP или большое количество ошибок 404 в / admin, / administrator, / config и т. Д.
Журналы действительно могут пригодиться в определенных ситуациях. Текущие ситуации - это отчеты о тенденциях, которые могут показать вам просмотры страниц, рост трафика или трафик реферера (какая поисковая система отправляет вам трафик). Если у вас действительно большие файлы журналов, полезно часто обрабатывать их и просто сохранять сводку, которую сохраняет ваш инструмент отчетности.
Другая полезная вещь - это исторические данные, если вам нужно их поискать. Это пригодится, если у вас есть атака с использованием sql-инъекции, любой другой тип атаки или даже DDOS, где вы хотите отследить, когда она началась, и если зомби-компьютеры приходят из определенного региона. В таких ситуациях вы будете очень благодарны за то, что храните журналы.
Кроме того, если у вас есть требования PCI или другие нормативные требования, может потребоваться сохранить определенный объем данных журнала.
Вы можете отключить ведение журнала для определенных папок. Например, если у вас есть балансировщик нагрузки или программное обеспечение для мониторинга, вы можете отключить ведение журнала в папке, для которой выполняется проверка. Вы также можете отключить папку \ images или другие папки, которые могут получать большой трафик, но которые не нужно регистрировать.