Как лучше всего работать с очень большими коллекциями сетевого трафика (500 ГБ +)?
В частности, я хотел бы иметь возможность фильтровать пакеты, которые соответствуют различным критериям полезной нагрузки и протокола (например, все пакеты TCP на порт 1111 со строкой «hello» в полезной нагрузке). Это очень сложно сделать, поскольку большинство инструментов, которые я использую, загружают в память весь файл. Я мог бы написать что-нибудь на python, но лучший угол, который я могу придумать, - это просто прокручивать весь файл для каждого отдельного поиска, который я хочу выполнить, что при таком масштабе заняло бы вечность.
Разберите pcap и проиндексируйте его в соответствии с вашими требованиями. Существует множество крупномасштабных поисковых систем произвольной формы (таких как Xapian, Solr, ElasticSearch и т. Д.), Которые могут содержать всю интересную информацию, по которой вы хотите искать.