После запуска моделирования (с использованием симулятора (QualNet)) смоделированной сети я получаю статистику ip, хранящуюся в базе данных, затем извлекаю данные в файл csv. Итак, теперь у меня есть 750 МБ необработанной сетевой статистики (отметка времени, пакет id, IP-адрес источника, порт источника, протокол и т. д.). Каковы общие способы анализа больших объемов данных, как указано выше, если вы хотите знать такие вещи, как потеря пакетов, пропускная способность, задержка, перегрузка и т. Д.
Не зная, какие именно данные вам интересны, мы можем дать только очень общие и общие ответы.
Другие, несомненно, будут иметь свои собственные предпочтительные методы, но то, что я делаю с таким большим количеством данных, - это создание сценариев Perl для чтения данных непосредственно из базы данных с использованием запросов, предназначенных для чтения только тех частей, которые меня интересуют для конкретного отчета. Затем скрипт выдавал результат в подходящей форме, чаще всего в виде таблиц или диаграмм.
Самое сложное - не фильтровать данные и не составлять отчеты. Самое сложное - определить, какие части вы действительно хотите видеть. Имея такой объем данных, вам нужно отфильтровать их, если вы хотите понять их смысл.