Итак, вот настройка: у нас есть временный доступ к очень большому TCP WAN-соединению, и мы хотим использовать этот канал для тестирования файловой системы WAN.
Мы хотели бы генерировать огромные объемы данных на лету, записывая их в файловую систему на другой стороне. У нас есть большое количество серверов, с которыми можно работать, поэтому создание достаточного количества данных с помощью правильного моделирования не проблема, но мы хотели бы смоделировать реальные данные приложения HPC, а не что-то вроде конвейерной передачи / dev / zero.
Как я уже говорил, мы действительно хотим записать данные, поэтому ищем нечто большее, чем iperf или netperf. Тогда у меня вопрос: знает ли кто-нибудь из вас какие-либо симуляторы данных приложений HPC? Как бы вы протестировали запись данных на другую сторону ссылки?
РЕДАКТИРОВАТЬ:
Я близок к поиску инструмента, который отвечает всем требованиям.
Наиболее перспективным является MADbench2 который представляет собой реальный код научного моделирования, адаптированный для тестирования параллельного ввода-вывода.
Я собираюсь изучить еще несколько инструментов на на этой странице перечислены Benchamrks параллельного ввода / вывода
Однако неясно, кто из них на самом деле записывает данные, и это действительно то, к чему мы стремимся.
Большинство тестов параллельного ввода-вывода на этой странице должны фактически записывать данные (хотя часто это бывает случайный шум). Лично я использовал только IOR и PIO-Bench из этого списка, но все они относительно хорошо известны и признаны в сообществе HPC. «Относительно», потому что тесты ввода-вывода могут привести к священным войнам в HPC (особенно с поставщиками) ... но ни один из них не является действительно плохим.
IOR - это тот метод, с которым у меня больше всего опыта, и он, кажется, дает хорошие результаты. Однако это может быть сложно настроить; убедитесь, что у вас установлен и правильно настроен MPI для параллельной работы. Для получения дополнительной информации о IOR см. Эта бумага; эта страница также является полезным кратким справочником.
Однако, честно говоря, лучшим тестом для любой системы является реальное приложение. Я доверяю запуску реального приложения с тестовыми данными больше, чем любым тестам, так как меня укусили чрезмерно упрощенные измерения, не отражающие реальную производительность.
Как насчет чего-то скрученного вручную с использованием dd и nc?
Возможно ты мог бы сделать dd if=/dev/sda | nc otherside 9999 а с другой стороны nc -l 9999| dd of=/var/lib/somewhere
Вы можете передать его через pv, чтобы получить представление об объеме данных и скорости.