Назад | Перейти на главную страницу

Имитация медленного соединения между двумя серверами ubuntu

Я хочу смоделировать следующий сценарий: учитывая, что у меня есть 4 сервера ubuntu A, B, C и D. Я хочу уменьшить пропускную способность сети на 20% между машиной A и машиной C и на 10% между A и B. сделать это с помощью инструментов сетевого моделирования / регулирования?

Для этого вы можете использовать tc наедине с u32 фильтры или в сочетании с маркировка iptables (может быть, проще, если вы не хотите изучать синтаксис сложных фильтров). В следующем посте я подробно расскажу о первом решении.


Моделирование вашей установки

В качестве примера, давайте рассмотрим запуск A, B, C и D 10 Мбит / с виртуальные интерфейсы.

Вы в основном хотите:

  • А <==> В: 9 Мбит / с формирование для выхода
  • А <==> С: 8 Мбит / с формирование для выхода

Чтобы смоделировать это, я создам 4 сетевых пространства имен и виртуальных интерфейсов Ethernet, подключенных к мосту.

Конечно, в вашем случае вы будете работать с настоящими сетевыми адаптерами, а мост будет вашим шлюзом или коммутатором в зависимости от вашей инфраструктуры.

Итак, в моей симуляции у нас будет следующая настройка в сети 10.0.0.0/24:

                                  10.0.0.254            

                                  +-------+                     
                                  |       |                     
                                  |  br0  |                     
                                  |       |                   
                                  +---+---+                     
                                      |                         
                                      | veth{A..D}.peer        
                                      |                      
                  +------------+------+-----+------------+     
                  |            |            |            |      
            vethA |      vethB |      vethC |      vethD |      
              +---+---+    +---+---+    +---+---+    +---+---+  
              |       |    |       |    |       |    |       |   
              |   A   |    |   B   |    |   C   |    |   D   |   
              |       |    |       |    |       |    |       |  
              +-------+    +-------+    +-------+    +-------+    

              10.0.0.1      10.0.0.2     10.0.0.3     10.0.0.4           

Во-первых, этап настройки, чтобы вы могли понять, из чего он сделан, пропустите его, если вы с ним не знакомы, ничего страшного. Однако вы должны знать, что команда ip netns exec <namespace> <command> позволяет выполнить команду в сетевом пространстве имён (то есть в одном из полей предыдущего розыгрыша). Это также будет использовано в следующем разделе.

# Create the bridge
ip link add br0 type bridge

# Create network namespaces and veth interfaces and plug them into the bridge
for host in {A..D} ; do 
    ip link netns add ${host}
    ip link add veth${host} type veth peer name veth${host}.peer
    ip link set dev veth${host}.peer master br0
    ip link set dev veth${host} netns ${host}
    ip netns exec ${host} ip link set veth${host} up
done

# Assign IPs
ip addr add 10.0.0.254/24 dev br0
ip netns exec A ip addr add 10.0.0.1/24 dev vethA
ip netns exec B ip addr add 10.0.0.2/24 dev vethB
ip netns exec C ip addr add 10.0.0.3/24 dev vethC
ip netns exec D ip addr add 10.0.0.4/24 dev vethD

Итак, на данный момент у нас есть установка, описанная ранее.


Формирование трафика

Пришло время заняться регулированием дорожного движения, чтобы получить желаемое. В tc инструмент позволяет добавлять дисциплины очередей:

  • Для выхода: когда ядру необходимо отправить пакеты и до обращения к драйверу сетевой карты.
  • Для входа: после доступа к драйверу сетевой карты и до того, как процедуры ядра будут запущены над полученными пакетами.

В нем есть 3 понятия: qdisc, классы и фильтры. Эти понятия могут использоваться для настройки сложного управления потоком пакетов и определения приоритетов трафика на основе любого критерия / критериев, который вы хотите.

В двух словах :

  • Qdiscs - это структуры, в которых пакеты могут быть поставлены в очередь / исключены из очереди.
  • Классы - это контейнеры для qdiscs, действующих с определенным поведением.
  • Фильтры - это способы маршрутизации пакетов между классами, несколько из них могут быть определены в одной точке входа с приоритетами во время обработки.

Все они обычно работают как дерево, где листья - это q-диски, а классы - узлы. Корень дерева или поддерева будет объявлен как <id>: и дочерние узлы будут объявлены как <parent_id>:<children_id>. Помните об этом синтаксисе.

В вашем случае возьмем A и отрендерим дерево, которое вы хотите настроить с помощью tc :

                                     1:
                                      |
                                      |
                                      |
                                     1:1
                                   /  |  \
                                  /   |   \
                                 /    |    \
                               1:10  1:20  1:30
                                |     |     |
                                |     |     |
                               :10   :20   :30

Пояснение:

  • 1: является корневым qdisc, подключенным к устройству vethA, он будет взят явно как htb для Hierarchy Token Bucket (qdisc устройства по умолчанию pfifo или pfifo_fast в зависимости от ОС). Это особенно подходит для управления пропускной способностью. Пакеты, не соответствующие фильтрам, определенным на этом уровне, будут отправлены в 1:30 класс.
  • 1:1 будет htb класс, ограничивающий весь трафик устройства до 10 Мбит / с.
  • 1:10 будет htb класс, ограничивающий выходной трафик до 9 Мбит / с (90% от 10 Мбит / с).
  • 1:20 будет htb класс, ограничивающий выходной трафик до 8 Мбит / с (80% от 10 Мбит / с).
  • 1:30 будет htb класс ограничения трафика до 10 Мбит / с (откат).
  • :10, :20, :30 являются sfq qdisc для стохастической справедливой организации очередей. Другими словами, эти qdiscs будут гарантировать справедливость в планировании передачи на основе потоков.

Все это настраивается следующими командами:

ip netns exec A tc qdisc add dev vethA root handle 1: htb default 30
ip netns exec A tc class add dev vethA parent 1: classid 1:1 htb rate 10mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:10 htb rate 9mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:20 htb rate 8mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:30 htb rate 10mbit burst 15k
ip netns exec A tc qdsic add dev vethA parent 1:10 handle 10: sfq perturb 10
ip netns exec A tc qdisc add dev vethA parent 1:20 handle 20: sfq perturb 10
ip netns exec A tc qdisc add dev vethA parent 1:30 handle 30: sfq perturb 10

Последнее, что нам нужно, это добавить фильтры, чтобы IP-пакеты с IP-адресом назначения равным B отправлялись в 1:10 class и IP-пакеты с IP-адресом назначения, равным C, будут отправлены в 1:20 класс :

ip netns exec A tc filter add dev vethA parent 1: protocol ip prio 1 u32 match ip dst 10.0.0.2/32 flowid 1:10
ip netns exec A tc filter add dev vethA parent 1: protocol ip prio 2 u32 match ip dst 10.0.0.3/32 flowid 1:20

Теперь, когда вы поняли идею, вам нужно будет добавить похожие tc правила для B и C, поэтому передачи к A от этих установок также имеют форму.


Тестирование

А теперь проверим. Для этого я привык играть с iperf, он просто состоит из одного двоичного файла, который может быть запущен либо как клиент, либо как сервер, и будет автоматически отправлять как можно больше трафика между обоими хостами.

Между A и B:

 $ ip netns exec B iperf -s -p 8001
  ...
 $ ip netns exec A iperf -c 10.0.0.2 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.2, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 58191 connected with 10.0.0.2 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  2.0- 4.0 sec  2.12 MBytes  8.91 Mbits/sec
[  5]  4.0- 6.0 sec  2.00 MBytes  8.39 Mbits/sec
[  5]  6.0- 8.0 sec  2.12 MBytes  8.91 Mbits/sec
[  5]  8.0-10.0 sec  2.00 MBytes  8.39 Mbits/sec
[  5]  0.0-10.1 sec  10.8 MBytes  8.91 Mbits/sec

Мы получаем наши 9 Мбит / с предел пропускной способности.

Между A и C:

$ ip netns exec C iperf -s -p 8001
...
$ ip netns exec A iperf -c 10.0.0.3 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.3, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 58522 connected with 10.0.0.3 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  2.0- 4.0 sec  1.75 MBytes  7.34 Mbits/sec
[  5]  4.0- 6.0 sec  1.88 MBytes  7.86 Mbits/sec
[  5]  6.0- 8.0 sec  1.88 MBytes  7.86 Mbits/sec
[  5]  8.0-10.0 sec  1.75 MBytes  7.34 Mbits/sec
[  5]  0.0-10.1 sec  9.62 MBytes  7.98 Mbits/sec

Мы получаем наши 8 Мбит / с предел пропускной способности.

Между A и D:

$ ip netns exec D iperf -s -p 8001
...
$ ip netns exec A iperf -c 10.0.0.4 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.4, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 40614 connected with 10.0.0.4 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.62 MBytes  11.0 Mbits/sec
[  5]  2.0- 4.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  4.0- 6.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  6.0- 8.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  8.0-10.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  0.0-10.2 sec  12.0 MBytes  9.89 Mbits/sec

Здесь у нас есть виртуальный интерфейс на полной скорости 10 Мбит / с достиг.

Обратите внимание, что пакет первого такта каждого прогона может быть лучше обработан в htb классы, настроив соответствующий параметр.


Убираться

Удалять :

  • Фильтр приоритета 1 по 1: : tc filter del dev vethA parent 1: prio 1 u32.
  • Все фильтры включены 1: : tc filter del dev vethA parent 1:.
  • Класс 1:20 и его дети: tc class del dev vethA parent 1:1 classid 1:20.
  • Все дерево: tc qdisc del dev vethA.

Чтобы очистить набор моделирования:

# Remove veth pairs and network namespaces
for host in {A..D} ; do
    ip link del dev veth${host}.peer
    ip netns del ${host}
done

# Remove the bridge
ip link del dev br0

Trickle работает хорошо.

Это обсуждение показывает некоторые ограничения: https://unix.stackexchange.com/questions/109973/how-to-change-speed-limit-of-running-trickle-instance

Лучше всего использовать инструменты tc с теперь интегрированным (по крайней мере, на сервере Ubuntu) модулем netem. Вы можете найти больше информации в эта статья из Stackoverflow.

Ubuntu имеет IPFW, портированный из FreeBSD, а IPFW имеет DUMMYNET, который позволяет управлять различными параметрами сети - пропускной способностью, задержкой, скоростью потери пакетов и т. Д.