Назад | Перейти на главную страницу

kafka + Включение высокопроизводительной передачи данных

когда мы смотрим на передовой опыт кафки, мы видим следующие детали:

Max socket buffer size , can be increased to enable high-performance data transfer. More details are here http://www.psc.edu/index.php/networking/641-tcp-tune

Итак - максимальный размер буфера сокета важен для kafka

мы также видели эту статью

https://www.cyberciti.biz/faq/linux-tcp-tuning/ 

в этой статье предлагается следующее

Turn on window scaling which can be an option to enlarge the transfer window:
# echo 'net.ipv4.tcp_window_scaling = 1' >> /etc/sysctl.conf

Enable timestamps as defined in RFC1323:
# echo 'net.ipv4.tcp_timestamps = 1' >> /etc/sysctl.conf

Enable select acknowledgments:
# echo 'net.ipv4.tcp_sack = 1' >> /etc/sysctl.conf

By default, TCP saves various connection metrics in the route cache when the connection closes, so that connections established in the near future can use these to set initial conditions. Usually, this increases overall performance, but may sometimes cause performance degradation. If set, TCP will not cache metrics on closing connections.
# echo 'net.ipv4.tcp_no_metrics_save = 1' >> /etc/sysctl.conf

Set maximum number of packets, queued on the INPUT side, when the interface receives packets faster than kernel can process them.
# echo 'net.core.netdev_max_backlog = 5000' >> /etc/sysctl.conf

Now reload the changes:
# sysctl -p

мой вопрос

можем ли мы установить настройки из https://www.cyberciti.biz/faq/linux-tcp-tuning/

чтобы получить лучшее Обеспечение высокопроизводительной передачи данных для машин kafka?