В финтехе довольно распространен следующий сценарий:
Вы заплатили за доступ к огромной коллекции данных, но они доступны вам в виде тысяч небольших файлов, каждый из которых занимает около 300 КБ, но в целом составляет примерно 1 ТБ данных. Некоторые файлы хранятся с архивированием на удаленном компьютере; некоторые нет. Кроме того, ко всем этим файлам можно получить доступ только через FTP, и вы ограничены одним подключением к серверу за раз.
Как быстрее всего получить копии этих файлов?