В предлагаемом проекте план состоит в том, чтобы разделить большие наборы данных на куски, предоставить их с помощью SFTP в кластерную архитектуру LAN типа роя ЦП для обработки исторических числовых и финансовых данных для моделирования. Кропотливый.
А как насчет использования чего-то вроде Influxdb? Я немного знаю о совместном использовании и масштабировании. Можем ли мы воспользоваться этим в том, как он распределяет данные по узлам и выполняет на них обработку?
У вас есть другие требования? Этого можно добиться с помощью нескольких инструментов, Вот это список некоторых планировщиков заданий, которые могут распределять рабочую нагрузку (некоторые с открытым исходным кодом)
Например: