Компания, в которой я работаю, производит программное обеспечение, которое принимает гигабайты данных в день и выводит (меньшее количество) гигабайт в день. У нас есть значительная инфраструктура для управления потоком данных, и под значительным я имею в виду значительно плохую. Когда нам требуется новый тип данных в нашем программном обеспечении, мы разрабатываем сценарий для извлечения данных из источника HTTP или FTP, перетаскиваем его на сервер и начинаем. Часто поступают жалобы на чрезмерное / недостаточное использование большинства наших серверов, но у нас нет хорошего способа управлять балансом ресурсов, затрачиваемых на получение / запись данных.
Существует ли программный пакет, который предназначен для управления передачей данных извне (извлечения), а также для их передачи от сервера к серверу внутри нашей сети?
Я ищу то, что предлагает;
Группа OASIS опубликовала стандартный язык для определения «бизнес-процессов» под названием BPEL (Business Process Execution Language). Мы использовали дорогую коммерческую версию в течение нескольких лет по указанным вами причинам: ремонтопригодность, масштабируемость, расширяемость, проверяемость. К счастью для вас, многие проекты взяли на себя эти задачи. Некоторые версии с открытым исходным кодом находятся на freshmeat.net. Мы, простые смертные, называем это «ПО для рабочих процессов». Одна посылка, которая привлекла мое внимание, была Оркестр поскольку это LGPL и поставляется с вариантами коммерческой поддержки. Учитывая, что это важный бизнес-процесс, вы можете захотеть некоторые уровень поддержки или, по крайней мере, внести свой вклад в любые изменения в сообществе.
К счастью для вас, многие, многие другие проложили этот путь. Это просто вопрос политкорректного следования в вашей организации. Я рекомендую частный прототип и демонстрацию, чтобы высшее руководство приняло участие в более крупном, важном для бизнеса тесте. Довольно рано убедите босса согласиться, и вы, возможно, сможете изменить эту основную бизнес-практику.