A обеспечивает периодическое создание таблиц данных в удаленном месте, которое я должен был передать локально (через Интернет), чтобы запустить последующий локальный процесс. Проблема в том, что таблицы вырастут и достигнут порядка 10 ГБ (иногда 10 ГБ, иногда 50 ГБ и т. Д.). Локальный процесс может быть запущен только после того, как удаленная таблица полностью завершила копирование. Так, дистанционный сигнал будет идеальным для нас, чтобы знать, что таблица заполнена на месте.
Файлы CSV + rsync или ftp будут работать, если передача будет небольшой. Но теперь нам нужно более надежное решение. Я подумал об использовании репликации базы данных. У меня нет опыта репликации данных, поэтому я подумал об использовании таблиц Cassandra, которые удаленный провайдер может создать, и получить их локальную репликацию, которые я мог бы использовать для запуска второго процесса.
Извините, но у меня много вопросов:
Будет ли такой подход (реплики кассандры) работать нормально для этого случая обработки? Может ли Кассандра послать мне сигнал, чтобы сообщить, что репликация завершена? Это лучшее решение? Существуют ли другие базы данных, которые имеют лучшую репликационную производительность?
Заранее спасибо.