Назад | Перейти на главную страницу

длинный набор данных из маленьких строк - нечастые записи, очень частые чтения - какая платформа лучше?

Для части платформы, которую я создаю, требуется большая таблица данных (начиная с десятков миллионов записей, масштабируется до сотен миллионов в течение года или двух, а в какой-то момент может достигать миллиардов). Структура таблицы данных: int, int, float, datetime, datetime. Эта таблица данных будет принимать данные из одного источника (сценарий импорта) партиями до десяти миллионов строк. Я полностью контролирую сценарий импорта. Различные приложения будут получать данные через веб-API и, возможно, через собственный TCP-сервер. Я ожидаю запросов на отдельные строки с частотой до 50 000 в секунду. Сначала это звучит как хорошее применение дизайна «ключ-значение», но многие запросы будут иметь форму:

выберите float, где int = A и datetime <B и datetime <C порядок по дате и времени, предел даты и времени 0,1

основная идея состоит в том, что я получаю точку данных для данной серии, которая имеет последнюю пару datetime ниже порога, определенного пользователем. Я, вероятно, смогу выполнить некоторую логику на уровне приложения, чтобы вытащить всю серию за раз, но большая часть этого упорядочения все равно будет приходиться на уровень базы данных.

В настоящее время я запускаю прототип SQL Server 2005, и он очень быстро реагирует на скорость до 1000 запросов в секунду с 10 миллионами записей. Меня беспокоит масштабирование до сотен миллионов строк при 50 000 запросов.

Что вы думаете? Является ли MySQL инструментом для работы, потому что он более легкий, чем SQL Server? Стоит ли мне изучить решения NoSQL (может ли кто-нибудь даже обработать образец запроса)? Любые другие идеи приветствуются.

Спасибо!

Серж

Является ли MySQL инструментом для работы, потому что он более легкий, чем SQL Server?

Нет.

Я изучаю решения NoSQL (может ли кто-нибудь даже обработать образец запроса)?

В общем нет как ... там примитивность делает их непригодными.

Посмотрите на типичные решения TickerPlant. Будьте готовы заплатить на 50 тысяч долларов больше. Это ОЧЕНЬ особое требование. Ожидайте использовать МНОГО серверов.