У нас есть довольно большие наборы данных (пользовательские события и информация журнала сервера -> 100 ГБ), которые становятся довольно громоздкими для обработки данных. Я видел много активности вокруг NoSQL / Hadoop / и т.д., и мне было интересно, что SV сказал о парном решении. Абсолютно идеальная ситуация была бы:
Мысли? Мы испробовали ряд решений для MySQL, и ничто не сочетало их элегантно.
MongoDB прост и теперь имеет автоматическое разделение. Он не очень эффективен для использования диска, поэтому вам нужно будет выделить ему много места на диске. Он может обрабатывать запросы, но ему потребуются индексы, если вы не хотите сканировать миллиарды записей. То, что мы сделали, - это фактически хранить сводки в Mongo, потому что, если вы знаете свой запрос, вы можете построить на его основе оптимизированную структуру данных и работать чрезвычайно эффективно.
Вы пробовали Infobright с MySQL? Он выполняет автоматическое сжатие и работает БЫСТРО. Тебе этого может хватить.
Вам нужно самостоятельно написать какой-то адаптер!