Мне нужно обработать 10-100 миллионов записей.
Я должен передать данные клиенту, когда он закончит. Данные предоставляются в виде запросов SQL для выполнения в базе данных. У него мощный сервер с MySQL, думаю, будет достаточно быстро.
Проблема в том, что мой компьютер не такой мощный, как его сервер, поэтому я хотел бы использовать другой SQL-сервер, совместимый (я экспортирую его базу данных и импортирую ее на свой компьютер) с MySQL, но более мощный.
Что мне использовать? Или я обречен использовать MySQL?
Если вашему клиенту нужно использовать MySQL, то это то, с чем вы застряли.
Очевидно, что на вашем компьютере он будет работать медленнее, чем на сервере, но обычно это не имеет большого значения. Если вам требуется дополнительная емкость на временной основе, вы всегда можете арендовать инстанс Amazon EC2 на несколько часов или что-то еще.
Я считаю, что использовать MySQL для больших баз данных - плохая идея, лучше использовать PostgreSQL. Если база данных для MySQL превышает несколько ГБ, у вас уже могут быть проблемы, тогда как с PostgreSQL проблем с базами такого объема быть не должно.
Простой дамп базы данных иногда показывает разницу, например, некоторое время назад мне приходилось сбрасывать базу данных размером 6 ГБ в MySQL, и при этом возникли большие проблемы, поскольку он пару раз терпел неудачу. В то время как для postgreSQL у меня не было проблем со сбросом базы данных на 130 ГБ. То же самое касается выполнения запросов и т. Д.