Может ли кто-нибудь предложить оптимальные настройки для того, что я делаю? (Обратите внимание, что это одноразовая работа, после завершения кода я верну ее в настройки разработки.)
Я устанавливаю 64-битную виртуальную машину Ubuntu 11.10 с 4 ядрами и 16 ГБ ОЗУ. Я собираюсь импортировать более 15 миллионов строк в одну таблицу, и после сохранения код Python / Django вызовет поиск второй таблицы, извлечет некоторые поля из второй таблицы и обновит большую таблицу.
Однажды задание уже провалилось, потому что я пытался импортировать более 15 миллионов за один короткий промежуток времени. Итак, я разбил файл на 16 файлов.
После завершения импорта будет произведена фильтрация и экспорт из первой таблицы.
БД - это InnoDB. Я не знаю, насколько хороши настройки my-large или my-huge .cnf по умолчанию, и не уверен, подходят ли они мне вообще.
Заранее спасибо!