Название говорит само за себя ... поддерживает ли он несколько баз данных, или мне нужно создавать новый экземпляр для каждой базы данных?
Да, вы можете создать несколько баз данных для каждого экземпляра, см. Соответствующие вопросы и ответы: Что такое экземпляр базы данных (инстанс БД)?
Вы можете рассматривать инстанс БД как среду MySQL 5.1 в облаке с указанными вами вычислительными ресурсами и ресурсами хранения. Вы можете создавать и удалять инстансы БД, определять / уточнять атрибуты инфраструктуры ваших инстансов БД, а также контролировать доступ и безопасность с помощью Консоли управления AWS, API Amazon RDS и инструментов командной строки. На одном инстансе БД можно создать несколько баз данных MySQL.
Вы можете создавать базы данных с помощью обычных команд SQL, например:
CREATE DATABASE <database_name>;