Я знаю, что могу изменить bin/setenv.sh, но можно ли применить новые настройки без перезапуска Tomcat? В частности, могу ли я как-то увеличить максимальный размер кучи (Xmx)?
Нет, вы не можете увеличить Xmx на лету. Что вы можете сделать, так это повысить ценность Xmx в файле конфигурации и запустите другой экземпляр tomcat, если ваше приложение не против.