Я устанавливаю domino 9 social Edition на сервер HP Proliant G7 под управлением Windows Server 2003 R2. Мастер установки не запускается после установки Java и настройки виртуальной машины Java.
Domino 9.0 Social Edition не поддерживается в Windows Server 2003. Требуется Windows Server 2008 или новее. Подробности см. В документации в разделе системные требования.