Удалить сайт из IIS можно с помощью меню правой кнопки мыши.
Однако это дает вам два варианта:
Образ: http://s2.postimg.org/iz09pe2jd/remove.jpg
В чем разница?
Удалить ==> просто удалите / удалите веб-сайт, а не связанные с ним физические файлы.
«Развернуть -> Удалить веб-сайт и контент» ==> удалит / удалит веб-сайт и связанные с ним физические файлы.
Видеть этот пост для более подробной информации.