Как я могу заблокировать любые поисковые роботы для доступа ко всему на gitlab?
там должен быть файл robots.txt или что-то подобное, чтобы запретить сканирование. Это было бы хорошо в качестве первого шага.
Но что более важно, как я могу сказать, что gitlab разрешен только аутентифицированный доступ? например
https://gitlab.yourdomain.com/ общедоступен
также
https://gitlab.yourdomain.com/explore общедоступен
если оба URL-адреса защищены аутентификацией, поисковый робот больше не сможет ничего получить. Но как это настроить с помощью gitlab CE?
Для большей ясности, ничего кроме диалога входа в систему не должно быть общедоступным. Как с этим справиться с помощью gitlab CE?
Eсть robots.txt в репозитории
https://gitlab.com/gitlab-org/gitlab-foss/blob/master/public/robots.txt
Кроме того, если вы установите видимость проектов на private, вы не сможете просмотреть проект по URL-адресу в вашем примере.