Я отказываюсь индексировать папку с именем pdf через robots.txt. Однако я делаю прямую ссылку на несколько файлов, которые существуют в этом каталоге.
Будут ли поисковые системы, такие как Google, индексировать эти файлы или игнорировать их, поскольку они находятся в pdf папка?
Короткий ответ: Нет.
Поисковым роботам запрещено индексировать что-либо с префиксом URL, указанным в файле robots.txt.
Более длинный ответ: это зависит от обстоятельств.
В Allow ключевое слово не является частью стандарта, но некоторые роботы последуют ему. Вы можете использовать это для Разрешить конкретный URL-адрес и запретить все поддерево который содержит этот URL. Большинство ботов работают по принципу «победа в первом матче». Google и Bing работают по принципу максимальной длины строки независимо от порядка следования Allow и Disallow линий.