Я только что читал на сайте Yoast Вот о том, как должен выглядеть правильный файл robots.txt с учетом последних практик SEO. В своем примере Yoast использует следующее:
User-Agent: *
Disallow: /suggest/?*
Что именно делает линия Disallow: /suggest/?* делать?
Что именно делает строка Disallow: / offer /? *?
disallow и ?* заблокирует доступ поисковых систем к любому URL-адресу, имеющему ? в этом.
В целом Disallow: / offer /? * Заблокирует доступ поисковых систем к URL-адресам, например yourwebsiteexample.com/suggest/?any.php=34
другими словами, он не будет блокировать поисковые системы от доступа к другим URL-адресам, имеющим ?
yourwebsiteexample.com/anyother/?any.php=34 <--- это будет кукарекать поисковики
больше примеров https://geoffkenyon.com/how-to-use-wildcards-robots-txt/