Obowiązek przy multisite
Obowiązkowy moduł dla multisite w Drupalu, gdzie każda witryna potrzebuje swojego pliku robots.txt.
Plik robots.txt musi znajdować się głównym katalogu domeny pod adresem domena.pl/robots.txt, a przy multisite wszystkie witryny musiałby korzystać z jednego pliku, co mogłoby mocno skomplikować prace związane z SEO.
Moduł RobotsTxt pozwala w panelu administracyjnym edytować zawartość omawianego pliku dla robotów wyszukiwarek. Sam plik robots.txt nie jest już tworzony fizycznie w katalogu domeny, ale jest dostępny pod wcześniej wspomnianym adresem: domena.pl/robots.txt.
Uwaga: dlatego należy pamiętać, żeby po zainstalowaniu usunąć fizyczny plik robots.txt.
Moduł wyświetli dynamicznie przygotowane zawartości plików robots.txt.
Wyłączenie automatycznego dodawania robots.txt
Jak zapobiec pojawiającemu się plikowi podczas używania Composera?
Podczas aktualizacji z użyciem Composer'a plik zostaje fizycznie przywrócony.
Aby temu zapobiec należy w lokalizacji: /core/assets/scaffold/files/ edytować:
. . .
"drupal-scaffold": {
"locations": {
"web-root": "web/"
},
"file-mapping": {
"[web-root]/robots.txt": false
}
},
. . .
Źródło: https://www.drupal.org/docs/develop/using-composer/using-drupals-composer-scaffold#toc_6