Co to jest plik robots.txt i jak dodać wpis do tego pliku?

Co to jest plik robots.txt?

Plik robots.txt to prosty dokument tekstowy, który pełni funkcję oficjalnej instrukcji dla wyszukiwarek internetowych (takich jak Google). 

Zanim algorytmy tych wyszukiwarek rozpoczną skanowanie witryny, najpierw sprawdzają ten plik, aby dowiedzieć się, które sekcje mogą indeksować, a które powinny pominąć. Dzięki temu wydawca zyskuje kontrolę nad tym, co trafia do publicznych wyników wyszukiwania. 

Dzięki plikowi robots.txt można zablokować dostęp do wybranych podstron, takich jak panel administracyjny, robocze wersje artykułów, strony w budowie czy prywatne pliki serwisu.

Robots.txt opiera się na dwóch podstawowych dyrektywach:

• User-agent: Określa, których wyszukiwarek dotyczy dana reguła. Znak gwiazdki (*) oznacza, że polecenie odnosi się do wszystkich robotów indeksujących w internecie.
• Disallow: Wskazuje konkretną ścieżkę (adres podstrony lub folderu), która ma zostać wykluczona ze skanowania.

Jak dodać wpis do pliku robots.txt?

Ads4media → Portale cms4media → Edycja → Ustawienia → Reguły dla wyszukiwarek internetowych - plik robots.txt

W panelu ADS4media przejdź do modułu Portale cms4media. Znajdź portal na liście i przejdź do jego edycji. 

Znajdź zakładkę Ustawienia. Będzie tam dostępne pole Reguły dla wyszukiwarek internetowych - plik robots.txt.

Wpisz regułę i kliknij Zapisz.