Do czego służy robots.txt
Robots.txt to plik tekstowy, w którym właściciel witryny przekazuje robotom wskazówki dotyczące pobierania adresów. Przydaje się na przykład wtedy, gdy sklep ma wiele technicznych wariantów list produktów albo panel administracyjny, którego robot nie musi odwiedzać. Reguły mogą ograniczyć niepotrzebne żądania, ale nie decydują samodzielnie o tym, co pojawi się w wynikach wyszukiwania.
Plik powinien być dostępny pod adresem /robots.txt w głównym katalogu danego hosta. Reguły dla https://www.przyklad.pl/ nie obejmują automatycznie https://przyklad.pl/ ani subdomeny sklep.przyklad.pl. Liczy się także protokół, a przy niestandardowej konfiguracji również port. Jeśli witryna działa pod kilkoma adresami, sprawdź plik osobno dla każdego z nich.
Podstawowa składnia i przykłady reguł
Wiersz User-agent wskazuje robota lub grupę robotów, do których odnoszą się kolejne reguły. Gwiazdka w zapisie User-agent: * oznacza grupę ogólną. Wiersz Disallow podaje ścieżkę, której robot nie powinien pobierać, a Allow może dopuścić wyjątek. Na przykład zestaw „User-agent: *” oraz „Disallow: /panel/” wskazuje, by roboty z grupy ogólnej nie pobierały adresów zaczynających się od /panel/. Pusty zapis „Disallow:” nie blokuje żadnej ścieżki.
Przed zastosowaniem reguły zwróć uwagę na ukośniki i wielkość liter w ścieżce: /Katalog/ i /katalog/ mogą oznaczać różne adresy. Zapis „Disallow: /koszyk/” nie musi pasować do adresu /koszyk bez końcowego ukośnika. Część robotów obsługuje również znaki specjalne, takie jak * dopasowująca ciąg znaków oraz $ oznaczający koniec adresu. Szczegóły dopasowywania i rozstrzygania konfliktu między Allow a Disallow mogą zależeć od robota, dlatego bardziej złożone reguły warto sprawdzić dla wybranej wyszukiwarki.
W pliku można też umieścić wiersz „Sitemap: https://www.przyklad.pl/sitemap.xml”, wskazujący lokalizację mapy witryny. Nie zastępuje on reguł dostępu ani nie gwarantuje odkrycia wszystkich adresów. Komentarze zaczynają się od znaku #; pomagają ludziom opisać zamiar reguły, lecz nie powinny być traktowane jako polecenia dla robotów.
Blokowanie pobierania to nie blokowanie indeksowania
Disallow dotyczy dostępu robota do adresu, a nie bezpośrednio obecności adresu w indeksie. Wyszukiwarka może poznać zablokowany URL z linków na innych stronach i, zależnie od okoliczności, pokazać sam adres bez treści pobranej strony. Jeśli celem jest usunięcie strony z wyników, sam robots.txt nie jest właściwym narzędziem.
Dla strony, którą robot może odwiedzić, dyrektywa noindex w znaczniku meta robots lub odpowiednim nagłówku HTTP może przekazać zamiar niewyświetlania jej w indeksie. Nie blokuj jednocześnie pobierania takiej strony w robots.txt, jeśli robot musi odczytać noindex. Gdy treść ma pozostać prywatna, zastosuj kontrolę dostępu, na przykład logowanie: robots.txt jest publiczny i nie chroni danych. Jeżeli adres trwale nie istnieje, odpowiedni kod odpowiedzi serwera opisuje ten stan trafniej niż reguła Disallow.
Typowe pomyłki przy konfiguracji
Zbyt szeroka reguła może odciąć robotom dostęp do ważnych stron. „Disallow: /” w grupie ogólnej wskazuje blokadę całego serwisu, podczas gdy „Disallow: /panel/” dotyczy wybranego fragmentu. Przed publikacją zastanów się też, czy reguła nie blokuje plików potrzebnych do zrozumienia strony, takich jak arkusze stylów lub skrypty używane do wyświetlania treści.
Częstym źródłem nieporozumień są oddzielne wersje serwisu: środowisko testowe, subdomena i witryna produkcyjna mogą mieć różne pliki. Nie zakładaj również, że każdy robot zastosuje się do wskazówek. Większość zastosowań robots.txt opiera się na współpracy robota, a nie na technicznym uniemożliwieniu pobrania strony.
Krótka lista kontroli po zmianie pliku
Otwórz /robots.txt dla właściwego hosta i protokołu, a następnie sprawdź, czy serwer udostępnia oczekiwaną treść. Przeczytaj plik od początku do końca: ustal, do której grupy User-agent należą poszczególne reguły, czy ścieżki odpowiadają rzeczywistym adresom i czy nie ma przypadkowego „Disallow: /”. Wybierz kilka reprezentatywnych URL-i, na przykład stronę produktu, kategorię, koszyk i panel, po czym sprawdź oczekiwany dostęp dla każdego z nich.
Po wdrożeniu skorzystaj, jeśli to możliwe, z narzędzia do testowania reguł właściwego dla interesującej Cię wyszukiwarki. Sprawdź również stan odpowiedzi serwera: niedostępność pliku może być interpretowana inaczej niż jego brak, a szczegóły zależą od robota. Zmiany mogą zacząć działać z opóźnieniem, ponieważ roboty mogą przechowywać wcześniej pobraną wersję. Dlatego po edycji oceniaj zarówno sam plik, jak i zachowanie witryny w kolejnych odwiedzinach robotów.
