Co robi noindex i kiedy może się przydać
Meta robots noindex to dyrektywa umieszczana w kodzie strony. Informuje roboty, które ją obsługują, że dany adres nie powinien być uwzględniany w indeksie. Strona może nadal działać dla użytkowników i pozostawać dostępna do skanowania. To istotna różnica: robot musi móc pobrać stronę, aby odczytać umieszczoną na niej dyrektywę.
Noindex bywa przydatne na przykład dla stron wyników wewnętrznego wyszukiwania, wybranych filtrów tworzących wiele podobnych adresów lub podstron pomocniczych, które użytkownikom są potrzebne, ale nie mają być osobnymi wynikami wyszukiwania. Nie należy jednak stosować go automatycznie do każdej strony o niewielkiej ilości treści. Najpierw warto ustalić, czy podstrona ma własną funkcję w serwisie i czy powinna być dostępna bezpośrednio z wyników.
Noindex nie jest zabezpieczeniem poufnych informacji. Jeżeli treść ma być prywatna, potrzebna jest kontrola dostępu, na przykład logowanie. Dyrektywa kierowana do robotów nie ogranicza tego, kto może otworzyć adres w przeglądarce.
Jak dodać dyrektywę do strony
W sekcji head dokumentu HTML umieść znacznik <meta name="robots" content="noindex">. Dotyczy on adresu, pod którym robot pobiera ten dokument. Jeśli serwis generuje wiele wariantów stron, sprawdź, czy znacznik trafia wyłącznie do zamierzonych wariantów. Błąd w szablonie może przypadkowo wykluczyć z indeksu całą grupę ważnych podstron.
Dyrektywę można przekazać również w nagłówku odpowiedzi HTTP X-Robots-Tag: noindex. To rozwiązanie jest użyteczne między innymi dla plików, w których nie da się dodać znacznika meta, takich jak PDF. Nie trzeba wdrażać obu metod naraz. Ważne, aby sprawdzić odpowiedź dla konkretnego adresu i upewnić się, że serwer nie wysyła sprzecznych ustawień.
Zasadniczo nie trzeba dopisywać wartości follow, aby robot mógł skanować stronę i odkrywać znajdujące się na niej odnośniki. Nie warto jednak traktować strony z noindex jako jedynej drogi prowadzącej do ważnych podstron. Zapewnij im także zwykłe linki wewnętrzne z innych, dostępnych miejsc serwisu.
Dlaczego nie blokować równocześnie adresu w robots.txt
Plik robots.txt służy do określania, których ścieżek robot nie powinien skanować. Jeśli zablokujesz w nim adres objęty noindex, robot może nie pobrać strony, a więc nie zobaczy znacznika meta ani odpowiedniego nagłówka dołączanego do tej odpowiedzi. Dla adresów, które chcesz wykluczyć za pomocą noindex, pozostaw możliwość skanowania.
Sama blokada w robots.txt nie jest równoznaczna z wykluczeniem z indeksu. Wyszukiwarka może poznać zablokowany adres z linków i uwzględnić informację o nim bez pobrania jego zawartości. Dlatego przed wdrożeniem sprawdź zarówno reguły robots.txt, jak i ustawienia indeksowania na stronie. W przypadku serwisu z filtrami może to oznaczać rozdzielenie adresów, które mają być skanowane i oznaczone noindex, od tych, których skanowanie chcesz ograniczyć z innych powodów.
Jak skontrolować wdrożenie i efekt
Zacznij od otwarcia docelowego adresu bez logowania i sprawdzenia kodu źródłowego oraz nagłówków odpowiedzi HTTP. Upewnij się, że serwer zwraca właściwą stronę, dyrektywa noindex jest obecna, a robots.txt nie zabrania jej pobrania. Gdy znacznik jest dodawany przez JavaScript, sprawdź także wersję strony widzianą po renderowaniu. Umieszczenie dyrektywy bezpośrednio w początkowym HTML zwykle upraszcza kontrolę wdrożenia.
Następnie sprawdź konkretny adres w narzędziu do diagnostyki indeksowania używanej wyszukiwarki. Szukaj informacji o możliwości skanowania, wykrytej dyrektywie i stanie indeksowania. Zmiana nie musi być widoczna od razu: robot musi ponownie odwiedzić adres i przetworzyć odpowiedź. Jeśli strona wcześniej pojawiała się w wynikach, daj systemowi czas na ponowne przetworzenie, zamiast wnioskować o błędzie wyłącznie na podstawie pojedynczego wyszukiwania.
Krótka lista kontrolna przed zakończeniem pracy: właściwy adres zwraca noindex; ważne strony nie odziedziczyły dyrektywy przez pomyłkę; robots.txt pozwala pobrać wykluczaną stronę; odnośniki do ważnych treści istnieją także poza nią; stan adresu został sprawdzony po wdrożeniu. Jeśli celem jest ponowne indeksowanie, usuń noindex i jeszcze raz zweryfikuj dostępność strony dla robota.
