Ustal cel i zakres pierwszego skanowania
Crawl to przejście narzędzia po adresach witryny, zwykle od wskazanej strony i znalezionych na niej linków. Pozwala zobaczyć między innymi kody odpowiedzi, przekierowania, tytuły stron oraz linki wewnętrzne. Nie jest jednak pełnym obrazem tego, co widzi każda wyszukiwarka ani tego, które adresy znajdują się w jej indeksie. Na początek postaw proste pytanie: czy ważne strony serwisu da się znaleźć przez linki i czy odpowiadają zgodnie z oczekiwaniami?
Zapisz zakres przed uruchomieniem narzędzia. W małym sklepie mogą to być strona główna, kategorie, produkty i poradnik; w serwisie usługowym — usługi, lokalizacje i kontakt. Ustal też, czy skanujesz tylko jedną subdomenę, czy kilka. Jeśli witryna ma wersje językowe albo obszar wymagający logowania, zanotuj, które części obejmuje ten pierwszy przebieg. Dzięki temu brak adresu w raporcie nie zostanie automatycznie uznany za błąd.
Przygotuj narzędzie, zanim uruchomisz crawl
Wprowadź właściwy adres startowy, łącznie z protokołem i docelową wersją hosta. Sprawdź, czy narzędzie podąża za linkami wewnętrznymi oraz jak traktuje robots.txt, przekierowania i adresy kanoniczne. Na pierwszy przebieg zwykle warto pozostawić ustawienia respektujące ograniczenia dostępu. Jeżeli skaner nie może wejść do części serwisu, odnotuj to jako ograniczenie badania, zamiast od razu zmieniać reguły witryny.
Dobierz tempo skanowania do możliwości serwera. Przy większej stronie zacznij od ograniczonej liczby adresów lub konkretnego katalogu, a pełniejszy przebieg wykonaj później. Zanotuj datę, adres startowy, ustawienia i limit skanu. To ważne, bo dwa raporty wykonane przy różnych ustawieniach mogą pokazywać inne wyniki bez żadnej zmiany w samej witrynie.
Jeśli serwis wyświetla istotne linki lub treści dopiero po uruchomieniu JavaScriptu, sprawdź, czy użyte narzędzie je obsługuje. W razie wątpliwości porównaj wyniki skanowania z tym, co widać podczas zwykłego korzystania ze strony. Brak adresu w raporcie może wynikać z konfiguracji skanera, a nie z tego, że strona nie istnieje.
Najpierw sprawdź pokrycie i kody odpowiedzi
Po zakończeniu skanu nie zaczynaj od każdego ostrzeżenia z osobna. Najpierw porównaj listę znalezionych adresów z krótką listą stron, które powinny być dostępne: głównych kategorii, usług lub najważniejszych artykułów. Jeśli którejś brakuje, sprawdź, czy prowadzi do niej link wewnętrzny, czy mieści się w zakresie skanu i czy narzędzie mogło do niej dotrzeć. Mapa witryny może pomóc w porównaniu list, ale sama obecność adresu w mapie nie oznacza, że jest on łatwo dostępny przez nawigację.
Następnie pogrupuj adresy według kodów odpowiedzi. Strony zwracające kod 200 obejrzyj pod kątem ich roli w serwisie. Przy kodach 3xx sprawdź, czy przekierowania prowadzą do właściwych miejsc i czy linki wewnętrzne nie kierują niepotrzebnie przez kilka etapów. Przy 4xx ustal, skąd pochodzi link i czy adres powinien nadal działać. Kody 5xx wymagają weryfikacji, zwłaszcza gdy dotyczą ważnych stron; pojedynczy wynik skanowania nie mówi jeszcze, czy problem jest stały.
Oddziel sygnały techniczne od rzeczywistych zadań
W kolejnym kroku sprawdź adresy z dyrektywą noindex, wskazaniem kanonicznego adresu oraz strony z podobnymi lub pustymi tytułami. Nie traktuj każdej pozycji w raporcie jako usterki. Strona koszyka może celowo nie być przeznaczona do indeksowania, a kilka wariantów adresu może wskazywać jedną wersję kanoniczną. Pytanie brzmi: czy ustawienie pasuje do funkcji danej strony?
Przydatna jest prosta tabela z kolumnami: adres, typ strony, zaobserwowany problem, oczekiwane zachowanie, źródło odkrycia, priorytet i osoba odpowiedzialna. Dla przykładu: jeśli ważna kategoria zwraca 404, zapisz, skąd prowadzi do niej link i jaki adres powinien być docelowy. Jeśli zaś stary artykuł przekierowuje poprawnie na nowszy, możesz odnotować wynik bez tworzenia pilnego zadania. Zachowaj też eksport surowych danych, aby móc wrócić do szczegółów.
Ustal priorytety i wykonaj kontrolny przebieg
Najwyżej umieść problemy utrudniające dostęp do ważnych stron: błędne linki w nawigacji, nieoczekiwane błędy serwera lub przypadkowe wyłączenie istotnej sekcji z indeksowania. Niżej mogą znaleźć się poprawki pojedynczych tytułów czy porządkowanie starych przekierowań. Priorytet zależy od znaczenia adresu, skali problemu i pewności diagnozy, a nie tylko od liczby ostrzeżeń pokazanej przez narzędzie.
Przed przekazaniem zadania sprawdź kilka reprezentatywnych adresów ręcznie. Otwórz stronę, przejdź do niej linkiem z serwisu i potwierdź, czy zachowanie zgadza się z raportem. Po wdrożeniu poprawek powtórz skan z tym samym zakresem i ustawieniami. Porównaj konkretne adresy oraz typy problemów, nie tylko łączną liczbę wykrytych stron. W ten sposób pierwszy crawl staje się punktem odniesienia do kolejnych kontroli, a nie jednorazową listą alarmów.
