Co pokazuje log serwera, a czego nie pokazuje
Log dostępu zapisuje żądania obsłużone przez serwer. Zwykle zawiera czas, żądany adres, kod odpowiedzi, identyfikator klienta i ciąg user-agent. Dzięki temu można sprawdzić, czy w wybranym okresie odnotowano żądania dotyczące konkretnych podstron oraz czy serwer zwrócił na nie na przykład kod 200, przekierowanie albo błąd. To przydatne uzupełnienie kontroli witryny, bo pokazuje zdarzenia po stronie serwera, a nie tylko to, co wynika z mapy strony lub linków.
Wpis w logu nie dowodzi jednak, że strona została zaindeksowana. Brak wpisu również nie musi oznaczać, że robot nie próbował jej odwiedzić: żądanie mogło zostać obsłużone przez CDN lub pamięć podręczną, a dostępny plik może obejmować zbyt krótki okres. Przed analizą ustal więc, które logi zbierasz, jak długo są przechowywane i czy obejmują wszystkie serwery obsługujące witrynę.
Przygotuj listę adresów i zakres analizy
Nie zaczynaj od liczenia wszystkich wizyt robotów. Wypisz adresy ważne dla działania serwisu: stronę główną, główne kategorie, istotne podkategorie i kilka reprezentatywnych stron produktów lub artykułów. W sklepie warto dodać produkt, który powinien być dostępny stale, oraz kategorię, do której prowadzą linki z menu. Dla każdego adresu zapisz oczekiwaną wersję URL, uwzględniając protokół, subdomenę i końcowy ukośnik, jeśli ma znaczenie w konfiguracji witryny.
Wybierz okres, dla którego masz kompletne dane, i sprawdź strefę czasową zapisów. Następnie przygotuj plik z kolumnami: adres, liczba żądań, data ostatniego żądania, otrzymane kody odpowiedzi i ewentualny adres przekierowania. Taką tabelę można zbudować w arkuszu lub narzędziu do analizy logów. Oddziel adresy z parametrami, na przykład filtrowania, od podstawowych adresów kategorii. Inaczej wiele wariantów jednego widoku może przesłonić obraz wizyt na stronach, które chcesz ocenić.
Odfiltruj roboty i odczytaj odpowiedzi serwera
Najprostszy pierwszy filtr wykorzystuje pole user-agent, ale traktuj je jako wskazówkę, nie potwierdzenie tożsamości. Każdy klient może zadeklarować nazwę popularnego robota. Jeśli od rozpoznania konkretnego operatora zależy decyzja, zastosuj zalecaną przez niego metodę weryfikacji adresu IP zamiast ufać samej nazwie. Do wstępnej diagnozy możesz też porównywać osobno grupy żądań o różnych user-agentach, bez zakładania, że wszystkie są autentyczne.
Dla adresów z listy sprawdź przede wszystkim kody odpowiedzi. Kod 200 oznacza, że serwer zwrócił zawartość, lecz sam nie potwierdza, czy była ona użyteczna ani czy dopuszczała indeksowanie. Kod 301 lub 302 wymaga sprawdzenia celu przekierowania; ważna strona może niepotrzebnie prowadzić przez kilka kolejnych adresów. Kod 404 sugeruje brak zasobu, a powtarzające się odpowiedzi 5xx wskazują na problem z obsługą żądań. Kod 403 wymaga sprawdzenia reguł dostępu. Odpowiedź 304 może pojawić się przy ponownym żądaniu zasobu i nie należy jej automatycznie uznawać za błąd.
Porównaj ważne strony i szukaj wzorców
Spójrz na dane w kontekście całej listy. Jeśli robot regularnie żąda stron kategorii, ale w wybranym okresie nie ma wpisów dla ważnych artykułów, sprawdź, czy artykuły są podlinkowane z dostępnych stron oraz czy występują w mapie witryny. To kierunek dalszej kontroli, a nie dowód, że brak linku spowodował brak wizyt. Podobnie pojedyncze żądanie nowej strony niewiele mówi bez informacji o długości analizowanego okresu i kompletności logów.
Zwróć uwagę, czy robot pobiera przede wszystkim adresy z parametrami, stare URL-e lub strony zwracające błędy, podczas gdy ważne adresy pojawiają się rzadko. Porównaj także odpowiedzi dla tego samego URL-a w różnych momentach: przejście od 200 do 5xx może wskazać problem, który umknął podczas ręcznego sprawdzania. Częstotliwość wizyt sama w sobie nie jest oceną jakości strony ani celem do maksymalizowania.
Zamień obserwacje w krótką checklistę działań
Po analizie przejdź kolejno przez cztery pytania. Czy wybrane logi obejmują ruch z całej infrastruktury? Czy ważne adresy występują w danych pod oczekiwaną postacią? Jakie kody otrzymywały żądania przypisane robotom? Czy nietypowe wyniki da się odtworzyć, sprawdzając adres, przekierowania, linkowanie wewnętrzne i ustawienia dostępu? Zapisz osobno obserwację, możliwe wyjaśnienie oraz sposób jego sprawdzenia. Dzięki temu brak wizyty nie zamieni się od razu w nieuzasadnioną diagnozę.
Zacznij naprawę od problemów, które można potwierdzić: niedziałających ważnych stron, błędnych przekierowań lub niezamierzonej blokady dostępu. Po zmianach porównaj logi z kolejnego dostępnego okresu, zachowując podobny sposób filtrowania. Pamiętaj też, że logi mogą zawierać adresy IP i parametry z danymi użytkowników. Ogranicz dostęp do plików, nie rozpowszechniaj surowych wpisów i pracuj tylko na danych potrzebnych do diagnozy.
