Robots.txt dla Google – informacje podstawowe

Roboty wyszukiwarek internetowych podczas wejść na stronę w pierwszej kolejności szukają na serwerze pliku o nazwie robots.txt. Jest to plik działający w oparciu o protokół Robots Exclusion Protocol, czyli mechanizm informujący boty o tym jakie części serwisu są zablokowane przed indeksowaniem – co oczywiście ma istotny wpływ na pozycjonowanie stron. Plik robots.txt powinien być umieszczony w głównym katalogu domeny.

Dlaczego blokować dostęp do niektórych części serwisu?

Z punktu widzenia pozycjonowania przyczyn jest kilka. Najczęściej chodzi o blokowanie stron tworzących duplicate content, katalogów zawierających prywatne pliki oraz stron w przygotowaniu.

Tworzenie i edycja pliku robots.txt jest dziecinnie prosta. Wystarczy nam do tego najprostszy edytor tekstu (np. notatnik). Oto przykładowa postać pliku:

User-agent: *
Disallow: /

Taki zapis spowoduje zablokowanie całego serwisu dla wszystkich robotów wyszukiwania. Jeśli chcemy zablokować dostęp tylko dla wybranych botów lub tylko części serwisu, należy użyć odpowiednich wartości:

User-agent: googlebot
Disallow: /private/

Ten zapis zablokuje dostęp do folderu private tylko dla botów Google.

Jeśli nie chcemy, aby obrazy z naszej strony pojawiały się w wynikach wyszukiwania grafiki w Google, musimy użyć zapisu:

User-agent: Googlebot-Image
Disallow: /

Plik robots.txt dla sklepu internetowego na przykładzie eCommerce:

User-agent: *
Disallow: /*?osCsid
Disallow: /*buy_now
Disallow: /*add_product

Powyższy zapis spowoduje zablokowanie indeksowania stron z identyfikatorem sesji sklepu osCommerce oraz koszyka, który przyczynia się do wzrostu ilości stron duplicate content w serwisie.

Jeśli nie mamy możliwości stworzenia pliku robots.txt lub po prostu nie chcemy blokować stron przy pomocy tego rozwiązana, istnieje możliwość zablokowania indeksacji strony np. poprzez zapis w sekcji HEAD.