VD » Blog » Pozycjonowanie / SEO » Tworzenie pliku robots.txt a SEO

Tworzenie pliku robots.txt a SEO

5 listopada 2021 (aktualizacja: 5 listopada 2021) 6-8 min. czytania
plik robots txt
Zobacz jak zwiększyliśmy sprzedaż o 739%

Aby zdać sobie sprawę z tego, czym jest plik “robots.txt”, należy zwrócić uwagę na ogrom pracy, które roboty wyszukiwarek internetowych, muszą wykonywać każdej godziny. Ogromne ilości stron internetowych jest skanowana pod kątem wyszukiwania odpowiednich treści dla użytkowników. Plik robots.txt, można powiedzieć, że odpowiada za usprawnienie całego procesu.

Robots.txt – czym jest?

To mały plik tekstowy, który jest swoistą instrukcją Twojej strony dla robotów wyszukiwarek. Wyznacza on pewnego rodzaju granicę, tego co może być skanowane. Jeśli np. nie chcesz, aby Google brało pod uwagę zakładkę, w której masz zamieszczony cennik, wystarczy, że w pliku robots.txt zablokujesz dostęp do tej części strony.

Jak wygląda robots.txt?

Na wstępie warto zaznaczyć, że nie musi on się znajdować na naszej stronie, w przypadku gdy chcemy, aby cała witryna była skanowana przez wyszukiwarki. Jednak jeśli poddajemy naszą stronę czynnością optymalizacyjnym pod kątem SEO, najprawdopodobniej taki plik już mamy lub będziemy mieć. Jak wygląda najprostszy kod, którego możemy użyć w pliku?:

User-agent: *

Disallow: /

Pierwsza fraza “User-agent” dotyczy tego, jakich wyszukiwarek wpis dotyczy. W tym przypadku jest podana gwiazdka, oznacza to, że wpis dotyczy wszystkich robotów, bez konieczności ich wymieniania (Google, Yahoo, Bing itp.). 

Druga fraza “Disallow” oznacza “uniemożliwić”. W tym przypadku, slash oznacza, że żadna część witryny nie jest zablokowana dla wyszukiwarek. Jeśli chcemy aby było inaczej, wpisujemy nazwę np. kategorii “Disallow: /cennik/”. Jeśli chcemy wyróżnić więcej niż jedną część naszej strony, wstawiamy identyczną komendę pod pierwszą, z nazwą interesującej nas kategorii, pliku itp.

Dlaczego robots.txt jest ważny?

Pomimo, że nie zmienia on funkcjonowania Twojej strony i nie musisz go posiadać, to jest on przede wszystkim przydatny w przypadku prowadzenia skomplikowanej strony, która zawiera interaktywną, dynamiczną treść. Wyobraź sobie, że na swojej stronie internetowej chcesz założyć coś, a`la YouTube i każde nagranie będzie posiadało własną podstronę. Przeskanowanie tak ogromnego zasobu może się strasznie rozciągać w czasie. Natomiast Google, nie zawsze musi wszędzie zaglądać. 

Stworzone przez Ciebie ograniczenia, mogą również być przydatne z punktu widzenia optymalizacji crawl budgetu. Google dostanie jasny sygnał do skanowania najistotniejszych rzeczy pod kątem SEO, pomijając treści, które mogłyby np. negatywnie wpłynąć na Twoje pozycję w wynikach wyszukiwania.

Jak sprawdzić czy posiadam plik robots.txt?

W tym celu najprościej jest wykorzystać swoją wyszukiwarkę. Jeśli posiadamy plik robots.txt to po wpisaniu jego nazwy po naszej domenie, powinien wyświetlić się nam na ekranie. Jeśli nie zostaniesz przekierowany do strony z zawartością “robots.txt”, która została przedstawiona powyżej, oznacza to, że nie posiadasz tego pliku.

Jak stworzyć plik robots.txt?

Istnieje kilka rodzajów tego pliku, które są przydatne w zależności od sytuacji, w której się znajdujesz. Wyróżnia się:

  • Statyczny – możesz utworzyć go w sposób ręczny i bardzo prosty. Tworzysz zwykły plik tekstowy z rozszerzeniem “.txt” i po prostu umieszczasz go na hostingu. Następnie według własnych potrzeb definiujesz komendy dla robotów wyszukiwarek.
  • Generator plików – dzięki tym narzędziom, nie musisz znać zasad pisania tekstu robots.txt. Generator poprosi Cię o podanie podstawowych informacji, które są istotne dla pliku, np. jakie roboty chcesz zablokować. Cała reszta zostanie wykonana automatycznie.
  • Dynamiczny – istnieje także sposób generowania pliku robots.txt z poziomu CMS`a. Generuje się go za pomocą systemu, którego ten plik dotyczy. Co to oznacza? Robots.txt w takim wariancie jest tworzony i aktualizowany zależnie od wybranych przez nas ustawień indeksowania dla danej sekcji na naszej stronie. Robi się to w sposób automatyczny, dzięki czemu nie trzeba pamiętać o edytowaniu pliku.

Jak przetestować nasz plik?

W tym celu posłużyć się możemy Google Search Console. W panelu musimy wybrać swoją stronę, a potem z zakładki “Pobieranie”, wybieramy opcję “Tester pliku robots.txt”. Dzięki temu możemy tworzyć i na bieżąco sprawdzać, czy tekst naszego pliku będzie poprawnie skonfigurowany. Google Search Console będzie przekazywało komunikaty na bieżąco.

Podsumowanie

Plik “robots.txt” jest swego rodzaju instrukcją obsługi naszej strony internetowej dla robotów wyszukiwarek. Należy pamiętać, że nie jest on niezbędny i jeśli go nie posiadamy, nasza strona będzie funkcjonować poprawnie. Jednak wszystko jest zależne od naszej konkretnej sytuacji. Z punktu widzenia SEO, może być przydatny, aby roboty wyszukiwarek nie indeksowały obszarów naszej witryny, które mogą negatywnie wpłynąć na pozycjonowanie.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *