Meta Robots, a w zasadzie meta tag robots, to jeden z tagów HTML, który przekazuje informacje robotom o danej witrynie. Może się odnosić do tego, czy dana treść ma być indeksowana, jakie treści mają być wyświetlane z poziomu wyników wyszukiwania itp. Jest on umieszczany w dokumencie HTML jako jeden ze znaczników. Dzięki temu jest on odczytywany przez różnego rodzaju crawlery, które uwzględniają go w swoich działaniach.
Do czego wykorzystuje się meta tag robots?
Meta tag robots jest ważny m.in. z punktu widzenia pozycjonowania stron internetowych. Pozwala on na niedopuszczanie robotów indeksujących do treści o niskiej jakości, stron logowania, zduplikowanych treści itp. Innymi słowy, meta robots pozwala na blokowanie indeksowania stron, które nie są wartościowe lub nawet są szkodliwe w przypadku pozycjonowania strony.
Z czego składa się meta robots?
W dużym uproszczeniu meta robots składa się z części, która określa to, jakich crawlerów dotyczy dana dyrektywa oraz z części, która określa komendę względem treści na danej stronie dla robotów. W ten sposób, meta tag robots może wyglądać w ten sposób:
<meta name=”googlebot” content=”noindex”/>
W tym przypadku meta robots odnosi się tylko do robota indeksującego Google (pomijając roboty innych wyszukiwarek) i wskazuje, aby nie indeksował on treści znajdujących się na danej stronie. Zastanawiasz się, jakie jeszcze komendy można przekazać robotom za sprawą meta robots? W wartości “content” można podać m.in.:
- nofollow – nakazuje nie podążać za linkami na stronie,
- noarchive – wskazuje, aby nie przechowywać kopii strony w pamięci podręcznej,
- nosnippet – za sprawą tej komendy, nie będą wyświetlane tzw. snippety w wynikach wyszukiwania,
- notranslate – aby algorytm nie proponował użytkownikom tłumaczenia strony,
- none – połączenie dyrektyw noindex oraz nofollow, czyli wskazanie, aby roboty nie indeksowały treści, ani nie podążały za linkami.
To tylko jedne z bardziej popularnych dyrektyw. Co ciekawe, możliwe jest ich łączenie. Dzięki temu, można wydawać różne polecenie, jak np.
<…content=”noarchive, notranslate”/> itp.
