SEO
Tag meta robots to jeden z kluczowych elementów optymalizacji pod kątem wyszukiwarek internetowych. Jego konfiguracja w kodzie HTML pozwala określić czy dana strona może zostać zindeksowana czy raczej ma być przez roboty zignorowana. Z tego względu omawiane dziś pojęcie należy do podstawowych definicji stosowanych w SEO.
Co to jest Meta Robots?
Meta robots to znacznik umieszczany w sekcji head dokumentu HTML, który informuje roboty wyszukiwarek o tym, jak mają traktować daną stronę. Dzięki niemu można kontrolować indeksowanie i wyświetlanie strony w wynikach wyszukiwania. Może on wyglądać na przykład w ten sposób:
<meta name="robots" content="noindex, follow" />Powyższa składnia oznacza ni mniej, ni więcej, że wszystkie roboty odwiedzające stronę internetową mogą podążać za linkami na stronie (follow), ale nie mogą tej podstrony indeksować (noindex).
Dyrektywy stosowane w meta tagu robots
Zawartość atrybutu content zawiera instrukcje określające, w jaki sposób strona ma być indeksowana i wyświetlana w wynikach wyszukiwania. Instrukcje można łączyć, oddzielając je przecinkami. Wśród instrukcji respektowanych przez boty Google’a znajdziemy:
- index — jest to domyślna wartość (co oznacza, że całkowity brak tagu robots jest tak samo interpretowany), która oznacza zezwolenie na indeksację.
- noindex — dyrektywa przeciwna do index, a więc jest to zakaz indeksacji podstrony.
- follow — oznacza “podążaj za linkami na stronie”, dotyczy zarówno linków wewnętrznych, jak i zewnętrznych.
- nofollow — przeciwieństwo follow, zakaz podążania za wszystkimi linkami dostępnymi na stronie.
- none — taka wartość jest interpretowana tak samo jak zestaw “noindex, nofollow”.
- all — oznacza to samo co zestaw “index, follow”.
- noimageindex — zakaz indeksacji grafik dostępnych na stronie.
- nosnippet — oznacza, że zakazujemy robotom wyświetlania snippetów w wynikach wyszukiwania.
- noarchive — tą dyrektywą zabraniamy przechowywania kopii strony w pamięci podręcznej.
- notranslate — stosujemy w sytuacji, gdy nie chcemy zezwalać na tłumaczenie strony przez Google.
Prawidłowa konfiguracja meta robots
W zdecydowanej większości przypadków chcemy, aby roboty indeksujące korzystały z domyślnej dyrektywy “index, follow”. Warto jednak rozważyć jednak też inne przypadki.
<meta name=”robots” content=”noindex, nofollow” /> — warto stosować na stronach, gdzie chcemy całkowicie zablokować dostęp robotom, np. na podstronie koszyka czy zamówienia w sklepie internetowym.
<meta name=”robots” content=”noindex, follow” /> — taki wariant chcemy umieścić np. na podstronach zawierających duplikat treści lub po prostu jeszcze nie przygotowanych do indeksowania, przez które jednak chcemy przepuścić robota (by sprawdził kolejne polinkowane wewnętrznie podstrony).
<meta name=”robots” content=”index, nofollow” /> — taka dyrektywa znajdzie zastosowanie np. w tzw. landing page’ach, które chcemy indeksować i które zawierają tylko linki do podstron, których nie chcemy indeksować (np. do koszyka).