Meta-Robots-Tags »noindex« & »nofollow«

Das noindex-Attribut wird genutzt, um URLs zu kennzeichnen, die von Google nicht indexiert werden sollen. Das nofollow-Attribut hingegen bewirkt, dass der Googlebot keinen Links auf der entsprechenden URL folgt.

Noindex-Anweisungen sind die verbreitetere der beiden Direktiven und kommen zum Einsatz, um Duplicate Content zu vermeiden. Außerdem bereinigen sie den Google-Index um Seiten mit wenig relevanten Inhalten (Thin Content) oder nicht für den Einstieg über die Suche vorgesehene URLs (Impressum, Datenschutz usw.).

Die gängigste Implementierung stellt die Einbindung des Meta-Tags in den <head> dar:

Noindex per X-Robots-Tag

Alternativ zum <head> kann ein noindex auch per X-Robots-Tag im HTTP-Header platziert werden. Das bietet sich z. B. bei PDF-Dokumenten ohne <head> an. Ein entsprechender Editor im CMS ermöglicht das Setzen von Robots-Angaben auf URL- und Verzeichnis-Ebene.

Die Angaben “index, follow” werden standardmäßig im Meta-Robots-Tag gesetzt.
Robots-Tags im <head> müssen im initialen HTML platziert sein und dürfen nicht nachträglich durch JavaScript hinzugefügt werden.
Für jede URL müssen Redakteure die Meta-Robots-Tags noindex und nofollow un- abhängig voneinander vergeben können:

<meta name=”robots” content=”index, follow”>
<meta name=”robots” content=”index, nofollow”>
<meta name=”robots” content=”noindex, follow”>
<meta name=”robots” content=”noindex, nofollow”>

Link-Attribute: »nofollow«, »sponsored«, »ugc«

Im Unterschied zum Robots-Meta-Tag nofollow, welches für alle Links auf einer URL gilt, kann das nofollow-Attribut auf einzelne Verlinkungen angewendet werden. Somit kann verhindert werden, dass die Crawler einzelnen Links auf einer URL folgen.

<a href=”…” rel=”nofollow”>…</a>
<a href=”…” rel=”nofollow sponsored”>…</a>
<a href=”…” rel=”nofollow ugc”>…</a>

Das nofollow-Attribut wird normalerweise z. B. auf spezielle Utility-Links wie einen Login- oder Warenkorb-Verweis sowie Links aus bezahlten Partnerschaften angewendet. Das sponsored-Attribut wird genutzt, um bezahlte Links zu markieren. Das ugc-Attribut zeichnet User Generated Content aus.

Redakteure müssen einzelne Links über drei Checkboxen mit jedem einzelnen Attribut versehen können.
Die Attribute können beliebig kombiniert werden.
Diese Option muss losgelöst von der Funktion zur Verfügung stehen, das nofollow- Robots-Meta-Tag einzelnen URLs hinzuzufügen.