Noindex-Anweisungen sind die verbreitetere der beiden Direktiven und kommen zum Einsatz, um Duplicate Content zu vermeiden. Außerdem bereinigen sie den Google-Index um Seiten mit wenig relevanten Inhalten (Thin Content) oder nicht für den Einstieg über die Suche vorgesehene URLs (Impressum, Datenschutz usw.).
Die gängigste Implementierung stellt die Einbindung des Meta-Tags in den <head> dar:
<meta name=”robots” content=”noindex” />
Noindex per X-Robots-Tag
Alternativ zum <head> kann ein noindex auch per X-Robots-Tag im HTTP-Header platziert werden. Das bietet sich z. B. bei PDF-Dokumenten ohne <head> an. Ein entsprechender Editor im CMS ermöglicht das Setzen von Robots-Angaben auf URL- und Verzeichnis-Ebene.
- Die Angaben “index, follow” werden standardmäßig im Meta-Robots-Tag gesetzt.
- Robots-Tags im <head> müssen im initialen HTML platziert sein und dürfen nicht nachträglich durch JavaScript hinzugefügt werden.
- Für jede URL müssen Redakteure die Meta-Robots-Tags noindex und nofollow un- abhängig voneinander vergeben können:
- <meta name=”robots” content=”index, follow”>
- <meta name=”robots” content=”index, nofollow”>
- <meta name=”robots” content=”noindex, follow”>
- <meta name=”robots” content=”noindex, nofollow”>
Link-Attribute: »nofollow«, »sponsored«, »ugc«
Im Unterschied zum Robots-Meta-Tag nofollow, welches für alle Links auf einer URL gilt, kann das nofollow-Attribut auf einzelne Verlinkungen angewendet werden. Somit kann verhindert werden, dass die Crawler einzelnen Links auf einer URL folgen.
- <a href=”…” rel=”nofollow”>…</a>
- <a href=”…” rel=”nofollow sponsored”>…</a>
- <a href=”…” rel=”nofollow ugc”>…</a>
Das nofollow-Attribut wird normalerweise z. B. auf spezielle Utility-Links wie einen Login- oder Warenkorb-Verweis sowie Links aus bezahlten Partnerschaften angewendet. Das sponsored-Attribut wird genutzt, um bezahlte Links zu markieren. Das ugc-Attribut zeichnet User Generated Content aus.
- Redakteure müssen einzelne Links über drei Checkboxen mit jedem einzelnen Attribut versehen können.
- Die Attribute können beliebig kombiniert werden.
- Diese Option muss losgelöst von der Funktion zur Verfügung stehen, das nofollow- Robots-Meta-Tag einzelnen URLs hinzuzufügen.