Robots-Meta-Tag

Das Robots-Meta-Tag ist ein kleines HTML-Fragment, mit welchem man Suchmaschinen (bzw. ihren Crawlern) Anweisungen gibt, ob sie eine gegebene Website crawlen und/oder indexieren sollen. In den meisten Fällen werden Robots-Meta-Tags eingesetzt um die Indexierung einer Seite zu verhindern, sie können aber auch für andere Zwecke festgelegt werden.

Der Aufbau eines Robots-Meta-Tag

Ein Robots-Meta-Tag wird im Head-Bereich der jeweiligen Seite hinterlegt und hat den folgenden beispielhaften Aufbau:

<meta name="robots" content="noindex" />

Wir haben hier also einen Meta-Tag mit zwei Attributen: Name und Content.

Das Name-Attribut

Mit dem Name-Attribut wird festgelegt an welchen Crawler man die Anweisung richten will. In der Regel verwendet man hier schlicht "robots" um alle Crawler anzusprechen. Man kann aber auch spezifische Crawler adressieren. Mit "googlebot" etwa adressiert man nur den Web-Crawler von Google. Möchte man mehrere unterschiedliche Crawler ansprechen und ihnen jeweils eigene Anweisungen geben, sollte man hierfür mehrere Meta-Tags verwenden.

Das Content-Attribut

Mit dem Content-Attribut gibt man dem Crawler Anweisungen, was er tun soll. Hier gibt es eine Reihe möglicher Anweisungen, unter anderem

• noindex: die Seite soll nicht indexiert werden und nicht in den SERPs erscheinen
• nofollow: Crawler sollen den Links auf dieser Seite nicht folgen

Weitere Direktiven

Neben "noindex" und "nofollow" gibt es weitere Content-Werte. "noarchive" verhindert, dass Google eine gecachte Version der Seite speichert. "nosnippet" unterbindet die Anzeige von Text-Snippets in den Suchergebnissen. "noimageindex" schließt Bilder einer Seite aus dem Google Bildindex aus. Diese Direktiven lassen sich kombinieren, zum Beispiel: content="noindex, noarchive".

Abgrenzung zu robots.txt

Robots-Meta-Tag und robots.txt erfüllen ähnliche, aber unterschiedliche Funktionen. Die robots.txt regelt das Crawling - sie kann Crawler davon abhalten, eine Seite zu besuchen. Der Robots-Meta-Tag regelt das Indexing - er wirkt erst, nachdem ein Crawler die Seite bereits besucht hat. Eine in der robots.txt gesperrte Seite kann trotzdem indexiert werden, wenn sie von anderen Seiten verlinkt wird. Wer eine Seite sicher aus dem Index halten will, braucht "noindex" im Meta-Tag.