Das Robots-Meta-Tag ist ein kleines HTML-Fragment, mit welchem man Suchmaschinen (bzw. ihren Crawlern) Anweisungen gibt, ob sie eine gegebene Website crawlen und/oder indexieren sollen. In den meisten Fällen werden Robots-Meta-Tags eingesetzt um die Indexierung einer Seite zu verhindern, sie können aber auch für andere Zwecke festgelegt werden.
Der Aufbau eines Robots-Meta-Tag
Ein Robots-Meta-Tag wird im Head-Bereich der jeweiligen Seite hinterlegt und hat den folgenden beispielhaften Aufbau:
<meta name="robots" content="noindex" />
Wir haben hier also einen Meta-Tag mit zwei Attributen: Name und Content.
Das Name-Attribut
Mit dem Name-Attribut wird festgelegt an welchen Crawler man die Anweisung richten will. In der Regel verwendet man hier schlicht "robots" um alle Crawler anzusprechen. Man kann aber auch spezifische Crawler adressieren. Mit "googlebot" etwa adressiert man nur den Web-Crawler von Google. Möchte man mehrere unterschiedliche Crawler ansprechen und ihnen jeweils eigene Anweisungen geben, sollte man hierfür mehrere Meta-Tags verwenden.
Das Content-Attribut
Mit dem Content-Attribut gibt man dem Crawler Anweisungen, was er tun soll. Hier gibt es eine Reihe möglicher Anweisungen, unter anderem
- noindex: die Seite soll nicht indexiert werden und nicht in den SERPs erscheinen
- nofollow: Crawler sollen den Links auf dieser Seite nicht folgen