* |
symbolisiert Platzhalter für Parameter |
|
Das Hash-Zeichen '#' |
markiert eine Kommentarzeile beginnend ab dem letzten Zeichen vor dem Hash bis zum Zeilenende. |
|
User agent |
Das erste Zeichen einer Anweisung kann in Versalien geschrieben werden, die restlichen Zeichen müssen immer in Kleinbuchstaben geschrieben werden. |
|
user agent * |
Folgeanweisungen gelten für alle Suchrobots bis zur nächsten User-agent Anweisung. Vor dem User-Agent sind mindestens zwei Leerzeilen erforderlich. |
alle Robots dürfen zugreifen |
*.* |
wird nicht von allen Robots erkannt, aber von Googlebot. |
Platzhalter für Dateinamen und Dateiendungen |
user agent Googlebot |
Folgeanweisungen gelten nur für den Suchrobot "Googlebot" . Vor dieser Anweisung sollten zwei Leerzeilen stehen. |
nur der Googlebot darf zugreifen |
allow / |
Zugriff auf alle Verzeichnisse und Unterverzeichnisse erlaubt. Allow wird vom Googlebot, baer nicht von allen anderen Bots interpretiert. Allow ist im REP nicht definiert. |
unbeschränkter Zugriff |
disallow /* |
Zugriff auf kein Verzeichnis erlaubt. |
Danach können einzelne Bots mit "allow Botname" zugelassen werden. |
disallow /downloads
|
Zugriff nicht erlaubt auf Verzeichnis "/downloads" |
Ausschluss eines bestimmten Verzeichnisses |
disallow /LOGIN/*
|
Zugriff nicht erlaubt für spezifiziertes Verzeichnis und alle Unterverezichnisse |
Es ist für eine LOGIN-Seite sinnvoll, nicht im Index zu erscheinen. |
$ |
Platzhalter für Datei mit bestimmter Endung |
|
disallow /$.htm |
Zugriff auf alle Dateien mit Endung htm nicht erlaubt |
ist nützlich bei Umstellung von htm auf php-Dateien |
* |
Platzhalter für eine Zeichensequenz |
|
disallow /$*htm |
Zugriff auf alle Dateien mit der Zeichensequenz "htm" oder "html" in der Dateierweiterung nicht erlaubt. |
ist nützlich bei Umstellung von htm und html auf php-Dateien |
noindex: /article.php |
Die Syntax entspricht "disallow". Die URLs werden aus dem Google-Index genommen und nicht nur beim crawlen ignoriert. |
Seiten aus dem Index entfernen |
Crawling-Geschwindigkeit = "schneller" |
Parameter in den Google Webmaster Tools. Derzeit nur normal und langsamer verfügbar. |
Dadurch wird die Seite zwar nicht häufiger gecrawlt, aber bei jedem Crawlvorgang werden mehr Seiten gecrawlt und dadurch neue Seiten eventuell schneller indexiert. Zurzeit spielt die Crawl-Geschwindigkeit beim Crawling keine Rolle. Sollte sich dies ändern, wird die Option Schneller verfügbar. |
|
|
|
REP-Anweisungen können auch in den META Tags einer einzelnen Seite genutzt werden. |
|
|
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> |
Manche Seiten sind nur für die Besucher, z.B. LOGIN |
Der Seiteninhalt wird nicht in den Index aufgenommen. Den Links auf der Seite folgt der Robot nicht. |
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW"> |
wenn ein spezieller Robot verhindert werden soll |
nur bei diesem Robot der die Seiten weder indiziert noch folgt der spezifizierte Robot den Links der Seite. Die Links werden auch nicht beim SERP berücksichtigt. Verhindert reziproke Links. |
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX"> |
Die Robots sollen die Images auf der Seite nicht indizieren. |
Bilder dieser Seite werden nicht angezeigt. |
<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET"> |
Snippets einer Seite sollen nicht angezeigt werden. |
Zeigt Snippets einer Seite nicht an. |
<META NAME="ROBOTS" CONTENT="NOARCHIVE"> |
Seite soll nicht im Cache vorgehalten werden. |
Zeigt Seite nicht im Cache an, z.B. Bestellseiten. |
<META NAME="GOOGLEBOT" CONTENT="NOODP"> |
Seitenbeschreibung wird nicht von DMOZ geholt. |
Zeigt die eigene DESCRIPTION an und nicht die von DMOZ. |
<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 31-Aug-2008 24:00:00 MEZ"> |
Seite soll ab einem bestimmten Datum nicht mehr angezeigt werden. |
Seite wird nach dem angegebenen Zeitpunkt nicht mehr angezeigt, z.B. bei zeitlich befristeten Sonderangeboten oder Ablauf-Terminen. Man braucht sich nicht mehr um die Seite kümmern. |
<META NAME="GOOGLE" VALUE="notranslate"> |
Seiteninhalte nicht in andere Sprachen übersetzen. Google verwendet dafür ein statistisches Übersetzungssystm, das auf dem bisherigen Sprachgebrauch der Nutzer basiert. Gute Sprache führt zu guten Übersetzungen. |
Inhalte der Seite werden nicht von Google automatisch in andere Sprachen übersetzt. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|