Robots
| HTML Grundkurs - Robots |
Wie bewegt sich ein Robot durchs Netz?
Der Robot (ein Programm) ruft eine Webseite nach der anderen ab und "merkt sich" deren Inhalt und Adresse in einer Datenbank (Indexierung). Roboter gehen dabei von den Startseiten großer Server aus. Diese Seiten enthalten Links, die dann verfolgt werden usw. usw. ... bis große Teile des WWW indiziert sind. Gefundene Seiten werden regelmäßig besucht, um die Datenbank zu aktualisieren (Veränderungen, Verschwinden von Seiten). Robots sind also 24 Stunden täglich im Netz unterwegs und verursachen einen erheblichen Datenverkehr im WWW.
Was merkt sich der Robot?
Er ist weder in der Lage, selbständig eine sinnvolle Zusammenfassung einer Seite zu erstellen, noch die wichtigsten Stichworte herauszufinden. Er durchsucht den Kopf (Head) der Seite und kann dort hinterlegte Informationen (Title, META-Tags) auswerten, filtert die Überschriften und die ersten Sätze, die das Dokument enthält. Informationen, die er so gefunden hat, werden automatisch in einer Datenbank in einem Stichwortindex hinterlegt. Eine Qualitätskontrolle findet nicht statt.
Nimmt der Anwender nun eine Suchmaschine in Anspruch, dann wird lediglich der Stichwortindex durchsucht. Die oft enttäuschenden Suchergebnisse erklären sich zum Teil aus diesem vollautomatischen Verfahrens bei der "Fütterung der Datenbank".
Wie können Robots sinnvoll gefüttert werden?
Man muss nicht warten, bis die Robots der wichtigsten Suchmaschinen die eigenen Seiten gefunden haben. Die Adresse der neuen Seite per E-Mail oder Online-Formular den entsprechenden Suchmaschinen mitgeteilt werden. Sie wird in die Liste der noch zu besuchenden Seiten eingetragen, innerhalb einiger Tage besucht und indiziert. Bei Kataloge kann man sich ebenfalls anmelden.
Um die Qualität der Eintragungen in die Datenbanken der Suchmaschinen zu verbessern, haben sich die Betreiber der meisten Suchmaschinen auf Standards geeinigt, die es dem Ersteller einer Seite ermöglichen, sinnvolle Stichworte und Zusammenfassungen selbst abzufassen und diese auf seiner Seite zu hinterlegen.
Dies geschieht im Kopf der HTML-Seite (wird vom Browser nicht angezeigt) mit Hilfe von Metatags.
Im <HEAD> des Dokuments werden die Metatags eingefügt:
-
<META name = "description" content="Zusammenfassung"
Der content-Parameter enthält die Zusammenfassung, der Text sollte nicht länger als 200 Zeichen sein. -
<META name ="keywords" content="Stichwortliste"
Der content-Parameter enthält die Stichworte, unter denen die Seite indiziert werden soll. Die einzelnen Stichworte werden durch Kommas getrennt. Die Liste sollten nicht mehr als 1000 Zeichen enthalten.
