So arbeiten Suchmaschinen:
Spider, Robots Crawler

Es ist natürlich ein Irrglaube, dass Suchmaschinen tatsächlich Millionen von Internetseiten durchsuchen, wenn du die Suchen-Taste angeklickt hast: Das würde nur funktionieren, wenn es sehr wenige Webseiten gäbe. In Wirklichkeit liegen die Suchergebnisse längst griffbereit auf dem Server.

Es gibt weit weniger Suchbegriffe als Webseiten, deshalb speichern Suchmaschinen eine Datenbank in der Form:
Suchbegriff1: Seite 1234, Seite 6728, Seite 9601.....
Suchbegriff2: Seite 2434, Seite 6488, Seite 9181.....

Die eigentliche Arbeit verrichtet der Robot (Spider, Crawler, Bot....)

Das ist nichts weiter als ein automatischer Webbrowser, der auf irgendeinem Computer auf der Welt die "nackten" Webseiten aufruft und den Inhalt nach bestimmten Kriterien analysiert. "Nackt" heißt: Es werden idR. keine Bilder, Style Sheets, Skripts usw geladen. Dabei wird beurteilt, wie relevant die Seite ist und entschieden, an welcher Stelle sie in die obige Liste eingefügt wird. Und das entscheidet letztendlich wieder darüber, ob die Seite weit vorne oder irgendwo oder gar nicht mehr in Trefferlisten angezeigt wird. Die Beurteilungskriterien sind natürlich ein wohlgehütetes Geheimnis, nur durch Beobachtung lassen sich einige Schlüsse ziehen.

Die Trefferlisten, die wir zu sehen bekommen, sind also schon vor einiger Zeit zustande gekommen - möglicherweise sogar mit unterschiedlichen Versionen der Spider und damit auch mit verschiedenen Kriterien.

Dieser Mechanismus ist das eigentlich Schwierige im Umgang mit Suchmaschinen. Die lange Dauer zwischen Aktion und Reaktion lässt keine Experimente durch Versuch und Irrtum zu. Heute gemachte Änderungen schlagen vielleicht erst in Monaten durch - zum Vorteil oder auch zum Nachteil. Für Basteleien bleibt wenig Raum und - ungewohnt für Webdesigner - kleine Fehler können nicht mehr auf die Schnelle korrigiert werden. Es dauert lange, bis man den schwarzen Peter wieder anbringt und unüberlegte Rettungsversuche können noch mehr Schaden anrichten.

Nun ist es die Sache des Webmasters nicht, über alle Änderungen genau Buch zu führen und Monate später dann stundenlang darüber zu brüten. Die Anschaffung von Analysetools rechnet sich nur für diejenigen, die sich ausschließlich mit Suchmaschinen-Optimierung befassen, naturgemäß ist aber die nachträgliche Anpassung weit schwieriger als schon bei der Erstellung auf suchmaschinen-relevante Aspekte zu achten.

Boshafterweise schlagen auch scheinbar kleine Änderungen oft nicht dort durch, wo sie gemacht wurden, sondern manchmal völlig überraschend an anderer Stelle. Es erfordert eine genaue Kenntnis der Site-Struktur, um das nachvollziehen zu können; Diese Kenntnis hat in der Regel nur der Webmaster.

Suchmaschinen lassen wenig Raum für Experimente. Der Webdesigner muss vorher wissen, was er tut. Die schnelle Korrektur ist nicht mehr möglich.