Was macht eine Suchmaschine?
Suchmaschinen sind die digitale Version eines Bibliothekars. Sie verwenden einen umfassenden Index, um die richtigen Informationen für eine Anfrage zu finden. Wenn Sie die Grundlagen der Suche kennen, können Sie Ihre Inhalte so gestalten, dass sie für Nutzer auffindbar sind.
So durchsuchen Crawler das Web
Das Crawling ist wie das Lesen aller Bücher in der Bibliothek. Bevor Suchmaschinen Suchergebnisse liefern können, benötigen sie möglichst viele Informationen aus dem Web. Dazu verwenden Suchmaschinen einen Crawler – ein Programm, das von Website zu Website wechselt und sich wie ein Browser verhält.
Wenn ein Buch oder Dokument fehlt oder beschädigt ist, kann der Crawler es nicht lesen. Crawler versuchen, jede URL abzurufen, um den Status des Dokuments zu ermitteln. Wenn für ein Dokument ein Fehlerstatuscode zurückgegeben wird, können Crawler keine seiner Inhalte verwenden und versuchen es möglicherweise später noch einmal mit der URL. So wird sichergestellt, dass nur öffentlich zugängliche Dokumente in den Index aufgenommen werden.
Wenn Crawler einen Weiterleitungsstatuscode wie 301 oder 302 erkennen, folgen sie der Weiterleitung zu einer neuen URL und setzen dort fort. Sobald sie eine erfolgreiche Antwort erhalten, d. h. ein für Nutzer zugängliches Dokument gefunden haben, prüfen sie, ob das Crawlen erlaubt ist, und laden dann die Inhalte herunter.
Diese Prüfung umfasst das HTML und alle im HTML erwähnten Inhalte wie Bilder, Videos oder JavaScript. Crawler extrahieren auch die Links aus HTML-Dokumenten, damit sie die verlinkten URLs ebenfalls aufrufen können. Über das Folgen von Links finden Crawler neue Seiten im Web.
Crawler klicken nicht aktiv auf Links oder Schaltflächen, sondern senden URLs an eine Warteschlange, um sie später zu crawlen. Beim Zugriff auf eine neue URL sind keine Cookies, Service Worker oder lokaler Speicher (z. B. IndexedDB) verfügbar.
Index erstellen
Nachdem ein Dokument abgerufen wurde, übergibt der Crawler den Inhalt an die Suchmaschine, damit er dem Index hinzugefügt werden kann. Die Suchmaschine rendert und analysiert nun die Inhalte, um sie zu verstehen. Beim Rendern wird die Seite so angezeigt, wie sie in einem Browser dargestellt würde (mit einigen Einschränkungen).
Suchmaschinen berücksichtigen Keywords, Titel, Links, Überschriften, Text und viele andere Faktoren. Diese werden als Signale bezeichnet und beschreiben den Inhalt und Kontext der Seite. Mithilfe von Signalen können Suchmaschinen jede beliebige Anfrage mit der bestmöglichen Seite beantworten.
Suchmaschinen finden möglicherweise dieselben Inhalte unter verschiedenen URLs. So kann beispielsweise ein Rezept für „Apfelkuchen“ unter /recipes/apple-pie und unter /recipes/1234 zu finden sein. Damit das Rezept nicht zweimal indexiert und angezeigt wird, legen Suchmaschinen fest, welche die Haupt-URL sein soll, und verwerfen die alternativen URLs mit denselben Inhalten.
Bereitstellung der nützlichsten Ergebnisse
Suchmaschinen machen mehr, als nur die Suchanfrage mit Keywords im Index abzugleichen. Um nützliche Ergebnisse zu liefern, berücksichtigen sie möglicherweise den Kontext, alternative Formulierungen, den Standort des Nutzers und mehr. So kann sich „Silicon Valley“ beispielsweise auf die geografische Region oder die Fernsehserie beziehen. Wenn die Anfrage jedoch „Silicon Valley Cast“ lautet, sind die Ergebnisse zur Region nicht sehr hilfreich.
Einige Anfragen können indirekt sein, z. B. „das Lied aus Pulp Fiction“. Suchmaschinen müssen diese interpretieren und Ergebnisse für die Musik im Film anzeigen. Wenn ein Nutzer nach etwas sucht, ermitteln Suchmaschinen die nützlichsten Ergebnisse und zeigen sie dem Nutzer an. Die Seiten werden basierend auf der Suchanfrage gerankt oder sortiert. Die Reihenfolge kann sich im Laufe der Zeit ändern, wenn bessere Informationen verfügbar werden.
Nächste Schritte: Für Suchmaschinen optimieren
Nachdem Sie nun die Grundlagen der Funktionsweise von Suchmaschinen kennen, können Sie vielleicht den Wert der Suchmaschinenoptimierung besser nachvollziehen. Das wird als SEO oder „Search Engine Optimization“ (Suchmaschinenoptimierung) bezeichnet. Wenn Sie dafür sorgen, dass Suchmaschinen Ihre Inhalte finden und automatisch verstehen können, verbessern Sie die Sichtbarkeit Ihrer Website bei relevanten Suchanfragen. Das kann dazu führen, dass mehr interessierte Nutzer Ihre Website besuchen. Prüfen Sie Ihre Website mit Lighthouse und sehen Sie sich die SEO-Ergebnisse an, um zu erfahren, wie gut Suchmaschinen Nutzer auf Ihre Inhalte aufmerksam machen können.