Der Großteil unseres Suchindexes wird von einer als „Crawler“ bezeichneten Software erstellt. Crawler besuchen automatisch öffentlich zugängliche Webseiten und folgen Links auf diesen Seiten, genau wie du es tun würdest. Sie gehen von Seite zu Seite und speichern Informationen darüber, was sie auf diesen Seiten und in anderen öffentlich zugänglichen Inhalten der Google Suche finden.
Wenn Crawler eine Webseite finden, werden die Seiteninhalte wie in einem Browser gerendert. Sie analysieren die wichtigsten Elemente – von den Keywords bis zur Aktualität der Website – und vermerken sie im Suchindex.
Der Google-Suchindex umfasst Hunderte Milliarden von Webseiten und ist über 100.000.000 Gigabyte groß. Er funktioniert wie das Stichwortverzeichnis am Ende eines Buches: Jedes Wort, das auf einer indexierten Webseite gefunden wurde, erhält einen Eintrag. Wenn wir eine Webseite indexieren, fügen wir sie allen Einträgen für Wörter hinzu, die auf dieser Seite vorkommen.
Weil sich das Web und andere Inhalte beständig ändern, sind auch unsere Crawling-Prozesse ständig aktiv, um mitzuhalten. Sie lernen, wie oft sich zuvor gesehene Inhalte zu ändern scheinen und kehren bei Bedarf zu ihnen zurück. Sie entdecken auch neue Inhalte, wenn neue Links zu den Seiten oder Informationen auftauchen.
Google stellt auch ein kostenloses Toolset zur Verfügung, die Search Console. Mit ihr können Ersteller von Inhalten uns beim Crawlen unterstützen. Sie können zudem Standards wie Sitemaps oder robot.txt nutzen und damit angeben, wie oft Inhalte abgerufen werden sollten oder ob sie nicht in unserem Suchindex erscheinen sollten.
Google nimmt keine Zahlungen an, um Websites häufiger zu crawlen. Wir bieten allen dieselben Tools, damit unsere Nutzer die besten Ergebnisse erhalten.
Unser Suchindex ist nicht nur auf Inhalte im Web beschränkt, denn hilfreiche Informationen lassen sich auch in anderen Quellen finden.
Tatsächlich haben wir mehrere Indexe unterschiedlicher Arten von Informationen, die durch Crawling, Partnerschaften, an uns gesendete Datenfeeds und durch unsere eigene Enzyklopädie der Fakten, dem Knowledge Graph, zusammengestellt wurden.
Dank dieser Indexe kannst du Informationen in Millionen von Büchern großer Bibliotheken suchen, die Fahrpläne deines öffentlichen Nahverkehrsunternehmens ansehen oder in öffentlichen Quellen wie der Weltbank suchen.
