Většinu našeho vyhledávacího indexu vytváří softwarové programy známé jako prohledávače. Tyto programy automaticky navštěvují veřejně přístupné webové stránky a následují odkazy na těchto stránkách, podobně jako byste to dělali vy při procházení obsahu na webu. Přecházejí ze stránky na stránku a informace o tom, co na těchto stránkách a v dalším veřejně přístupném obsahu najdou, ukládají do indexu Vyhledávání Google.
Když prohledávače najdou webovou stránku, naše systémy její obsah vykreslí podobně, jako to dělá prohlížeč. Vyhodnotíme důležité signály – od klíčových slov až po stáří webu – a to vše zaznamenáme do indexu Vyhledávání.
Index Vyhledávání Google obsahuje stovky miliard webových stránek a má více než 100 000 000 gigabajtů. Podobá se rejstříku na konci knihy – obsahuje záznamy pro všechna slova, na která jsme na indexovaných webech narazili. Web při indexování přidáme k záznamům pro všechna slova, která obsahuje.
Protože se weby a další obsah neustále mění, naše procesy procházení běží bez přestání, aby naše informace zůstaly aktuální. Tyto procesy zjišťují, jak často se dříve navštívený obsah mění, a podle potřeby ho navštěvují znovu. Objevují také nový obsah tím, že navštěvují nové odkazy na stránky nebo informace.
Google také poskytuje sadu nástrojů nazvanou Search Console, pomocí které nám autoři mohou pomoci lépe procházet jejich obsah. Mohou také využít zavedené standardy, jako jsou soubory Sitemap nebo robots.txt, a pomocí nich nám sdělit, jak často má být obsah navštěvován nebo zda do našeho indexu vyhledávání má být vůbec zahrnut.
Společnost Google nepřijímá platby za častější procházení konkrétního webu – abychom uživatelům zajistili co nejlepší výsledky, poskytujeme všem webům stejné nástroje.
Náš index Vyhledávání obsahuje více než jen to, co je na webu, protože užitečné informace se mohou nacházet v jiných zdrojích.
Ve skutečnosti máme několik indexů s různými typy informací, které získáváme procházením, od partnerů, ze zdrojů dat, které nám jsou zasílány, a z naší vlastní encyklopedie faktů, Diagramu znalostí.
Díky těmto mnoha indexům můžete vyhledávat v milionech knih z předních knihoven, v jízdních řádech místní veřejné dopravy nebo studovat data z veřejných zdrojů, jako je Světová banka.