Het grootste deel van onze zoekindex is opgebouwd door software die crawlers worden genoemd. Crawlers bezoeken automatisch openbaar toegankelijke webpagina's en volgen links op die pagina's, net zoals je zelf zou doen als je door content op internet browst. Ze gaan van pagina naar pagina en slaan informatie over wat ze op deze pagina's en andere openbaar toegankelijke content vinden op in de zoekindex van Google.

Als crawlers een webpagina vinden, geven onze systemen de content van de pagina weer, net als een browser. We registreren de belangrijkste signalen, van zoekwoorden tot de actualiteit van de website, en we houden het allemaal bij in de zoekindex.

De zoekindex van Google Zoeken bevat honderden miljarden webpagina's en is ruim 100.000.000 gigabytes groot. Het is lijkt een beetje op de index achterin een boek: met een vermelding voor elk woord dat te zien is op elke webpagina die we indexeren. Als we een webpagina indexeren, voegen we deze toe aan de vermeldingen voor alle woorden die de pagina bevat.

Omdat internet en andere content voortdurend veranderen, zijn onze crawlers altijd actief om de zoekindex up-to-date te houden. Ze leren hoe vaak content die ze eerder hebben gezien, lijkt te veranderen en bezoeken de betreffende pagina's zo nodig opnieuw. Ook ontdekken ze nieuwe content als er nieuwe links naar die pagina's of informatie verschijnen.

Google biedt ook kosteloos een toolset met de naam Search Console, die makers kunnen gebruiken om ons te helpen hun content beter te crawlen. Ze kunnen ook gebruikmaken van gevestigde standaarden zoals sitemaps of robots.txt om aan te geven hoe vaak content moet worden gecrawld of dat de content helemaal niet in onze zoekindex moet worden opgenomen.

Google accepteert nooit betalingen om een site vaker te crawlen. We bieden alle websites dezelfde tools om de best mogelijke resultaten voor onze gebruikers te garanderen.

Onze zoekindex bevat meer dan alleen wat er op internet te vinden is, omdat nuttige informatie ook in andere bronnen te vinden kan zijn.

In feite hebben we meerdere indexen met verschillende soorten informatie, die worden verzameld door middel van crawlen, door partnerschappen, door datafeeds die naar ons worden gestuurd en via onze eigen encyclopedie van feiten, de Kenniskaart.

Dankzij deze vele indexen kun je zoeken in miljoenen boeken van grote bibliotheken, reistijden vinden bij je plaatselijke ov-bedrijf of gegevens vinden uit openbare bronnen zoals de Wereldbank.