Pour alimenter notre index de recherche, nous utilisons principalement des logiciels appelés robots d'exploration. Ceux-ci examinent les pages Web accessibles au public et suivent les liens qui y figurent, de la même façon que lorsque vous naviguez sur Internet. Ils vont de lien en lien et enregistrent les informations relatives à ces pages Web et à d'autres contenus dans l'index de recherche Google.

Dès que nos robots d'exploration détectent une page Web, nos systèmes la visualisent, comme avec un navigateur. Nous sommes attentifs à certains signaux, comme les mots clés et le niveau d'actualisation des sites, que nous consignons dans l'index de recherche Google.

L'index de recherche Google contient des centaines de milliards de pages Web et sa taille est bien supérieure à 100 millions de gigaoctets. Il ressemble à l'index que l'on peut trouver à la fin d'un livre, à la différence près qu'il recense chaque mot de chaque page Web. Lorsque nous indexons une page Web, nous l'associons aux entrées des différents mots affichés sur la page.

Nos robots d'exploration travaillent en permanence pour suivre l'évolution du Web et des autres contenus. Ils apprennent à reconnaître la fréquence à laquelle le contenu déjà indexé est modifié et à le réindexer si nécessaire. Ils découvrent aussi de nouvelles pages ou informations à mesure que de nouveaux liens sont publiés.

En outre, Google fournit la Search Console, un outil gratuit que les créateurs peuvent utiliser pour nous aider à améliorer l'exploration de leurs contenus. Ceux-ci peuvent également appliquer des normes établies comme les sitemaps ou le fichier robots.txt pour indiquer à quelle fréquence le contenu doit être indexé ou s'il ne doit pas être inclus dans notre index de recherche.

Il n'est pas possible de payer Google pour accélérer la fréquence d'exploration d'un site. Nous fournissons des outils identiques à tous les propriétaires pour garantir les meilleurs résultats possible.

Notre index de recherche ne se limite pas au Web dans la mesure où des informations utiles peuvent provenir d'autres sources.

En fait, nous utilisons plusieurs index contenant différents types d'informations, recueillies par le biais de l'exploration, de partenariats, de flux de données et de notre propre encyclopédie de faits, le Knowledge Graph.

Avec la recherche Google, vous pouvez ainsi rechercher du texte dans des millions d'ouvrages issus des plus grandes bibliothèques, consulter les horaires de transports en commun ou parcourir des données publiques, comme par exemple celles de la Banque mondiale.