A maior parte do nosso índice da Busca é construída com softwares conhecidos como rastreadores. Eles acessam automaticamente páginas da Web disponíveis ao público e seguem os links desses sites, da mesma forma que você faria se estivesse navegando no mesmo conteúdo. Cada página é analisada e os rastreadores armazenam informações sobre o que encontraram nesses sites e de outros conteúdos públicos no índice da Pesquisa Google.

Quando os rastreadores encontram uma página da Web, nossos sistemas renderizam o conteúdo como um navegador. Observamos sinais importantes, das palavras-chave à data de publicação, e monitoramos tudo no índice da Pesquisa.

O índice da Busca do Google contém centenas de bilhões de páginas da Web e mais de 100.000.000 gigabytes de tamanho. É como o índice de um livro com uma entrada para cada palavra encontrada em cada página indexada. Quando adicionamos uma página da Web, adicionamos também as entradas para todas as palavras dela.

Como a Web e outros tipos de conteúdo estão em constante mudança, nossos processos de rastreamento estão sempre tentando acompanhar essa evolução. Eles descobrem a frequência das mudanças dos conteúdos acessados e os revisitam conforme necessário. Descobrem também novos tipos de conteúdo conforme novos links para essas páginas ou informações aparecem.

O Google também oferece um conjunto de ferramentas gratuito chamado Search Console, que criadores de conteúdo podem usar para facilitar o rastreamento. Eles também podem usar padrões estabelecidos, como sitemaps ou robots.txt para indicar a frequência de acesso necessária para o conteúdo deles ou se o conteúdo não precisa ser incluído no índice da Pesquisa.

O Google nunca aceita pagamentos para rastrear um site com mais frequência. As mesmas ferramentas estão disponíveis para todos os sites para garantir os melhores resultados possíveis para nossos usuários.

O índice da Busca contém mais do que o conteúdo disponível na Web, já que informações úteis podem ser localizadas em outras fontes.

Na realidade, temos vários índices de diferentes tipos de informação, todos eles formados por rastreamento, parcerias, envio de feeds de dados e nossa própria enciclopédia de fatos, como o Mapa de informações.

Isso significa que você pode pesquisar em milhões de livros de grandes bibliotecas, encontrar horários de viagens da sua agência local ou encontrar dados de fontes públicas, como o Banco Mundial (link em inglês).