Більша частина індексу Пошуку створюється за допомогою спеціального програмного забезпечення – веб-сканерів. Сканери автоматично відкривають загальнодоступні веб-сторінки та переходять за вказаними на них посиланнями подібно до того, як користувачі переглядають контент в Інтернеті. Вони переходять зі сторінки на сторінку та зберігають знайдену там інформацію й інший загальнодоступний контент в індексі Пошуку Google.
Коли сканери знаходять веб-сторінку, наші системи обробляють її контент так само, як це робить веб-переглядач. Ми реєструємо дані за важливими сигналами – від ключових слів до новизни веб-сайту – а потім створюємо на їх основі пошуковий індекс.
Індекс Пошуку Google містить сотні мільярдів веб-сторінок і займає понад 100 млн ГБ. Це немов алфавітний покажчик у кінці книги, де є запис для кожного слова на проіндескованих веб-сторінках. Під час індексації ми додаємо дані про веб-сторінку до записів про всі слова, що містяться на ній.
Контент в Інтернеті постійно змінюється. Щоб дані в індексі Пошуку завжди були актуальними, сканування відбувається безперервно. Веб-сканери визначають, наскільки часто змінюється контент, який вони сканували раніше, і переглядають його з відповідною періодичністю. Крім того, вони знаходять новий контент, коли з’являються нові посилання чи інформація.
Google також пропонує безкоштовний набір інструментів Search Console, який автори контенту можуть використовувати, щоб допомогти нам підвищити якість сканування. Вони також можуть застосовувати традиційні інструменти, такі як файли sitemap чи robots.txt, щоб вибрати частоту сканування контенту або вказати, що його взагалі не потрібно включати в індекс Пошуку.
Google не приймає оплату за частіше сканування сайтів. Щоб користувачі могли отримувати найкращі результати, усім веб-сайтам надаються однакові інструменти.
Індекс Пошуку містить інформацію не лише з Інтернету, а й з інших джерел.
Google має кілька індексів із даними різного типу. Ми збираємо їх за допомогою сканування, від партнерів, з надісланих нам фідів даних і власної енциклопедії фактів – Мережі знань.
Завдяки цим індексам ви можете шукати інформацію в мільйонах книг із найбільших бібліотек, дізнаватися розклад руху громадського транспорту в місцевих компаній-перевізників або переглядати дані із загальнодоступних джерел, таких як Світовий банк.
