Bėgant metams Paieška pasikeitė, kad atitiktų vis didesnius „Google“ naudojančių žmonių poreikius ir lūkesčius. Pristatydami naujoves, pvz., Žinių schemą, ir atnaujindami sistemas, užtikrinančias, kad ir toliau teiktume atitinkamą turinį, visada siekiame, kad rezultatai būtų kuo naudingesni.

Kruopščiai įvertiname visus galimus Paieškos pakeitimus išanalizuodami metriką ir nuspręsdami, ar pritaikyti siūlomą pakeitimą.

Vertinimų ir eksperimentų duomenis kruopščiai peržiūri patyrę inžinieriai, paieškos analitikai bei kiti teisės ir privatumo ekspertai, sprendžiantys, ar pakeitimus galima pristatyti. 2022-aisiais atlikome daugiau nei 800 tūkst. eksperimentų, kurie padėjo pritaikyti daugiau nei 4 500 Paieškos patobulinimų.

Kiekvieną pasiūlytą Paieškos pakeitimą peržiūri mūsų patyrę inžinieriai ir duomenų tyrėjai, kurie atidžiai peržiūri visų skirtingų eksperimentų duomenis, kad nuspręstų, ar patvirtinti pakeitimo pristatymą. Daug pastaraisiais metais pasiūlytų pakeitimų niekada nebuvo paskelbti, nes pakeitimus pristatome, tik jei jie iš tiesų naudingi žmonėms.

Vykdome tiesioginius srauto eksperimentus, kad sužinotume, kaip realūs žmonės naudoja funkciją, prieš pristatydami ją visiems. Susijusią funkciją įgaliname tik nedidelei procentinei daliai žmonių (įprastai nuo 0,1 proc.). Palyginame eksperimentinę grupę su kontroline grupe, kuriai funkcija nebuvo įgalinta. Peržiūrime labai ilgą metrikos sąrašą, pvz., ką žmonės spaudžia, kiek užklausų buvo įvykdyta, ar užklausų vykdymas buvo nutrauktas, kiek laiko užtruko, kol žmonės spustelėjo rezultatą, ir pan. Šiuos rezultatus naudojame vertindami, ar nauja funkcija yra naudinga, siekdami užtikrinti, kad atliekami pakeitimai pagerintų visiems teikiamų rezultatų atitikimą ir naudingumą.

Paieška nėra statiška. Nuolat tobuliname sistemas, kad teiktume geresnius rezultatus, o Paieškos kokybės vertintojai atlieka svarbų vaidmenį vykdant pristatymo procesą. Vykdydami lygiagrečiai vykdomą eksperimentą vertintojams rodome du skirtingus paieškos rezultatų rinkinius: vieną su jau įdiegtu siūlomu pakeitimu ir kitą be jo. Klausiame jų, kurie rezultatai jiems labiau patinka ir kodėl.