Mikä on crawl budget – ja kuinka sitä voi optimoida?
Jokaisen verkkosivuston indeksointibudjetti eli crawl budget määrittää, kuinka paljon aikaa ja resursseja Google haluaa käyttää sivuston indeksointiin. Indeksointibudjetti voi vaihdella tai kasvaa vähitellen, etenkin kun sivuston auktoriteetti kasvaa ja sen myötä indeksoinnin tarve lisääntyy.
Etenkin suurilla sivustoilla indeksoinnin seuranta on tärkeää, sillä jokainen SEO-näkyvyydeltään vähäarvoiseen tai päällekkäiseen tupla-sisältöön hukattu indeksointipyytnö on menetetty mahdollisuus indeksoida arvokkaita, liikennettä ohjaavia SEO-sisältöjä.
Mutta miten oman sivuston crawling budgettia voi optimoida? Ja milloin se on ylipäätään tarpeen? Käydään nämä aiheet läpi tässä artikkelissa.
Indeksointibudjetti eli crawl budget on verkkosivustollasi olevien indeksoitavien URL-osoitteiden määrä, jonka Google indeksoi tietyn ajan kuluessa, yleensä 24 tunnin aikana. Tämä luku edustaa sitä, kuinka paljon resursseja Google on valmis käyttämään verkkosivustoosi indeksoimiseen.
Verkkosivustosi indeksointibudjetti riippuu kahdesta asiasta:
- Googlen käsitys siitä, kuinka usein hakijat haluavat nähdä sisältösi (indeksointikysyntä)
- Kuinka hyvin Googlen indeksointirobotit voivat olla vuorovaikutuksessa verkkosivustosi kanssa sen toiminnallisuutta haittaamatta (indeksointikapasiteetin raja).
Google jakaa indeksointibudjetin syystä: ”Verkko on lähes rajaton tila, joka ylittää Googlen kyvyn tutkia ja indeksoida kaikkia saatavilla olevia URL-osoitteita. Tämän seurauksena Googlebotilla on rajoituksia siihen, kuinka paljon aikaa se voi käyttää yksittäisen sivuston indeksointiin.”
Jos verkkosivustollasi on alle 10 000 sivua, etkä päivitä sisältösivuja usein, sinun ei tarvitse huolehtia indeksointibudjetistasi. Google itse sanoo, että ”riittää, kun pidät sivukarttasi ajan tasalla ja tarkistat indeksin kattavuuden säännöllisesti.”
Googlen oppaan mukaan indeksointibudjetin optimointi on tarkoitettu pääasiassa tällaisille verkkosivustoille:
- Suuret, yli miljoona sisältösivun sivustot, joiden sisältö muuttuu kohtalaisen usein (kerran viikossa).
- Keskikokoiset (yli 10 000 yksilöllistä sivua) sivustot, joiden sisältö muuttuu hyvin nopeasti (päivittäin).
- Sivustot, joiden URL-osoitteista suuri osa on luokiteltu Search Consolessa löydetyiksi, mutta tällä hetkellä indeksoimattomiksi.
Jos verkkosivustosi kuuluu johonkin näistä kolmesta luokasta, sinun kannattaa seurata ja optimoida indeksointibudjettiasi säännöllisesti, jotta vain relevantit ja päivitetyt sisältösivut indeksoidaan ja näytetään hakutuloksissa.
Etenkin suurilla sivustoilla indeksoinnin seuranta on tärkeää, sillä jokainen SEO-näkyvyydeltään vähäarvoiseen tai päällekkäiseen tupla-sisältöön hukattu indeksointipyytnö on menetetty mahdollisuus indeksoida arvokkaita, liikennettä ohjaavia SEO-sisältöjä.
Koska et voi pyytää Googlelta indeksointibudjetin korotusta, sinun kannattaa maksimoida hakubotin sivustollasi käyttämä aika. Tässä on 8 asiantuntijoiden testaamaa strategiaa, joita voit hyödyntää.
Päällekkäinen sisältö eli tuplasisältö (ns. kannibaali-sisältö) on aina indeksoinnin tuhlausta. Tällöin Googlebot käyttää indeksointipyyntöjä sivuille, joilla on sama tai samankaltainen sisältö. Lisäksi, jos nämä sivut indeksoidaan, ne voivat näkyä yhtä aikaa hakutuloksissa (ja usein huonoilla sijoituksilla), mikä hämmentää lukijoita ja johtaa huonoon käyttökokemukseen.
Päällekkäistä sisältöä voi syntyä niin tekstuaalisille sivustoille kuin verkkokauppoihin, etenkin facetoidun navigaation vuoksi.
Robots.txt-tiedosto ilmoittaa Googlebotille, mitä URL-osoitteita et halua sen indeksoivan. Tässä tapauksessa hyödynnetään ”disallow”-sääntöjä. Säännön avulla voidaan pyytää hakubotteja olemaan lukematta SEO-arvoltaan turhia URL-osoitteita (kuten tietosuojaseloste, blogin kategoriat ja kirjautumis-sivut), jotta crawling budjetti säästyy tärkeämmille sisältösivuille.
Uudelleenohjaukset toimivat hyvässä ja pahassa: vaikka niiden ensisijainen tarkoitus on ohjata rikkonainen tai muutoin muutettunut (usein tietoisesti muutettu) URL-osoite ohjaamaan oikeaan sisältöön, liian suuri määrä uudelleenohjauksia kuormittaa sivustoa. Lisäksi, jos uudelleenohjauksista ei pidetä tarkasti huolta, voi käydä niin, että syntyy uudelleenohjaus-ketjuja eli looppaavia URL-osoitteita.
Näin voi käydä esimerkiksi tässä tapauksessa:
- Muutat sisällön A URL-osoitetta.
- Ohjaat tämän URL-osoitteen (A) johtamaan URLiin B.
- Jossain vaiheessa huomaat, että B-osoitteen URLia pitää vielä kerran päivittää.
- Ohjaat B → C, mutta unohdit purkaa ohjauksen A → B.
- Tässä tapauksessa Googlebot joutuu looppiin.
Sisäiset linkit ovat verkkosivustollesi sama asia kuin ovet talossa: ne johtavat toisiin huoneisiin eli toisiin sisältöihin. Linkkien avulla yhdistät aiheet ja kerrot sekä käyttäjille että Googlebotille, että heidän kannattaa syventää lukukokemustaan juuri näillä oman sivustosi sisäisillä linkeillä. Ilman sivuston sisäistä linkkirakennetta Googlebot joutuu etsimään yksinäiset eli orvot URLit suurella vaivalla, jos se edes ryhtyy siihen. Tämän vuoksi linkitys on todella tärkeää.
Päivitetty sivukartta on Googlebotin paras työkaveri: yhdessä ne pystyvät paremmin löytämään ja indeksoimaan verkkosivustosi tärkeimmät URL-osoitteet, jolloin indeksointibudjettisi käytetään sivuille, joilla on eniten SEO-arvoa.
Kyselyparametrit ovat välttämättömiä verkkosivuston vastausten mukauttamiseksi ja kontekstuaalisuuden tarjoamiseksi, mutta ne voivat tuhlata indeksointibudjettisi, jos Googlebotille ei ole merkkejä siitä, ovatko ne erillisiä sivuja vai pää-URL:n muunnelmia; jos ne ovat muunnelmia (kuten ?sort=hinta tai ?filter=vari), Googlebot voi indeksoida niistä jokaisen ja hukata indeksointibudjettia turhiin sisältöihin.
Kyselyparametrit kannattaa aina järjestää kanonisoimalla ne pääsisällölle eli asettamalla toisarvoiseen sisältöön canonical tag, joka osoittaa pääsisältöön.
Crawl budjetin optimointi on aina sinun vastuullasi, sillä Google ei tee sitä puolestasi. Sinulla itselläsi on paras tietämys siitä, millaisia sisältöjä sivustollasi on ja mitkä niistä ovat tärkeitä. Jotta sivustosi indeksoidaan oikein, toimi Googlebotin oppaana omalla verkkosivustollasi ja ohjaa sen huomio sisältöihin, jotka tuovat eniten lisäarvoa SEO-työllesi.
Jos kaipaat apua sisältöjesi auditoinnissa, autan mielelläni!
Marinella on SEOhubin perustaja ja lähes 20 vuoden ajan hakukoneoptimoinnin parissa työskennellyt senioritason SEO-konsultti. Työnäyttöjensä ja kokokemuksensa ansiosta Marinella toimii Semrushin Ambassadorina. Hän julkaisee suosittua kontroverSEO-uutiskirjettä LinkedInissä.
