Indeksointi
Crawling eli hakubotin tutkimustyö sivustollasi
Crawling eli ryömintä, suomeksi hakubotin vierailu sivustollasi, on olennainen osa hakukoneiden toimintaa. Tämä vierailu tapahtuu, kun hakukoneet seuraavat jo tuntemiensa sivujen linkkejä löytääkseen uusia sisältösivuja, joita ne eivät ole ennen nähneet eli tallentaneet indeksiinsä.
Kun esimerkiksi julkaiset uuden blogiartikkelin, ja kun se ilmestyy artikkeleiden kokoomasivulle, hakubotti voi löytää kyseisen sisällön ja tutkia sen.
Tämä tietenkin vaatii hyvää sivustohierarkiaa. Alla näet esimerkin vanhasta tavasta, jossa sisällöt eivät linkity keskenään eli muodosta SEO-hubeja (josta yritykseni nimikin tulee).
Näin indeksointi toimii
Kun hakubotit ovat indeksoineet sivusi, ne yrittävät analysoida ja ymmärtää sivujen sisältöä. Tämän jälkeen ne tallentavat sisällöt hakuhakemistoonsa eli indexiin, valtavaan tietokantaan, joka sisältää miljardeja verkkosivuja.
Jos haluat kokeilla, kuinka monta sisältöäsi (noin suunnilleen) on tällä hetkellä indeksissä, kirjoita hakukenttään: ”site:sivustosinimi.fi”
Tällöin Google listaa vain sinun sivustosi sisällöt. Jos tästä näkymästä ei löydy kaikkia SEO-mielessä tärkeitä sisältöjä, jotain on teknisesti pielessä.
Piilota turhat sivut indeksistä
SEO-arvoltaan turhat sisältösivut kannattaa sulkea indeksistä indeksoinnin estolla. Tällöin kyseinen sisältö ei voi nousta hakutuloksiin, mutta sehän on tarkoitus: näin säästä hakubotin crawling-budejettia eli aikaa, jonka se voi päivittäin käyttää sisältöjesi tutkimiseen.
Hakubotti ei siis käy kaikkia sisältöjäsi läpi joka päivä. Kun optimoit sivustoa myös niin, että piilotat turhat sisällöt, säästät crawling-budjettia tärkeämmille sisällöille.
Esimerkiksi nämä sisällöt voit poistaa indeksistä:
- Tietoturvasivu
- Evästesivu
- Kiitos-sivu
Tägi on siis HTML-koodinpätkä, joka estää sivujasi pääsemästä Googlen hakemistoon. Koodipätkä sijoitetaan verkkosivusi <head>-osioon. Komennon voi tehdä myös Yoast SEO- tai AIOSEO-lisäosan avulla, jos sinulla on näistä jompikumpi käytössä.