Teknisen SEO:n opas, 20.10.2023
Senior SEO-konsultti Marinella Himari
Robots.txt on pieni mutta tärkeä tiedosto
Robots.txt on tiedosto, jonka avulla hakurobottien vierailu voidaan estää tietyillä sivuilla tai verkkosivuston osa-alueille.
Useimmat verkkosivustot eivät kuitenkaan tarvitse robots.txt-tiedostoa, sillä Google osaa yleensä löytää ja indeksoida sivustosi tärkeimmät sivut.
On kuitenkin tapauksia, joissa haluat hyödyntää kieltokomentoa, jota ainakin Bing, Yahoo ja Google yleensä kunnioittavat.
1. Piilotettujen sivujen estäminen indeksistä
Sivustollasi saattaa olla sisältöjä, joita et halua indeksoitavan.
Tällaisia sivuja voivat olla sivustouudistuksen yhteydessä käytetävä staging-versio, lyhytaikainen kampanjasivu tai kirjautumissivu, mikäli sellainen on sivustollasi mahdollistettu. Tässä tapauksessa haluat kertoa robots.txt-tiedostolla, ettei ko. sivuja tarvitse nostaa hakutulosten indeksiin.
2. Crawling-budjetin maksimointi
Mikäli sivustosi on todella laaja, eli sillä on julkaistu paljon sisältöä, kaikki sivut eivät välttämättä nouse indeksiin. Tämä johtuu siitä, että jokaisella sivustolla on käytössään rajallinen crawling-budjetti.
Kun estät SEO-arvoltaan turhien ja merkityksettömien sivujen indeksoinnin, annat “lisätilaa” hyödyllisten sisältöjen tallentumiselle Googlen tietokantaan.
3. Tiettyjen resurssien estäminen indeksistä
Sisältöjen, kuten vaikkapa turhien kuvien tai pdf-tiedostojen, indeksoitumista voidaan estää käyttämällä meta-direktiiviä, ns. metatagiä.
Kun robots.txt-tiedoston direktiivit antavat hakuroboteille tiedon siitä, mitä sisältöjä tulisi indeksoida, meta-direktiivit kertovat tarkempia ohjeita siitä, miten sivun sisältöä tulisi indeksoida.
Voit lukea aiheesta enemmän Mozin sivustolla.
Tarkista ja analysoi sivustosi tilanne
Voit tarkistaa Google Search Consolesta (kohdasta Indeksointi > Sivut) kuinka moni sivustosi sisällöistä on indeksoitunut.
Mikäli indeksoitujen sivujen määrä vastaa niiden sivujen määrää, jotka olet halunnut indeksoida, kaikki on hyvin. Jos indeksoitujen sivujen määrä on kuitenkin toivottua suurempi, voit piilottaa turhat sisällöt indeksistä robots.txt-tiedoston avulla.
Löydät ohjeet Googlen Developers-sivustolta.
KIRJOITTAJA
Marinella Himari
Marinella on optimoinnin vuonna 2007 aloittanut SEO-maailman dinosaurus, senioritason SEO-konsultti ja sisältöstrategi.