Teknisen SEO:n opas, 20.10.2023
Senior SEO-konsultti Marinella Himari

Robots.txt on pieni mutta tärkeä tiedosto

Robots.txt on tiedosto, jonka avulla hakurobottien vierailu voidaan estää tietyillä sivuilla tai verkkosivuston osa-alueille.

Useimmat verkkosivustot eivät kuitenkaan tarvitse robots.txt-tiedostoa, sillä Google osaa yleensä löytää ja indeksoida sivustosi tärkeimmät sivut.

On kuitenkin tapauksia, joissa haluat hyödyntää kieltokomentoa, jota ainakin Bing, Yahoo ja Google yleensä kunnioittavat.

Miksi sivuston sisäiset linkit ovat tärkeitä?

1. Piilotettujen sivujen estäminen indeksistä

Sivustollasi saattaa olla sisältöjä, joita et halua indeksoitavan.

Tällaisia sivuja voivat olla sivustouudistuksen yhteydessä käytetävä staging-versio, lyhytaikainen kampanjasivu tai kirjautumissivu, mikäli sellainen on sivustollasi mahdollistettu.  Tässä tapauksessa haluat kertoa robots.txt-tiedostolla, ettei ko. sivuja tarvitse nostaa hakutulosten indeksiin.

2. Crawling-budjetin maksimointi

Mikäli sivustosi on todella laaja, eli sillä on julkaistu paljon sisältöä, kaikki sivut eivät välttämättä nouse indeksiin. Tämä johtuu siitä, että jokaisella sivustolla on käytössään rajallinen crawling-budjetti.

Kun estät SEO-arvoltaan turhien ja merkityksettömien sivujen indeksoinnin, annat “lisätilaa” hyödyllisten sisältöjen tallentumiselle Googlen tietokantaan.

3. Tiettyjen resurssien estäminen indeksistä

Sisältöjen, kuten vaikkapa turhien kuvien tai pdf-tiedostojen, indeksoitumista voidaan estää käyttämällä meta-direktiiviä, ns. metatagiä.

Kun robots.txt-tiedoston direktiivit antavat hakuroboteille tiedon siitä, mitä sisältöjä tulisi indeksoida, meta-direktiivit kertovat tarkempia ohjeita siitä, miten sivun sisältöä tulisi indeksoida.

Voit lukea aiheesta enemmän Mozin sivustolla.

Voit tarkistaa indeksoituneiden sisältöjen määrän Search Consolesta.

Tarkista ja analysoi sivustosi tilanne

Voit tarkistaa Google Search Consolesta (kohdasta Indeksointi > Sivut) kuinka moni sivustosi sisällöistä on indeksoitunut.

Mikäli indeksoitujen sivujen määrä vastaa niiden sivujen määrää, jotka olet halunnut indeksoida, kaikki on hyvin. Jos indeksoitujen sivujen määrä on kuitenkin toivottua suurempi, voit piilottaa turhat sisällöt indeksistä robots.txt-tiedoston avulla.

Löydät ohjeet Googlen Developers-sivustolta.

KIRJOITTAJA

Marinella Himari

Marinella on optimoinnin vuonna 2007 aloittanut SEO-maailman dinosaurus, senioritason SEO-konsultti ja sisältöstrategi.

MinustaLinkedIn