Pidä sivukartta puhtaana
Lisää sivukarttaan vain ensisijaiset HTTPS-URL:t, joiden haluat näkyvän haussa. Älä lisää redirecteja, 404-sivuja, noindex-sivuja, parametrikopioita tai vaihtoehtoisia canonical-versioita.
Yli 50 000 URL:n tai 50 megatavun sivukartta jaetaan osiin ja kootaan sitemap-indeksiin. Pienemmänkin sivuston voi jakaa sisältötyypeittäin, jos se helpottaa indeksoinnin seurantaa.
Käytä lastmod-arvoa vain oikeaan päivitykseen
lastmod kertoo tiedoston viimeisestä merkittävästä muutoksesta. Sen pitäisi päivittyä, kun pääsisältö, rakenteinen data tai muu olennainen tieto muuttuu, ei jokaisessa buildissa ilman sisältömuutosta.
Virheellinen jatkuvasti vaihtuva päivämäärä heikentää signaalin hyödyllisyyttä. Julkaisupäivä ja muokkauspäivä voidaan näyttää sivulla erikseen, kun ne ovat käyttäjälle merkityksellisiä.
Robots.txt ohjaa hakemista
Tiedosto sijaitsee hostin juuressa, esimerkiksi https://example.fi/robots.txt. Säännöt koskevat kyseistä protokollaa ja hostia, joten alidomainilla on oma robots-tiedostonsa.
Estä vain resurssit ja URL-alueet, joita robotin ei tarvitse hakea. CSS- ja JavaScript-tiedostojen laaja esto voi vaikeuttaa sivun renderöintiä. Lisää sitemapin osoite tiedoston loppuun selkeänä Sitemap-rivinä.
Testaa julkisesti ja seuraa raportteja
Avaa robots.txt ja sitemap kirjautumattomassa selaimessa, varmista 200-vastaus ja tarkista XML:n URL-osoitteet. Lähetä sitemap Search Consoleen ja Bing Webmaster Toolsiin kerran; päivitetty tiedosto haetaan myöhemmin uudelleen.
Sitemapin löydettyjen ja indeksoitujen URL-osoitteiden ero ei yksin tarkoita virhettä. Tutki sivujen indeksointiraportin syyt ja muutama URL-esimerkki ennen johtopäätöstä.
Tarkistuslista
- Avaa sitemap ja robots.txt julkisena
- Poista sitemapista 3xx-, 4xx- ja noindex-URL:t
- Tarkista host- ja HTTPS-versiot
- Käytä todenmukaista lastmod-arvoa
- Ilmoita sitemap molemmille hakukoneille
Usein kysyttyä
Takaako sitemap indeksoinnin?
Ei. Se auttaa löytämisessä ja seurannassa, mutta hakukone päättää indeksoinnista erikseen.
Voiko robots.txt:llä poistaa sivun Googlesta?
Ei luotettavasti. Estetty URL voi näkyä ilman sisältöä. Poistamiseen käytetään tilanteen mukaan noindexiä, kirjautumissuojausta, 404/410-vastausta tai Search Consolen väliaikaista poistotyökalua.
Tarvitaanko HTML-sivukartta?
Ei teknisesti, jos navigaatio on selkeä. Hyödyllinen HTML-hubi voi silti auttaa käyttäjää ja sisäistä linkitystä.
Lähteet
- Google Search Central: Sitemaps overviewXML-sitemapin käyttötarkoitus ja rajat
- Google Search Central: Introduction to robots.txtRobots.txt-tiedoston toiminta ja käyttökohteet