Shopify-sitemap en robots.txt: vinden en aanpassen

De sitemap van je Shopify-winkel staat op yourstore.com/sitemap.xml en je robots-bestand op yourstore.com/robots.txt. Shopify maakt en werkt allebei automatisch bij. De sitemap kun je niet direct aanpassen, maar je bepaalt wel wat erin komt, en robots.txt pas je aan via een themasjabloon. De meeste winkels dienen de sitemap in bij Google Search Console en laten robots.txt zoals hij is.

Deze gids laat zien waar beide bestanden staan, hoe je pagina's oplost die in de sitemap ontbreken en wanneer robots.txt aanpassen zinvol is. Hij hoort bij de gids SEO voor Shopify.

De sitemap vinden

Open /sitemap.xml op je primaire domein. Het is een sitemapindex: een kort bestand dat linkt naar aparte sitemaps voor producten, collecties, pagina's en blogposts. Shopify voegt URL's toe en haalt ze weg terwijl je dingen publiceert, verbergt of verwijdert.

Gebruik je primaire domein. Is je winkel ook bereikbaar op yourstore.myshopify.com of een tweede domein, dan sturen die door naar het primaire domein, en hun sitemap ook.

Verkoop je in meerdere landen met Shopify Markets en gebruik je submappen of aparte domeinen, dan heeft elke marktversie een eigen sitemap, bijvoorbeeld /en-ca/sitemap.xml.

Indienen bij Google

1. Voeg het primaire domein van je winkel als property toe in Google Search Console.
2. Open Sitemaps, vul sitemap.xml in en klik op Indienen.
3. Kijk na een paar dagen opnieuw. Het rapport toont hoeveel URL's Google heeft gevonden.

Je dient hem maar één keer in. Google leest de sitemap regelmatig opnieuw, en Shopify houdt hem actueel. Doe hetzelfde in Bing Webmaster Tools, dat je instellingen uit Search Console kan importeren.

Waarom een pagina in de sitemap ontbreekt

Shopify toont alleen pagina's die live staan in je onlinewinkel. Check deze punten op volgorde:

• De winkel is beveiligd met een wachtwoord. Zolang het wachtwoord aan staat, kunnen zoekmachines de winkel helemaal niet crawlen. Haal het weg voor de lancering.
• Het product is niet beschikbaar in het verkoopkanaal Online Store. Producten die alleen in andere kanalen staan, zoals een kassasysteem of een marktplaats, worden weggelaten.
• Het is een concept of niet gepubliceerd. Concepten en pagina's met een publicatiedatum in de toekomst komen er pas in als ze live gaan.
• Het is verborgen voor zoekmachines. Sommige apps en thema's zetten een metafield seo.hidden om een pagina uit de sitemap te houden en voegen een noindex-tag toe. Check of een app die je hebt geïnstalleerd dit bewust deed.

Dat pagina's in de sitemap staan, betekent niet dat ze geïndexeerd zijn. Het rapport Pagina's in Search Console laat zien welke URL's uit de sitemap Google niet heeft geïndexeerd en waarom.

De standaard robots.txt

De standaard robots.txt van Shopify blokkeert pagina's die nooit in zoekresultaten horen: de admin, de winkelwagen, de checkout, klantaccounts, interne zoekresultaten en collectie-URL's met sorteer- en filterparameters die anders duizenden bijna-dubbele pagina's zouden opleveren. Het bestand wijst crawlers ook naar je sitemap.

De standaardinstellingen zijn verstandig. Shopify werkt ze in de loop van de tijd bij, en dat is een goede reden om ze niet in hun geheel te vervangen.

robots.txt aanpassen

Je past het bestand aan met een themasjabloon dat robots.txt.liquid heet:

1. Ga naar Online Store > Themes, open het menu van je live thema en kies Edit code.
2. Kies onder Templates voor Add a new template, selecteer robots en maak hem aan.
3. Het nieuwe sjabloon bevat de standaardregels van Shopify in Liquid. Zet je wijzigingen rond die regels in plaats van ze te verwijderen.

Veelvoorkomende redenen om het aan te passen:

• Een crawler blokkeren die je niet wilt, zoals een specifieke bot die AI traint. Denk na voordat je AI-zoekcrawlers zoals OAI-SearchBot of PerplexityBot blokkeert, want dan kom je niet meer in hun antwoorden. De gids over je merk volgen in ChatGPT legt uit welke bot wat doet.
• Interne URL's blokkeren die een app maakt en die in de zoekresultaten opduiken.

Redenen om het niet te doen:

• Om een pagina uit Google te halen. robots.txt stopt het crawlen, niet het indexeren, en een geblokkeerde pagina kan nog steeds verschijnen zonder beschrijving. Gebruik een noindex-tag, of verwijder de pagina met een redirect.
• Om dubbele collectiepaden te verbergen. De canonical tags van Shopify regelen die al.

Omdat het sjabloon in het thema zit, geldt het alleen voor het live thema. Wissel je van thema, kopieer robots.txt.liquid dan mee, anders valt het terug naar de standaard.

Je instellingen controleren

Een site-audit markeert URL's in de sitemap die doorsturen of fouten geven, pagina's die door robots.txt worden geblokkeerd en pagina's die in de sitemap ontbreken. De site-audit van zaDojo doet dit voor Shopify-winkels en ondersteunt de handtekeningen voor crawlertoegang van Shopify, zodat de crawl niet voortijdig stopt. De hoofdgids over Shopify legt de instelling uit.

Vragen die mensen stellen

Kan ik de sitemap van Shopify aanpassen? Niet direct. Je bepaalt hem door pagina's te publiceren, te depubliceren of te verbergen. Shopify schrijft het bestand automatisch opnieuw.

Kan ik een eigen pagina aan de sitemap toevoegen? Pagina's die je maakt in Online Store > Pages worden automatisch toegevoegd. URL's die apps onder /apps/ leveren niet, omdat Shopify die niet zelf maakt.

Hoe lang duurt het voordat Google mijn sitemap leest? Meestal een paar dagen na het indienen, soms langer voor een nieuwe winkel. Indienen garandeert niet dat elke URL wordt geïndexeerd.