Sitemap и robots.txt в Shopify

Sitemap на Shopify магазина ти е на yourstore.com/sitemap.xml, а файлът robots е на yourstore.com/robots.txt. Shopify създава и обновява и двата автоматично. Не можеш да редактираш sitemap директно, но можеш да избираш какво влиза в него, а robots.txt можеш да редактираш чрез шаблон на темата. Повечето магазини трябва да подадат sitemap в Google Search Console и да оставят robots.txt както е.

Това ръководство показва къде са двата файла, как да оправиш страници, липсващи в sitemap, и кога има смисъл да редактираш robots.txt. То е част от ръководството за SEO за Shopify.

Как да намериш sitemap

Отвори /sitemap.xml на основния си домейн. Това е индекс на sitemap: кратък файл с линкове към отделни sitemap файлове за продукти, колекции, страници и публикации в блога. Shopify добавя и маха URL адреси, докато публикуваш, скриваш или изтриваш неща.

Използвай основния си домейн. Ако магазинът ти отговаря и на yourstore.myshopify.com или на вторичен домейн, те пренасочват към основния, както и техният sitemap.

Ако продаваш в няколко държави с Shopify Markets и използваш подпапки или отделни домейни, всяка пазарна версия има собствен sitemap, например /en-ca/sitemap.xml.

Подаване в Google

1. Добави основния домейн на магазина си като ресурс в Google Search Console.
2. Отвори Sitemaps, въведи sitemap.xml и кликни Submit.
3. Провери отново след няколко дни. Отчетът показва колко URL адреса е открил Google.

Подаваш само веднъж. Google чете sitemap редовно, а Shopify го поддържа актуален. Направи същото в Bing Webmaster Tools, който може да импортира настройката ти от Search Console.

Защо страница липсва в sitemap

Shopify изброява само страници, които са активни в онлайн магазина ти. Провери тези неща поред:

• Магазинът е защитен с парола. Докато паролата на витрината е включена, търсачките изобщо не могат да обходят магазина. Махни я преди старта.
• Продуктът не е наличен в канала за продажби Online Store. Продуктите само в други канали, като POS или пазар, остават извън него.
• Това е чернова или не е публикувано. Черновите и страниците с бъдеща дата на публикуване не се изброяват, докато не станат активни.
• Скрито е от търсенето. Някои приложения и теми задават метаполе seo.hidden, за да държат страница извън sitemap, и добавят noindex таг. Провери дали някое инсталирано от теб приложение не го е направило нарочно.

Това, че страниците са в sitemap, не значи, че са индексирани. Отчетът Pages в Search Console показва кои изброени URL адреси Google е решил да не индексира и защо.

Стандартният robots.txt

Стандартният robots.txt на Shopify блокира страници, които никога не бива да са в резултатите от търсене: админ панела, количката, плащането, клиентските акаунти, вътрешните резултати от търсене и URL адресите на колекции с параметри за сортиране и филтриране, които иначе биха създали хиляди почти дублирани страници. Също така насочва краулърите към sitemap.

Стандартните правила са разумни. Shopify ги обновява с времето, което е добра причина да не ги заменяш изцяло.

Редактиране на robots.txt

Можеш да промениш файла с шаблон на темата, наречен robots.txt.liquid:

1. Отиди в Online Store > Themes, отвори менюто на активната си тема и избери Edit code.
2. Под Templates избери Add a new template, избери robots и го създай.
3. Новият шаблон възпроизвежда стандартните правила на Shopify с Liquid. Добавяй промените си около тези правила, вместо да ги триеш.

Чести причини да го редактираш:

• Блокиране на краулър, който не искаш, например определен бот за обучение на AI. Помисли, преди да блокираш AI краулъри за търсене като OAI-SearchBot или PerplexityBot, защото това те държи извън техните отговори. Ръководството за класиране в ChatGPT обяснява кой бот какво прави.
• Блокиране на вътрешни URL адреси, създадени от приложение, които се появяват в търсенето.

Причини да не го правиш:

• За да махнеш страница от Google. robots.txt спира обхождането, а не индексирането, и блокирана страница пак може да се появи без описание. Използвай noindex таг или изтрий страницата с пренасочване.
• За да скриеш дублираните пътища през колекции. Canonical таговете на Shopify вече се грижат за тях.

Понеже шаблонът е в темата, той важи само за активната тема. Ако смениш темата, копирай robots.txt.liquid в новата, иначе файлът се връща към стандартния.

Проверка на настройката

Одитът на сайта ще отбележи URL адреси от sitemap, които пренасочват или връщат грешки, страници, блокирани от robots.txt, и страници, които липсват в sitemap. Одитът на сайта в zaDojo прави това за Shopify магазини и поддържа подписите за достъп на краулъри на Shopify, така че обхождането не се прекъсва. Основното ръководство за Shopify обяснява настройката.

Въпроси, които хората задават

Мога ли да редактирам sitemap на Shopify? Не директно. Управляваш го, като публикуваш, сваляш от публикация или скриваш страници. Shopify пренаписва файла автоматично.

Мога ли да добавя собствена страница в sitemap? Страниците, които създаваш в Online Store > Pages, се добавят автоматично. URL адресите, сервирани от приложения под /apps/, не се добавят, защото Shopify не ги генерира.

След колко време Google ще прочете sitemap? Обикновено няколко дни след подаването, понякога повече при нов магазин. Подаването не гарантира, че всеки URL ще бъде индексиран.