Карта сайта и robots.txt в Shopify

Карта сайта Shopify находится по адресу yourstore.com/sitemap.xml, а файл robots по адресу yourstore.com/robots.txt. Shopify создаёт и обновляет оба автоматически. Редактировать карту сайта напрямую нельзя, но можно выбирать, что в неё попадает, а robots.txt можно изменить через шаблон темы. Большинству магазинов стоит отправить карту сайта в Google Search Console и оставить robots.txt как есть.

В этом руководстве показано, где лежат оба файла, как вернуть в карту сайта пропавшие страницы и когда имеет смысл править robots.txt. Оно входит в руководство по SEO для Shopify.

Где найти карту сайта

Откройте /sitemap.xml на основном домене. Это индекс карт сайта: короткий файл со ссылками на отдельные карты для товаров, коллекций, страниц и записей блога. Shopify добавляет и убирает URL, когда вы публикуете, скрываете или удаляете что-то.

Используйте основной домен. Если магазин отвечает и на yourstore.myshopify.com или дополнительном домене, они перенаправляют на основной, и их карта сайта тоже.

Если вы продаёте в нескольких странах через Shopify Markets и используете подпапки или отдельные домены, у каждой версии рынка своя карта сайта, например /en-ca/sitemap.xml.

Как отправить её в Google

Добавьте основной домен магазина как ресурс в Google Search Console.
Откройте Файлы Sitemap, введите sitemap.xml и нажмите Отправить.
Загляните через несколько дней. Отчёт покажет, сколько URL обнаружил Google.

Отправлять нужно один раз. Google регулярно перечитывает карту сайта, а Shopify поддерживает её актуальной. Сделайте то же в Bing Webmaster Tools, который умеет импортировать настройки из Search Console.

Почему страницы нет в карте сайта

Shopify включает только страницы, которые опубликованы в онлайн-магазине. Проверьте по порядку:

Магазин закрыт паролем. Пока пароль витрины включён, поисковики вообще не могут сканировать магазин. Снимите его до запуска.
Товар не доступен в канале продаж Online Store. Товары только в других каналах, например в POS или на маркетплейсе, не попадают в карту.
Это черновик или неопубликованная страница. Черновики и страницы с будущей датой публикации появятся только после выхода.
Страница скрыта от поиска. Некоторые приложения и темы ставят метаполе seo.hidden, чтобы убрать страницу из карты сайта и добавить тег noindex. Проверьте, не сделало ли это намеренно какое-то из ваших приложений.

Наличие страниц в карте сайта не значит, что они проиндексированы. Отчёт Страницы в Search Console показывает, какие URL из карты Google решил не индексировать и почему.

Стандартный robots.txt

Стандартный robots.txt Shopify блокирует страницы, которым не место в выдаче: админку, корзину, оформление заказа, личные кабинеты, внутренний поиск и URL коллекций с параметрами сортировки и фильтров, которые иначе создали бы тысячи почти одинаковых страниц. Он также указывает краулерам на карту сайта.

Значения по умолчанию разумные. Shopify со временем их обновляет, и это хорошая причина не заменять их целиком.

Как изменить robots.txt

Файл можно настроить через шаблон темы robots.txt.liquid:

Откройте Online Store > Themes, откройте меню активной темы и выберите Edit code.
В разделе Templates выберите Add a new template, затем robots и создайте его.
Новый шаблон воспроизводит стандартные правила Shopify на Liquid. Добавляйте свои изменения вокруг этих правил, а не удаляйте их.

Частые причины для правки:

Заблокировать нежелательный краулер, например конкретного бота для обучения ИИ. Подумайте, прежде чем блокировать поисковые ИИ-краулеры вроде OAI-SearchBot или PerplexityBot: так вы пропадёте из их ответов. Какие боты что делают, описано в руководстве по отслеживанию бренда в ChatGPT.
Заблокировать внутренние URL, которые создаёт приложение и которые появляются в поиске.

Когда не нужно:

Чтобы убрать страницу из Google. robots.txt останавливает сканирование, а не индексацию, и заблокированная страница может показываться без описания. Используйте тег noindex или удалите страницу с редиректом.
Чтобы спрятать дубли путей через коллекции. С ними уже справляются теги canonical Shopify.

Поскольку шаблон живёт в теме, он действует только для активной темы. Если меняете тему, перенесите robots.txt.liquid, иначе файл вернётся к стандартному.

Проверка настроек

Аудит сайта отметит URL из карты сайта, которые перенаправляют или отдают ошибки, страницы, заблокированные в robots.txt, и страницы, которых нет в карте сайта. Аудит сайта zaDojo делает это для магазинов на Shopify и поддерживает подписи доступа для краулеров Shopify, чтобы сканирование не обрывалось. Настройка описана в основном руководстве по Shopify.

Частые вопросы

Можно ли редактировать карту сайта Shopify? Напрямую нет. Вы управляете ею, публикуя, снимая с публикации или скрывая страницы. Shopify переписывает файл автоматически.

Можно ли добавить в карту сайта свою страницу? Страницы, созданные в Online Store > Pages, добавляются автоматически. URL, которые отдают приложения по пути /apps/, не добавляются, потому что их создаёт не Shopify.

Когда Google прочитает карту сайта? Обычно через несколько дней после отправки, для нового магазина иногда дольше. Отправка не гарантирует, что каждый URL попадёт в индекс.