XML-файлы Sitemap — это простые текстовые файлы, которые помогают вам информировать Google о каждой веб-странице, изображении и видеофайле, доступных на вашем сайте. Например, если на вашем сайте есть страница, которую трудно обнаружить, потому что ни одна из других страниц / сайтов не ссылается на нее, Google может найти ее через файл Sitemaps.
Карты сайта создаются в первую очередь для поисковых систем, но, поскольку они также содержат текст, они могут даже отображаться в обычных результатах поиска, таким образом конкурируя с другими вашими веб-страницами . Чтобы убедиться в этом сами, попробуйте выполнить поисковый запрос типа filetype: xml inurl: sitemap в Google.
Вы можете легко предотвратить индексирование веб-страниц на основе HTML с помощью тегов META, но такая функция недоступна для файлов Sitemap на основе XML.

Запретить Google индексировать ваши XML-файлы Sitemap

Джон Мюллер из Google в своем твите предложил альтернативное решение — использовать файлы карты сайта с тегом noindex x-robots-tag, чтобы предотвратить их индексацию.
Реализация предложения Джона займет не больше минуты. Вот как:
Переключитесь в каталог на веб-сервере Apache, где файлы Citemap являются (они обычно расположены в папке верхнего уровня блога) и откройте файл.htaccess для редактирования.
Если у вас есть только один XML-файл Sitemap, добавьте этот код в свой файл.htaccess.


Header set X-Robots-Tag "noindex"


Замените слово «sitemap.xml» в коде фактическим именем вашего файла Sitemap.
Если у вас несколько карт сайта (например, для изображений, видео или, в случае блогов Blogger, которые поддерживают несколько карт сайта), используйте вместо них следующий код. Не забудьте заменить sitemap1, sitemap2 и т. Д. Фактическими именами файлов.


Header set X-Robots-Tag "noindex"


Проверьте свои изменения.htaccess
После сохранения изменений в файле.htaccess перейдите в URI Valet и скопируйте и вставьте полный URL-адрес любого из ваших XML-файлов Sitemap.
Если у вас есть тег X-Robots с noindex, указанный в ответе сервера, реализация прошла успешно, и ваши карты сайта больше не должны появляться в Google и других поисковых системах.
См. Также: Эксперты Google отвечают на ваши вопросы по SEO.