robots.txt – Инструкции для роботов

robots.txt

Если вы решили серьезно заняться продвижением собственного сайта или блога в Интернете, то можно попробовать оптимизировать файл robots.txt.

Этот файл можно использовать добровольно – это значит, что если вам не нужно ничего блокировать и вы хотите, чтобы поисковые системы индексировали ваш сайт целиком, то можно его просто не создавать.

Однако в большинстве случаев этот файл можно использовать для того, чтобы дать инструкции для поисковых роботов, какие страницы можно индексировать на вашем сайте, а какие лучше обходить стороной.

Как правило, этот файл является стандартным для 90 % сайтов, созданных в Рунете. Без него сложно достичь максимального успеха в продвижении сайта хотя бы потому, что в нем кроме рекомендаций по запрету на индексацию можно прописать также главное зеркало для вашего сайта, а также адрес для карты сайта (файл sitemap), без чего индексация вашего сайта будет значительно затруднена.

Следовательно, нужно постараться оптимизировать этот файл. По умолчанию попробуйте создать нужные правила для поисковых роботов, а через некоторое время с помощью сайтов веб-мастера («Гугл» и «Яндекс») определите, какие мусорные страницы попали в поисковую выдачу (т. е. тем самым вы сможете определить страницы, которые вы забыли добавить в этот файл, и их также нужно будет заблокировать).

Например, чаще всего в этот файл добавляют целые каталоги на сервере, например админ-панель, формы входа и регистрации на сайте, дубли страниц, страницы пагинации, страницы с поиском и некоторые другие страницы, которые не должны попадать в индекс поисковых систем по тем или иным причинам.

Примеры User-agent в robots.txt:

# Указывает директивы для всех роботов одновременно
User-agent: *

# Указывает директивы для всех роботов Яндекса
User-agent: Yandex

# Указывает директивы для только основного индексирующего робота Яндекса
User-agent: YandexBot

# Указывает директивы для всех роботов Google
User-agent: Googlebot

Оставить комментарий

avatar
  Подписаться  
Уведомление о