Ремонт квартиры своими руками

Копирайт, статьи на строительную тематику, дизайн интерьера, дизайн ландшафта.  При копировании статьи ссылка на этот сайт ОБЯЗАТЕЛЬНА. По вопросам партнерства обращайтесь в раздел Сотрудничество. Всегда будем рады. Все статьи этого автора

Сегодня захожу в Яндекс.Вебмастер, и вижу что проиндексировав мой блог, Яндекс нашел ошибки.

Выглядит примерно так:

• HTTP-статус: Ресурс временно перемещён (302)
• Неверный формат документа

Согласитесь не очень приятно, когда Яндекс ругается на ваш сайт. Начал разбираться что к чему и почему, выяснилось вот что:

ошибка «Неверный формат документа» возникает по всем ссылкам у которых в конце стоит /feed/, а ошибки «HTTP-статус: Ресурс временно перемещён (302)» — на всех ссылках, в которых на конце стоит /trackback/ в принципе Яндекс прав, все что выдается по этим ссылкам не для поисковых машин и действительно является ошибками. Будем это исправлять.

Host: www.batyanya.com.ua

Немного покопался в Интернете и решил закрыть все лишние для поисковиков ссылки с помощью файла robots.txt.

В результате у меня получился вот такой файл:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: www.batyanya.com.ua
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Этим файлом запрещается индексация служебных разделов вашего блога  для всех поисковых серверов, что позволит избежать различных неприятных недоразумений с поисковиками, таких, как дубляж содержимого сайта и т.п, и т.д.

Параметр Host действует только для Яндекса, поэтому его желательно указывать в конце файла, или определив для какого именно поисковика вы задаете этот параметр.