Мой robots.txt

Этот Блог

Tagged Under : ,

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Кто не знает что такое robots.txt или хочет поподробнее узнать как он работает, то этот пост не для Вас, здесь я напишу только свой robots.txt для этого блога с небольшими комментариями. В принципе, структура блогов на WordPress одинаковая, и цели для которых используют robots.txt одни и те же, поэтому мой robots.txt подойдёт для большинства блогов на WP.

Текст моего robots.txt

User-agent: YandexBlog          #Это поиск яндекс по блогам
Disallow:                              #Разрешаем всё о сам разберётся
 
User-agent: *
Disallow: /wp-login.php          #Это всё взять с какой-то статьи 
Disallow: /wp-register.php      #Закрываем все служебные страницы ит.д
Disallow: /xmlrpc.php           
Disallow: /wp-admin/            
Disallow: /wp-includes/         
Disallow: /wp-content/           
Disallow: /trackback/           
Disallow: /feed/                
Disallow: */trackback/          
Disallow: */feed/               
Disallow: */comments/          
Disallow: /?feed=               
Allow: /wp-includes/images/     #Тут у меня лежат картинки
Disallow: /page/*               #Закрываем от индексации страницы  
Disallow: /tag/*                #Закрываем от индексации метки  
 
Sitemap: http://448dmg.ru/sitemap.xml #Карта сайта
 
Host: 448dmg.ru                 #Оcновной хост

Про поиск яндекс по блогам ни чего сказать не могу, скопировал как советовали. На счёт Allow он работает только в яндексе, но картинки лучше открыть для индекса. Так же я закрыл страницы и метки, чтобы не было дублирования контента. Sitemap: говорит поисковикам где лежит карта сайта. Host: уакзывает основное зеркало, тоже работает только в яндексе.

Похожие посты.

  1. Поисковая оптимизация моего блога.
  2. Статистика блога за июль.
  3. Редактирование шаблонов в WordPress.
  4. Индекс и статистика.

Оставить комментарий