Мой robots.txt

Этот Блог

Теги: ,

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Кто не знает что такое robots.txt или хочет поподробнее узнать как он работает, то этот пост не для Вас, здесь я напишу только свой robots.txt для этого блога с небольшими комментариями. В принципе, структура блогов на WordPress одинаковая, и цели для которых используют robots.txt одни и те же, поэтому мой robots.txt подойдёт для большинства блогов на WP.

Текст моего robots.txt

User-agent: YandexBlog #Это поиск яндекс по блогам
Disallow: #Разрешаем всё о сам разберётся
 
User-agent: *
Disallow: /wp-login.php #Это всё взять с какой-то статьи
Disallow: /wp-register.php #Закрываем все служебные страницы ит.д
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Allow: /wp-includes/images/ #Тут у меня лежат картинки
Disallow: /page/* #Закрываем от индексации страницы
Disallow: /tag/* #Закрываем от индексации метки
 
Sitemap: https://448dmg.ru/sitemap.xml #Карта сайта
 
Host: https://448dmg.ru #Оcновной хост

Про поиск яндекс по блогам ни чего сказать не могу, скопировал как советовали. На счёт Allow он работает только в яндексе, но картинки лучше открыть для индекса. Так же я закрыл страницы и метки, чтобы не было дублирования контента. Sitemap: говорит поисковикам где лежит карта сайта. Host: уакзывает основное зеркало, тоже работает только в яндексе.

нижний новгород входные двери со склада входные металлические двери нижний новгород цены. Make sure btc gambling sites, and also

Похожие посты.

  1. Поисковая оптимизация моего блога.
  2. Статистика блога за июль.
  3. Редактирование шаблонов в WordPress.
  4. Индекс и статистика.