robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Кто не знает что такое robots.txt или хочет поподробнее узнать как он работает, то этот пост не для Вас, здесь я напишу только свой robots.txt для этого блога с небольшими комментариями. В принципе, структура блогов на WordPress одинаковая, и цели для которых используют robots.txt одни и те же, поэтому мой robots.txt подойдёт для большинства блогов на WP.

Текст моего robots.txt

User-agent: YandexBlog #Это поиск яндекс по блогам
Disallow: #Разрешаем всё о сам разберётся
 
User-agent: *
Disallow: /wp-login.php #Это всё взять с какой-то статьи
Disallow: /wp-register.php #Закрываем все служебные страницы ит.д
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Allow: /wp-includes/images/ #Тут у меня лежат картинки
Disallow: /page/* #Закрываем от индексации страницы
Disallow: /tag/* #Закрываем от индексации метки
 
Sitemap: https://448dmg.ru/sitemap.xml #Карта сайта
 
Host: https://448dmg.ru #Оcновной хост

Про поиск яндекс по блогам ни чего сказать не могу, скопировал как советовали. На счёт Allow он работает только в яндексе, но картинки лучше открыть для индекса. Так же я закрыл страницы и метки, чтобы не было дублирования контента. Sitemap: говорит поисковикам где лежит карта сайта. Host: уакзывает основное зеркало, тоже работает только в яндексе.

Доска акации необрезная купить доску акации ДоскаПиломатериал Лыткарино. Сделать смс рассылку по своей базе сервис sms рассылок по своеи базе.