robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Кто не знает что такое robots.txt или хочет поподробнее узнать как он работает, то этот пост не для Вас, здесь я напишу только свой robots.txt для этого блога с небольшими комментариями. В принципе, структура блогов на WordPress одинаковая, и цели для которых используют robots.txt одни и те же, поэтому мой robots.txt подойдёт для большинства блогов на WP.
Текст моего robots.txt
User-agent: YandexBlog #Это поиск яндекс по блогам Disallow: #Разрешаем всё о сам разберётся User-agent: * Disallow: /wp-login.php #Это всё взять с какой-то статьи Disallow: /wp-register.php #Закрываем все служебные страницы ит.д Disallow: /xmlrpc.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /trackback/ Disallow: /feed/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Allow: /wp-includes/images/ #Тут у меня лежат картинки Disallow: /page/* #Закрываем от индексации страницы Disallow: /tag/* #Закрываем от индексации метки Sitemap: https://448dmg.ru/sitemap.xml #Карта сайта Host: https://448dmg.ru #Оcновной хост
Про поиск яндекс по блогам ни чего сказать не могу, скопировал как советовали. На счёт Allow он работает только в яндексе, но картинки лучше открыть для индекса. Так же я закрыл страницы и метки, чтобы не было дублирования контента. Sitemap: говорит поисковикам где лежит карта сайта. Host: уакзывает основное зеркало, тоже работает только в яндексе.
Доска акации необрезная купить доску акации ДоскаПиломатериал Лыткарино. В каких случаях платят меньше налогов.