Правильный Robots.txt для WordPress

News Форумы ГОТОВЫЕ РЕШЕНИЯ Скрипты и CMS Правильный Robots.txt для WordPress

Метки: 

В этой теме 0 ответов, 1 участник, последнее обновление  Виктор 1 месяц назад.

  • Автор
    Посты
  • #5044

    Виктор
    Хранитель

    Robots.txt

    Правильный Robots.txt для WordPress

    Правильный Robots.txt для WordPress. Обратите внимание, что этот файл не является 100% гарантией, поскольку пауки поисковых систем могут игнорировать некоторые правила, но обычно это помогает. Код  должен быть вставлен в файл robots.txt в формате utf-8.

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: */trackback
    Disallow: */comment-
    Disallow: *?replytocom=
    Disallow: */feed
    Disallow: /?s=
    Disallow: /xmlrpc.php
    Disallow: /archives/date/
    Disallow: /archives/tag/
    Disallow: /archives/author/
    Disallow: /page/
    Disallow: /tag/
    Allow: /wp-content/uploads/
    Host: yoursite.com
    
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
    
    User-agent: ia_archiver
    Disallow: /

Для ответа в этой теме необходимо авторизоваться.