1
0 Комментарии

Правильный Robots.txt для WordPress. Обратите внимание, что этот файл не является 100% гарантией, поскольку пауки поисковых систем могут игнорировать некоторые правила, но обычно это помогает. Код  должен быть вставлен в файл robots.txt в формате utf-8.

User-agent: *
Disallow: /cgi-bin/
Disallow: */trackback
Disallow: */comment-
Disallow: *?replytocom=
Disallow: */feed
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /archives/date/
Disallow: /archives/tag/
Disallow: /archives/author/
Disallow: /page/
Disallow: /tag/
Allow: /wp-content/uploads/
Host: yoursite.com
 User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 User-agent: ia_archiver
Disallow: /

Задавать вопросы
Добавить комментарий