Версия для печати (в новом окне)

WebWarper / Часто Задаваемые Вопросы (F.A.Q.) / Вопросы разработчиков сайтов

Я не хочу, что в поисковых системах была проиндексирована WebWarper-версия моего сайта. Почему вы не блокируете такую индексацию через robots.txt?

Мы считаем нормальной ситуацию, когда через поисковую систему или другим способом пользователи могут найти как обычную ссылку на ваш сайт, так и версию ссылки с префиском вида http://webwarper.net/ww/~av/, позволяющую увидеть сайт с оптимизацией. Пользователи должны иметь выбор, как именно они хотят видеть ваш сайт.

Более того, индексация WebWarper-версий сайтов в поисковых машинах необходима веб-авторам, решившим оптимизировать свой ресурс с помощью нашего сервиса (см. наше предложение для веб-авторов на главной странице сервиса). Некоторые такие сайты изначально рассчитаны на просмотр только через WebWarper (вариант оптимизации А). Если бы мы блокировали индексацию оптимизированных страниц, например, через стандартый файл robots.txt, то нормальная индексация таких сайтов оказалась бы невозможной.

Тем не менее, вы можете помешать индексации WebWarper-версии своего сайта самостоятельно. Нужно воспользоваться META-тегами, блокирующими индексацию отдельных страниц: см. документ http://www.robotstxt.org/wc/exclusion.html#meta. Требуемые META-теги следует добавить так, чтобы они были "видны" только при просмотре страниц через WebWarper. Для этого используется специальный "псевдокомментарий":

<ww><!--<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">--></ww>

Подробнее об этом см. вопрос "Можно ли, в зависимости от наличия WebWarper, показывать разные фрагменты HTML-страницы?"

См. также вопрос "Я не хочу, чтобы мой сайт можно было просматривать через WebWarper".

К оглавлению