Вы не авторизованы.
2. Это существенно улучшает ситуацию, поскольку запись в таблицу приводит к её блокировке на время записи.
3. ИМХО, лишнее
4. Для всех - опасно (яндекс/гугл честно читают задержки сканирования, если не случаются баги ), если вам конечно важна индексация.
У них своя подсеть 5.10.83.0 - 5.10.83.127, так что можно разом её прикрыть.
Или сделать редирект на их сайт, пускай сами себя индексируют.
Неактивен
sirhc написал:
Как же с этим бороться?
да, тоже очень интересует этот вопрос, уж очень они достают)
Стоит сайту выбиться ближе к лидерству и все раз за разом умельцы тыкают на кнопки.
Неактивен
Vladislav а можете конкретно расписать, как бы Вы это сделали.)
С уажением.
Неактивен
я нашел вот такое вот решение
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]
Отредактировано komkom (2013-08-05 17:47)
Неактивен
Вот более полный список и правильное написание:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Purebot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^DotBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Ezooms [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Robot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^ichiro [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^VoilaBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Wget [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^ReGet [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Rankur [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^DLE_Spider [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^cmsworldmap [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^libwww-perl [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^RadioClicker [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^Embedly [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^TweetmemeBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^discobot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^SearchBot [NC] RewriteRule ^(.*)$ — [F,L]
Отредактировано sirhc (2013-08-05 19:24)
Неактивен
ага, и что из этого списка блокирует гугл?
Неактивен
А причём тут гугл?
Список же для ботов-паразитов
Неактивен
sirhc написал:
А причём тут гугл?
Список же для ботов-паразитов
а при том что при проверке глазами гуглбот сайт выдает 403 ошибку)
<title>Ошибка 403 - доступ к запрашиваемой странице запрещен.</title>
Отредактировано komkom (2013-08-05 20:23)
Неактивен
У меня всё ок, зашёл в Инструменты для веб-мастеров в Гугле, в раздел "Просмотреть как Googlebot", нажал "Получить содержание", всё получилось успешно.
Неактивен
странненько, попробую еще раз
да, спасибо, вроде все нормально, посмотрим по логам, как работает)
Отредактировано komkom (2013-08-06 11:01)
Неактивен