#1 2015-01-09 12:21

gradicom
Пользователь

Индексация страниц запрещённых robots.txt

Уважаемые форумчане, подскажите пожалуйста как так получается, а точнее как это исправить
мой файл robots.txt
User-agent: *
Disallow: /my/
Disallow: /checkout/
Disallow: /*wa-apps/
Disallow: /*wa-data/
Disallow: /search/?query=
Disallow: /tag/
Disallow: *?sort=
Disallow: /cart/
Disallow: /signup/
Disallow: /login/
Disallow: /compare/
Disallow: /forgotpassword/
Disallow: /webasyst/
Disallow: /*?price_min=
Host: retrowill.ru
Sitemap: http://retrowill.ru/sitemap.xml

при этом в панели яндекс вебмастер  в разделе "страницы в поиске" есть такие записи

Вход
retrowill.ru/site/login/

Корзина
retrowill.ru/cart/

хромированные колпаки — Колпаки Baby MooN, флиппера на колеса...
retrowill.ru/tag/хромированные+колпаки/

Регистрация
retrowill.ru/site/signup/

скрин панели вебмастера http://clip2net.com/s/3a7rfM7

Буду признателен за Ваши рекомендации

Неактивен

 

#2 2015-01-31 17:49

www.po.kiev.ua
Пользователь

Re: Индексация страниц запрещённых robots.txt

Disallow: /site/ у вас отсутствует.
Хотя с site лучше делать редирект через .htsccess

Неактивен

 

#3 2015-01-31 21:40

gradicom
Пользователь

Re: Индексация страниц запрещённых robots.txt

Спасибо, все равно не понятно Disallow: /site/  остутствует, зато присутствует Disallow: /signup/ Disallow: /signup/, а кроме того Disallow: /cart/ который, по моему, с Disallow: /site/ вообще не связан

Неактивен

 

#4 2015-01-31 22:04

www.po.kiev.ua
Пользователь

Re: Индексация страниц запрещённых robots.txt

gradicom написал:

Спасибо, все равно не понятно Disallow: /site/  остутствует, зато присутствует Disallow: /signup/ Disallow: /signup/, а кроме того Disallow: /cart/ который, по моему, с Disallow: /site/ вообще не связан

Так и есть. В выдаче могут быть страницы которые проиндексированы до того, как запрет появился в роботс.
Постепенно должны уйти. Можете подать заявку на удаление из индекса.
Почему еще могут быть - даже затрудняюсь.
Были какие-то ситуации со страницами на которые есть внешние ссылки, но врядли это ваш случай.

Неактивен

 

#5 2015-02-01 13:42

gradicom
Пользователь

Re: Индексация страниц запрещённых robots.txt

Спасибо! Так понятнее) Буду ждать.
Если не дождусь, заявка подается через панель я.вебмастера?

Неактивен

 

#6 2015-02-20 00:36

fxz
Пользователь

Re: Индексация страниц запрещённых robots.txt

Обсаждали уже - гугл игнорирует Robots. вернее не считает его обязательным. Сам задрался уже разгребать. Можно удалять хоть до посинения, все равно найдет и добавит в сопли.

Отредактировано fxz (2015-02-20 00:37)

Неактивен

 

#7 2015-02-22 03:37

www.po.kiev.ua
Пользователь

Re: Индексация страниц запрещённых robots.txt

fxz написал:

Обсаждали уже - гугл игнорирует Robots. вернее не считает его обязательным. Сам задрался уже разгребать. Можно удалять хоть до посинения, все равно найдет и добавит в сопли.

Ничего Гугл не игнорирует.

Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их.

чтобы понимать ситуацию нужно читать до конца

Настройки robots.txt не влияют на ссылки с других сайтов
Googlebot не будет напрямую индексировать содержимое, указанное в файле robots.txt, однако сможет найти эти страницы по ссылкам с других сайтов. Из-за этого в результатах поиска Google могут появиться URL и другие общедоступные сведения – например, текст ссылок на сайт. Чтобы полностью исключить появление URL в результатах поиска Google, используйте robots.txt в сочетании с другими способами блокировки URL: парольной защитой файлов на сервере или метатегов с директивами по индексированию.

Пруф https://support.google.com/webmasters/a … 1&rd=1
https://support.google.com/webmasters/a … ic=6061961

И еще - файл Robots.txt и robots.txt не одно и то-же. (На всякий случай)

Неактивен

 

#8 2015-02-22 17:10

fxz
Пользователь

Re: Индексация страниц запрещённых robots.txt

Все это я читал много раз. И про парольную защиту (ставится ли она на виртуальные директории?) и про метатеги и про ссылки с других сайтов. Но нет у меня ссылок с других сайтов на такое количество страницы отзывов и сортировок. А на недавно добавленные страницы тем более. И роботс у меня проверенный в том же гугл вебмастере, и называется он robots а не Robots. И обсуждали мы этот вопрос уже, с Вами даже...
Вот как вы у себя, например, решили этот вопрос с теми же страницами /reviews/ ? За остальное пока не спрашиваю - недавно приделал cannonical и meta=noindex посмотрим что будет.

Неактивен

 

#9 2015-03-21 07:42

www.po.kiev.ua
Пользователь

Re: Индексация страниц запрещённых robots.txt

fxz написал:

Вот как вы у себя, например, решили этот вопрос с теми же страницами /reviews/ ?

В роботс закрывал.

Неактивен

 

#10 2015-03-21 22:40

Lembon
Пользователь

Re: Индексация страниц запрещённых robots.txt

Вам нужно внимательно пройтись по самому файлу дабы проверить его на наличие ошибок. Что бы наверняка, можно проверять как здесь http://seoprofy.ua/blog/optimizaciya-sajtov/robots-txt говорится, прочитать с помощью Google Вебмастерс, войти в свой аккаунт с подтвержденным на ним сайтом. Хотя конечно более детально ознакомится с robots.txt не мешало бы, тогда наверняка найдете свою неисправность.

Отредактировано Lembon (2015-03-24 12:00)

Неактивен

 

Board footer

Powered by PunBB