#1 2014-11-10 16:43

realteam
Пользователь

Robots.txt как сделать правильно?

В общем всем привет, есть небольшой вопрос к тем у кого хорошо настроен robots.txt.

Не могли бы вы подсказать,  если в robots.txt закрыто

Disallow: /*wa-data/

то как открыть индексацию картинок, которые находятся по адресу _http://site.ru/wa-data/public/shop/products/50/02/250/images/73/73.200x200.jpg

и не индексировало _http://site.ru/wa-data/public/shop/themes/Collimator/img/logindialog_btn.gif

Подскажите, как разрешить индексировать картинки и что внести в robots.txt?

Ниже приведу картинку то что показывает гугл вебмастер для главной страницы сайта.

http://forum.webasyst.ru/uploads/thumbs/12280_ddddddo_ndonddd_171.png

и если указать Disallow: /*wa-data/public/shop/themes/ для закрытия индексации темы, то как быть с картинками? И что делать с Disallow: /*wa-data/ ?

Нашел на просторах инета такой вариант:

Disallow: /*wa-data/
Disallow: /*wa-data/public/shop/themes/
Allow: /wa-data/public/shop/products/

Будет ли так правильно?

Отредактировано realteam (2014-11-11 16:19)

Неактивен

 

#2 2014-11-11 03:05

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

realteam написал:

Disallow: /*wa-data/
Allow: /wa-data/public/shop/products/

Так достаточно.

Неактивен

 

#3 2014-11-11 16:18

realteam
Пользователь

Re: Robots.txt как сделать правильно?

Ковалев Антон написал:

realteam написал:

Disallow: /*wa-data/
Allow: /wa-data/public/shop/products/

Так достаточно.

Ага спасибо уже так и сделл.

Неактивен

 

#4 2014-11-16 23:51

Сергей М
Пользователь

Re: Robots.txt как сделать правильно?

Не хочу плодить темы, маленький вопрос. как правильно писать для webasyst (старого) запись не индексировать сортировку. на форуме есть разные вариант, чаще всего встречаются такие
Disallow: *?sort=
или
Disallow: /*?sort=*

Какой вариант верный?
И что означает звездочка перед знаком "?"

Отредактировано Сергей М (2014-11-16 23:55)

Неактивен

 

#5 2014-11-17 00:57

realteam
Пользователь

Re: Robots.txt как сделать правильно?

Сергей М написал:

Не хочу плодить темы, маленький вопрос. как правильно писать для webasyst (старого) запись не индексировать сортировку. на форуме есть разные вариант, чаще всего встречаются такие
Disallow: *?sort=
или
Disallow: /*?sort=*

Какой вариант верный?
И что означает звездочка перед знаком "?"

http://help.yandex.ru/webmaster/control … isk-dollar

Неактивен

 

#6 2014-11-19 20:20

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

realteam написал:

Сергей М написал:

Не хочу плодить темы, маленький вопрос. как правильно писать для webasyst (старого) запись не индексировать сортировку. на форуме есть разные вариант, чаще всего встречаются такие
Disallow: *?sort=
или
Disallow: /*?sort=*

Какой вариант верный?
И что означает звездочка перед знаком "?"

http://help.yandex.ru/webmaster/control … isk-dollar

Disallow: *?sort=  или Disallow: /*?sort=* в данном случае равнозначные записи.
Звездочка означает "любой символ или последовательность символов". В конце выражения звездочка подразумевается, даже если не написана.

Неактивен

 

#7 2014-11-20 02:50

script_me
Пользователь

Re: Robots.txt как сделать правильно?

Вот мне интересно, почему не закрыть ВСЕ и разрешить только:
Disallow: /
Disallow: /*?*
Allow: */category/*
Allow: */product/*
Allow: */auxpage*
Allow: */blog/*
Allow: */search*
Allow: */category_search*
Allow: */all/*
Allow: */pricelist/*

Чо огород-то городить? Поправьте, если где ошибаюсь. А то 100500 тем о robots.txt

Отредактировано script_me (2014-11-20 02:51)

Неактивен

 

#8 2014-11-21 02:02

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

script_me написал:

Вот мне интересно, почему не закрыть ВСЕ и разрешить только:
Disallow: /
Disallow: /*?*
Allow: */category/*
Allow: */product/*
Allow: */auxpage*
Allow: */blog/*
Allow: */search*
Allow: */category_search*
Allow: */all/*
Allow: */pricelist/*
Чо огород-то городить? Поправьте, если где ошибаюсь. А то 100500 тем о robots.txt

Вы про 4-й Shop-Script или про 5-й?
Если про 4-й, то огород городить придется хотя-бы потому, что там полно дублей вида, например
your.site/index.php/auxpage_1/auxpage_1/auxpage_3/blog/5/blog/5/feedback/ и т.п. которые Ваш роботс не закрывает.

Отредактировано www.po.kiev.ua (2014-11-21 02:02)

Неактивен

 

#9 2014-11-21 03:50

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

script_me написал:

Вот мне интересно, почему не закрыть ВСЕ и разрешить только:
Disallow: /
Disallow: /*?*
Allow: */category/*
Allow: */product/*
Allow: */auxpage*
Allow: */blog/*
Allow: */search*
Allow: */category_search*
Allow: */all/*
Allow: */pricelist/*

Чо огород-то городить? Поправьте, если где ошибаюсь. А то 100500 тем о robots.txt

Все индивидуально. Часто можно и так при наличии редиректов, только без результатов поиска.

Неактивен

 

#10 2014-11-21 03:59

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

Ковалев Антон написал:

Все индивидуально. Часто можно и так при наличии редиректов, только без результатов поиска.

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

Неактивен

 

#11 2014-11-21 04:37

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

www.po.kiev.ua написал:

Ковалев Антон написал:

Все индивидуально. Часто можно и так при наличии редиректов, только без результатов поиска.

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

Да можно, даже и в роботсе можно, но то уже извращение)

Неактивен

 

#12 2014-11-21 04:53

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

www.po.kiev.ua написал:

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

Если Вы про конкретный пример, то тут понятно, что script_me предложил "на скорую руку". Конечно же, вариант будет выглядеть примерно так:

Код:

Disallow: /
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$
...

Просто нет в этом особого смысла)

Отредактировано Ковалев Антон (2014-11-21 05:08)

Неактивен

 

#13 2014-11-22 03:07

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

Ковалев Антон написал:

www.po.kiev.ua написал:

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

Если Вы про конкретный пример, то тут понятно, что script_me предложил "на скорую руку". Конечно же, вариант будет выглядеть примерно так:

Код:

Disallow: /
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$
...

Просто нет в этом особого смысла)

Так в Allow: /category/*/$
УРЛ your.site/category/59068540986/category/4444/ тоже разрешен

Неактивен

 

#14 2014-11-22 12:59

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

www.po.kiev.ua написал:

Так в Allow: /category/*/$
УРЛ your.site/category/59068540986/category/4444/ тоже разрешен

Так я же говорю, можно, но это извращение)

Код:

User-agent: Yandex
Disallow: /
Disallow: /category/*/*/
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$

Неактивен

 

#15 2014-11-22 17:42

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

Ковалев Антон написал:

www.po.kiev.ua написал:

Так в Allow: /category/*/$
УРЛ your.site/category/59068540986/category/4444/ тоже разрешен

Так я же говорю, можно, но это извращение)

Код:

User-agent: Yandex
Disallow: /
Disallow: /category/*/*/
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$

Извращение еще какое...
Например Disallow: /category/*/*/ = Allow:  your.site/category/59068540986/category/4444   smile
Т.е. закрывать в роботс таким образом ничуть не меньше мороки, чем наоборот через Disallow:. Я это хотел сказать.

Неактивен

 

#16 2014-11-22 17:57

Ковалев Антон
Пользователь

Re: Robots.txt как сделать правильно?

www.po.kiev.ua написал:

Т.е. закрывать в роботс таким образом ничуть не меньше мороки, чем наоборот через Disallow:. Я это хотел сказать.

Так и есть.

Как-то давно был у меня сайтик в работе, урлы через параметры формировались, грязи разной море, а страниц-то всего с десяток. Ну, я и сделал через Disallow по этой логике, вроде и по сей день живет и ничего. Все индивидуально.

Неактивен

 

#17 2015-05-25 11:14

IGOR2004
Пользователь

Re: Robots.txt как сделать правильно?

Подскажите пожалуйста!

Нужно ли закрывать обязательно?

Disallow: /*/reviews/

Неактивен

 

#18 2015-05-25 11:26

www.po.kiev.ua
Пользователь

Re: Robots.txt как сделать правильно?

IGOR2004 написал:

Подскажите пожалуйста!
Нужно ли закрывать обязательно?
Disallow: /*/reviews/

Если хотите, чтобы /reviews/ у вас индексировались то не закрывайте. В остальных случая лучше закрыть.

Неактивен

 

Board footer

Powered by PunBB