realteam написал:

Disallow: /*wa-data/
Allow: /wa-data/public/shop/products/

Так достаточно.

Не хочу плодить темы, маленький вопрос. как правильно писать для webasyst (старого) запись не индексировать сортировку. на форуме есть разные вариант, чаще всего встречаются такие
Disallow: *?sort=
или
Disallow: /*?sort=*

Какой вариант верный?
И что означает звездочка перед знаком "?"

Отредактировано Сергей М (2014-11-16 23:55)

realteam написал:

Сергей М написал:

Не хочу плодить темы, маленький вопрос. как правильно писать для webasyst (старого) запись не индексировать сортировку. на форуме есть разные вариант, чаще всего встречаются такие
Disallow: *?sort=
или
Disallow: /*?sort=*

Какой вариант верный?
И что означает звездочка перед знаком "?"

http://help.yandex.ru/webmaster/control … isk-dollar

Disallow: *?sort=  или Disallow: /*?sort=* в данном случае равнозначные записи.
Звездочка означает "любой символ или последовательность символов". В конце выражения звездочка подразумевается, даже если не написана.

script_me написал:

Вот мне интересно, почему не закрыть ВСЕ и разрешить только:
Disallow: /
Disallow: /*?*
Allow: */category/*
Allow: */product/*
Allow: */auxpage*
Allow: */blog/*
Allow: */search*
Allow: */category_search*
Allow: */all/*
Allow: */pricelist/*
Чо огород-то городить? Поправьте, если где ошибаюсь. А то 100500 тем о robots.txt

Вы про 4-й Shop-Script или про 5-й?
Если про 4-й, то огород городить придется хотя-бы потому, что там полно дублей вида, например
your.site/index.php/auxpage_1/auxpage_1/auxpage_3/blog/5/blog/5/feedback/ и т.п. которые Ваш роботс не закрывает.

Отредактировано www.po.kiev.ua (2014-11-21 02:02)

Ковалев Антон написал:

Все индивидуально. Часто можно и так при наличии редиректов, только без результатов поиска.

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

www.po.kiev.ua написал:

Так я же выше написал почему нельзя. Редиректами эту всю красоту не закрыть, скорее всего. Ошибся?

Если Вы про конкретный пример, то тут понятно, что script_me предложил "на скорую руку". Конечно же, вариант будет выглядеть примерно так:

Disallow: /
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$
...

Просто нет в этом особого смысла)

Отредактировано Ковалев Антон (2014-11-21 05:08)

www.po.kiev.ua написал:

Так в Allow: /category/*/$
УРЛ your.site/category/59068540986/category/4444/ тоже разрешен

Так я же говорю, можно, но это извращение)

User-agent: Yandex
Disallow: /
Disallow: /category/*/*/
Allow: /category/*/$
Allow: /product/*/$
Allow: /auxpage*/$

www.po.kiev.ua написал:

Т.е. закрывать в роботс таким образом ничуть не меньше мороки, чем наоборот через Disallow:. Я это хотел сказать.

Так и есть.

Как-то давно был у меня сайтик в работе, урлы через параметры формировались, грязи разной море, а страниц-то всего с десяток. Ну, я и сделал через Disallow по этой логике, вроде и по сей день живет и ничего. Все индивидуально.

IGOR2004 написал:

Подскажите пожалуйста!
Нужно ли закрывать обязательно?
Disallow: /*/reviews/

Если хотите, чтобы /reviews/ у вас индексировались то не закрывайте. В остальных случая лучше закрыть.