#1 2011-07-23 15:40

www.po.kiev.ua
Пользователь

Добавить в инстлляху базовый robots.txt

Очень удивляет то, что рекомендации у разработчиков есть а базового robots.txt, закрывающего от индексирования самые явные url, которые необходимо закрывать, нет.
И делов-то на 5 минут - всего добавить один файлик в инсталляционный архив.
Ответа для себя не нахожу.

Неактивен

 

#2 2011-07-27 13:14

Niko
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Еще здорово былоб если кто-нибудь выложил здесь файлики robots, так как после событий прошедших вчера это особо актуально.

Неактивен

 

#3 2011-07-27 13:22

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Niko написал:

Еще здорово былоб если кто-нибудь выложил здесь файлики robots, так как после событий прошедших вчера это особо актуально.

Да выкладывали его уже 100 раз на форуме и рекомендации от разработчиков есть.
Повторюсь еще раз:

Код:

User-agent: Yandex
Disallow: /*results=*
Disallow: /*ukey=*
Disallow: /*sort=*
Disallow: /*view=*
Disallow: /*_slug=*
Disallow: */search/
Disallow: */category_search/
Disallow: */auth/
Disallow: */cart/
Disallow: */checkout/
Disallow: */feedback/
Disallow: */installer/
Disallow: */login/
Disallow: */logout/
Disallow: */myaccount/
Disallow: */order_status
Disallow: */order_history
Disallow: */print_form
Disallow: /*ukey=order_status
Disallow: /*ukey=order_history
Disallow: */published/SC/html/scripts/
Disallow: *rssfeed.php
Disallow: */published/wbsadmin/
Disallow: */register/
Disallow: */remind_password/
Disallow: /*/reviews/
Disallow: /*phpsessid*
Disallow: /*PHPSESSID*
Disallow: */shop/
Disallow: */login.php
Disallow: */linkexchange/
Disallow: */offset*
Disallow: /*show_all
Disallow: */all/*
Disallow: */vkontakte/*
Disallow: */facebook/*
Disallow: */index.php?productID*
Disallow: */index.php?categoryID*
Disallow: */index.php?searchstring*
Disallow: */index.php?shopping_cart*
Disallow: */index.php?order_custinfo*
Disallow: */index.php?order_placement_result*
Disallow: */index.php?tagID*
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */myaccount*
Disallow: */contact_info*
Disallow: /index.php$
Allow: /
Host: your.site.com
Sitemap: http://your.site.com/sitemap.php

User-agent: *
Disallow: /*results=*
Disallow: /*ukey=*
Disallow: /*sort=*
Disallow: /*view=*
Disallow: /*_slug=*
Disallow: */search/
Disallow: */category_search/
Disallow: */auth/
Disallow: */cart/
Disallow: */checkout/
Disallow: */feedback/
Disallow: */installer/
Disallow: */login/
Disallow: */logout/
Disallow: */myaccount/
Disallow: */order_status*
Disallow: */order_history*
Disallow: */print_form*
Disallow: /*ukey=order_status*
Disallow: /*ukey=order_history*
Disallow: */published/SC/html/scripts/
Disallow: *rssfeed.php
Disallow: */published/wbsadmin/
Disallow: */register/
Disallow: */remind_password/
Disallow: /*/reviews/
Disallow: /*phpsessid*
Disallow: /*PHPSESSID*
Disallow: */shop/
Disallow: */login.php
Disallow: */linkexchange/
Disallow: */offset*
Disallow: /*show_all
Disallow: */all/*
Disallow: */vkontakte/*
Disallow: */facebook/*
Disallow: */index.php?productID*
Disallow: */index.php?categoryID*
Disallow: */index.php?searchstring*
Disallow: */index.php?shopping_cart*
Disallow: */index.php?order_custinfo*
Disallow: */index.php?order_placement_result*
Disallow: */index.php?tagID*
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */myaccount*
Disallow: */contact_info*
Disallow: /index.php$
Sitemap: http://your.site.com/sitemap.php

Мотивированные дополнения/замечания приветствуются.

Отредактировано www.po.kiev.ua (2011-09-22 15:35)

Неактивен

 

#4 2011-08-22 21:26

ligasi
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Спасибо за файл. Поставил себе по умолчанию. И так же поддерживаю данное предложение.

Неактивен

 

#5 2011-08-22 21:41

besoff
Пользователь

Re: Добавить в инстлляху базовый robots.txt

плохо разбираюсь, но отзывы закрывать не стоит. Если все шаблонно, то на странице будет два совпадения по названию товара, соответственно лучше для seo. После запрета, вес страницы упал.

Код:

Disallow: /*/reviews/

Я не прав?

Неактивен

 

#6 2011-08-22 22:22

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

besoff написал:

плохо разбираюсь, но отзывы закрывать не стоит. Если все шаблонно, то на странице будет два совпадения по названию товара, соответственно лучше для seo. После запрета, вес страницы упал.

Код:

Disallow: /*/reviews/

Я не прав?

Не правы.
reviews это страница, на которой выводятся только отзывы по конкретному товару, там нет описания товара, картинок и кнопки "Купить". К индексации самой страницы товара этот запрет не имеет прямого отношения.
Совпадений по названию товара на странице Вы можете сделать в тексте столько, сколько считаете нужным.

Отредактировано www.po.kiev.ua (2011-08-22 22:24)

Неактивен

 

#7 2011-08-22 23:14

besoff
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Не знаю как и объяснить.
Вообщем было дело, тоже прописал robotx. Тоже самое прописал.
В итоге, странички которые были в топе по выдаче (товар с точным названием), после применения robotx стали на странице так 15 яндекса. (одно совпадание названия товара)
Вот тогда я и подумал... что Disallow: /*/reviews/ не стоит убирать.
Вам можно доверять, значит проблема в другом была.

Вообще вот эта надпись спасала)
"Пожалуйста, сформулируйте Ваши вопросы относительно "Название товара":"

Неактивен

 

#8 2011-08-23 20:57

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Может совпадение, может еще какие-то изменения делали...
Сейчас уже не получится выяснить скорее всего.

Неактивен

 

#9 2011-08-30 16:49

alfafiles
Пользователь

Re: Добавить в инстлляху базовый robots.txt

а подскажите что добавить в #3 посте при условии что магазин имеет 3 доменных имени на 1 хост?

Неактивен

 

#10 2011-08-30 23:16

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

alfafiles написал:

а подскажите что добавить в #3 посте при условии что магазин имеет 3 доменных имени на 1 хост?

А что имеется в виду под 3 доменами? 2 алиаса добавлены?
Во-первых, это  ИМХО не правильно, нужно делать один домен и редиректы с 2-х оставшихся.
Во-вторых в robots.txt от домена зависит только директива Host: ... и она не обязательная.
В-третьих, все равно какой-то один из доменов у Вас основной.

Неактивен

 

#11 2011-09-01 15:23

alfafiles
Пользователь

Re: Добавить в инстлляху базовый robots.txt

www.po.kiev.ua написал:

А что имеется в виду под 3 доменами? 2 алиаса добавлены? ....

да это я и имею ввиду,

www.po.kiev.ua написал:

Во-первых, это  ИМХО не правильно, нужно делать один домен и редиректы с 2-х оставшихся....

А можно эту мысль по подробней? почему неправильно, насколько я понимаю так у меня есть как бы три сайта хоть и с одним контентом, но их можно поднимать по разным ключевым словам, но не очень понятно поведение ботов, они поймут что это одно и тоже или подумают что это "спутники" для раскрутки и тогда можно нарватся на бан или понижение.

А при условии редиректа, опять же, не очень понятно отношение ботов к доменам с которых редиректят. и как такие домены указывать на стр. вебмастера яндекса и гугла?

Неактивен

 

#12 2011-09-02 14:05

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

alfafiles написал:

www.po.kiev.ua написал:

Во-первых, это  ИМХО не правильно, нужно делать один домен и редиректы с 2-х оставшихся....

А можно эту мысль по подробней? почему неправильно, насколько я понимаю так у меня есть как бы три сайта хоть и с одним контентом, но их можно поднимать по разным ключевым словам, но не очень понятно поведение ботов, они поймут что это одно и тоже или подумают что это "спутники" для раскрутки и тогда можно нарватся на бан или понижение.

А при условии редиректа, опять же, не очень понятно отношение ботов к доменам с которых редиректят. и как такие домены указывать на стр. вебмастера яндекса и гугла?

"насколько я понимаю так у меня есть как бы три сайта хоть и с одним контентом, но их можно поднимать по разным ключевым словам" - неправильно понимаете. Так бы все делали по 20 алиасов сайта и продвигали-бы каждый по своим словам. ПС отлично понимают, что это зеркало или клон и склеят или выбросят из выдачи то, что им покажется не основным.

Неактивен

 

#13 2011-09-03 12:49

ligasi
Пользователь

Re: Добавить в инстлляху базовый robots.txt

www.po.kiev.ua написал:

*

Скажите пожалуйста нужно ли закрывать интексацию страниц */search/ ?
Например ввв*pimi.ру/shop/search/?tag=iphone+4
Я смотрю в гугле у меня эти страницы исключены файлом роботс. Нужно ли исключать эти страницы, и почему сохраняется история поиска, это так и должно быть?

Неактивен

 

#14 2011-09-05 06:15

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

ligasi написал:

Скажите пожалуйста нужно ли закрывать интексацию страниц */search/ ?
Например ввв*pimi.ру/shop/search/?tag=iphone+4
Я смотрю в гугле у меня эти страницы исключены файлом роботс. Нужно ли исключать эти страницы, и почему сохраняется история поиска, это так и должно быть?

Это Вам решать нужно их закрывать или нет.
Но, если не закрывать ПС могут очень прилично нагрузить поисками ваш хостинг при индексации
и дубли тоже за счет поиска могут быть.

А какое отношение история поиска имеет к индексации сайта и директивам в robots.txt?

Отредактировано www.po.kiev.ua (2011-09-05 06:16)

Неактивен

 

#15 2011-09-21 16:32

zz8
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Подскажите, а вот эти 4 строчки надо ли оставлять в робот.тхт? Я так понимаю они нужны если стоит ЧПУ?

Код:

Disallow: */index.php?categoryID*    Стандартный вид URL моей категории выглядит: http://сайт/shop/index.php?categoryID=558
Disallow: */index.php?productID*      Стандартный вид URL продукта:  http://сайт/shop/index.php?productID=801
Disallow: /index.php$

И еще есть вопрос. В Вашем робот.тхт есть:

Код:

Disallow: /*_slug=*

У меня много дублей вида
http://сайт/shop/index.php?productID=715&product_slug=horoshaya_kofewarka

но есть и реально нужная и действующая страничка
http://сайт/shop/index.php?categoryID=566&category_slug=arhiv-kofewarki

значит мне надо сделать?

Код:

Disallow: /*product_slug=*

P.S discuss_product и print_form Вы умышленно не блокировали ? Почему ?

Отредактировано rat (2011-09-22 12:04)

Неактивен

 

#16 2011-09-21 18:10

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

zz8 написал:

Подскажите, а вот эти 4 строчки надо ли оставлять в робот.тхт? Я так понимаю они нужны если стоит ЧПУ?
Disallow: */index.php?categoryID*    Стандартный вид URL моей категории выглядит: http://сайт/shop/index.php?categoryID=558
Disallow: */index.php?productID*      Стандартный вид URL продукта:  http://сайт/shop/index.php?productID=801
Disallow: /index.php$

Да, написаны для сайта с ЧПУ. Если ЧПУ нет их быть не должно.

Disallow: /*_slug=*                       
У меня много дублей вида http://сайт/shop/index.php?productID=715&product_slug=horoshaya_kofewarka
но есть и реально нужная и действующая страничка http://сайт/shop/index.php?categoryID=566&category_slug=arhiv-kofewarki
значит мне надо сделать Disallow: /*product_slug=*

Или

Код:

Disallow: /*product_slug=*

или:

Код:

Allow: *arhiv-kofewarki
Disallow: /*_slug=*

А чего это у вас действующая страничка со slug?

discuss_product и print_form Вы умышленно не блокировали ? Почему ?

discuss_product - их нет у сайтов с ЧПУ, print_form - на тот момент когда писалось, это было не актуально. Можете закрыть у себя.

Отредактировано www.po.kiev.ua (2011-09-21 18:11)

Неактивен

 

#17 2011-09-22 10:31

zz8
Пользователь

Re: Добавить в инстлляху базовый robots.txt

А чего это у вас действующая страничка со slug?

У меня есть архив товаров. Т.е те товары которых уже нет в наличии я отправляю в архив. Таким образом они остаются на сайте (некоторые из них продвигали и не хочется потерять их) и в то же время не мешают и не отвлекают пользователя при выборе основного товара.

Неактивен

 

#18 2011-09-22 12:28

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Это можно сделать отдельной категорией.

Неактивен

 

#19 2011-09-22 13:27

zz8
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Да, я знаю. Но тогда эта категория появится на главной странице (витрине), а мне этого не хотелось бы. В любом случае,  спасибо Вам за помощь.

Неактивен

 

#20 2011-09-22 15:40

www.po.kiev.ua
Пользователь

Re: Добавить в инстлляху базовый robots.txt

Подправил код в посте http://forum.webasyst.ru/viewtopic.php?pid=70456#p70456

Неактивен

 

Board footer

Powered by PunBB