Идеальный robots

[a4rizm001]

Добрый день! Прошу знающих людей помощи, подскажите пожалуйста идеальные robots для данной CMS.

[OkayCMS]

+ добавьте хост и сайтмпап

[a4rizm001]

Благодарю

[korshunov]

Я бы не рискнул утверждать, что это идеальный вариант...

[miki]

Я бы не рискнул утверждать, что это идеальный вариант...

Почему именно?
Что бы вы добавили/убрали?
Поделитесь своим вариантом?

[korshunov]

Потому что этот файл неправильно обрабатывает многие ситуации. Для такого короткого текста в нем слишком много ошибок. Выглядит он так, как будто его писали на скорую руку и крайне безответственно, не задумываясь даже над простейшими вещами. Если обнаружили конкретную ошибку в индексации, то дописали правило именно под эту ошибку. А хоть чуть-чуть проверить, не породит ли изменение новые ошибки, не удосужились.

Файл этот не то что на идеальный, а и на средний-то с трудом потянет..

Например, обыкновенная страница товара
http://site.com/products/carton-articul-4598
им будет запрещена к индексации. И для некоторых сайтов это может стать не мелкой ошибкой, а настоящей SEO-катастрофой...