Floki писал(а):Коллеги, дайте, пожалуйста, вводную новичку по созданию идеального robot.txt для нашего движка.Приму к изучению и внедрению любую информацию, какой бы банальной она вам не казалась.
Не закрывать папку design/ - так как гугл не увидит, что ваш сайт адаптивный, и не прочитает некоторые скрипты
закрывать все возможные utm метки, и вообще любые параметры со знаком вопроса в ссылке.
Указывать обязательно host и sitemap
примерно вот такие правила точно стоит соблюдать, ну и еще по всем рассказам, лучше писать инструкцию для всех юзеров агентов, и отдельно для гугла и яндекса