Страница 1 из 1

robots.txt

Добавлено: 17.05.2017, 11:49
Vadik
Добрый день.
Возможно банально, но не соображу.
В robots есть:
User....
Yandex.....
Google.....
Так же, в данном файле должнен быть прописан Host. Если хост прописать к каждому, к примеру Яндекс говорит, что это ошибка. Не прописать вообще, тоже нельзя.
Если есть своя так сказать инструкция каждому поисковику, суют ли они свой нос в чужую, то-есть, если я укажу хост в yandex, устроит ли это гугл или другие поисковики?
Помню Яндекс писал, что не задан хост, когда хост указывался для гугл

И куда вообще, самое оптимальное Host писать?

Добавлено: 17.05.2017, 12:14
m1hasik
Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

Добавлено: 17.05.2017, 12:16
OkayCMS
Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Добавлено: 17.05.2017, 12:25
Vadik
m1hasik писал(а):Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

OkayCMS писал(а):Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Спасибо. То-есть, и гугл, и Яндекс, и все прочие, без проблем должны найти этот самый Host, и не имеет значения, к кому ближе данная запись, единственное правило, это конец файла, правильно понимаю?

Добавлено: 17.05.2017, 12:27
m1hasik
Vadik писал(а):
m1hasik писал(а):Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

OkayCMS писал(а):Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Спасибо. То-есть, и гугл, и Яндекс, и все прочие, без проблем должны найти этот самый Host, и не имеет значения, к кому ближе данная запись, единственное правило, это конец файла, правильно понимаю?
Да, верно, в конце файла

Добавлено: 17.05.2017, 12:33
Vadik
m1hasik писал(а):Да, верно, в конце файла


Спасибо

Добавлено: 17.03.2022, 15:52
Yulianashka
Vadik писал(а):Добрый день.
Возможно банально, но не соображу.
В robots есть:
User....
Yandex.....
Google.....
Так же, в данном файле должнен быть прописан Host. Если хост прописать к каждому, к примеру Яндекс говорит, что это ошибка. Не прописать вообще, тоже нельзя.
Если есть своя так сказать инструкция каждому поисковику, суют ли они свой нос в чужую, то-есть, если я укажу хост в yandex, устроит ли это гугл или другие поисковики?
Помню Яндекс писал, что не задан хост, когда хост указывался для гугл

И куда вообще, самое оптимальное Host писать?

Я всегда смотрю конкурентов, у них уже есть готовые подсказки по роботс.

Добавлено: 25.08.2023, 18:55
Elzza
и здесь посмотрите