robots.txt

Правила раздела: faq.php?mode=okay
Модератор: Модераторы

Vadik
Vadik
Репутация: 1
Сообщения: 42
Зарегистрирован: 15.12.2016
С нами: 7 лет 3 месяца

Сообщение #1 Vadik » 17.05.2017, 11:49

Добрый день.
Возможно банально, но не соображу.
В robots есть:
User....
Yandex.....
Google.....
Так же, в данном файле должнен быть прописан Host. Если хост прописать к каждому, к примеру Яндекс говорит, что это ошибка. Не прописать вообще, тоже нельзя.
Если есть своя так сказать инструкция каждому поисковику, суют ли они свой нос в чужую, то-есть, если я укажу хост в yandex, устроит ли это гугл или другие поисковики?
Помню Яндекс писал, что не задан хост, когда хост указывался для гугл

И куда вообще, самое оптимальное Host писать?

m1hasik M
Аватара
m1hasik M
Возраст: 32
Репутация: 31
Сообщения: 200
Зарегистрирован: 12.11.2015
С нами: 8 лет 4 месяца
Откуда: Днепр
Skype

Сообщение #2 m1hasik » 17.05.2017, 12:14

Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

OkayCMS M
Администратор
Аватара
OkayCMS M
Администратор
Репутация: 216
Сообщения: 1627
Зарегистрирован: 12.11.2015
С нами: 8 лет 4 месяца
Сайт Skype

Сообщение #3 OkayCMS » 17.05.2017, 12:16

Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Vadik
Vadik
Репутация: 1
Сообщения: 42
Зарегистрирован: 15.12.2016
С нами: 7 лет 3 месяца

Сообщение #4 Vadik » 17.05.2017, 12:25

m1hasik писал(а):Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

OkayCMS писал(а):Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Спасибо. То-есть, и гугл, и Яндекс, и все прочие, без проблем должны найти этот самый Host, и не имеет значения, к кому ближе данная запись, единственное правило, это конец файла, правильно понимаю?

m1hasik M
Аватара
m1hasik M
Возраст: 32
Репутация: 31
Сообщения: 200
Зарегистрирован: 12.11.2015
С нами: 8 лет 4 месяца
Откуда: Днепр
Skype

Сообщение #5 m1hasik » 17.05.2017, 12:27

Vadik писал(а):
m1hasik писал(а):Хост лучше писать один раз, в само конце файла, в формате Host:ваш домен

OkayCMS писал(а):Host пишется один раз для всего сайта в конце, а не для каждого робота отдельно.

Спасибо. То-есть, и гугл, и Яндекс, и все прочие, без проблем должны найти этот самый Host, и не имеет значения, к кому ближе данная запись, единственное правило, это конец файла, правильно понимаю?
Да, верно, в конце файла

Vadik
Vadik
Репутация: 1
Сообщения: 42
Зарегистрирован: 15.12.2016
С нами: 7 лет 3 месяца

Сообщение #6 Vadik » 17.05.2017, 12:33

m1hasik писал(а):Да, верно, в конце файла


Спасибо

Yulianashka F
Аватара
Yulianashka F
Возраст: 22
Репутация: -1
Сообщения: 3
Зарегистрирован: 17.03.2022
С нами: 2 года
Откуда: Москва

Сообщение #7 Yulianashka » 17.03.2022, 15:52

Vadik писал(а):Добрый день.
Возможно банально, но не соображу.
В robots есть:
User....
Yandex.....
Google.....
Так же, в данном файле должнен быть прописан Host. Если хост прописать к каждому, к примеру Яндекс говорит, что это ошибка. Не прописать вообще, тоже нельзя.
Если есть своя так сказать инструкция каждому поисковику, суют ли они свой нос в чужую, то-есть, если я укажу хост в yandex, устроит ли это гугл или другие поисковики?
Помню Яндекс писал, что не задан хост, когда хост указывался для гугл

И куда вообще, самое оптимальное Host писать?

Я всегда смотрю конкурентов, у них уже есть готовые подсказки по роботс.

Elzza
Elzza
Репутация: 0
Сообщения: 1
Зарегистрирован: 25.08.2023
С нами: 7 месяцев 2 дня

Сообщение #8 Elzza » 25.08.2023, 18:55

и здесь посмотрите


Название раздела: Обсуждение прочих вопросов
Правила раздела: faq.php?mode=okay

Быстрый ответ


Введите код в точности так, как вы его видите. Регистр символов не имеет значения.
Код подтверждения

   

Вернуться в «Обсуждение прочих вопросов»

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 8 гостей