Запретить индексацию

Правила раздела: faq.php?mode=okay
Модератор: Модераторы

Julius123 M
Julius123 M
Репутация: 20
Сообщения: 225
Зарегистрирован: 05.02.2017
С нами: 7 лет 1 месяц

Сообщение #1 Julius123 » 09.07.2018, 05:54

В Google Concole пришло сообшение что есть новые страницы с индексированием отправленных URL, вот список:

    /cart?variant=147
    /catalog/sumki?currency_id=5
    /catalog/sumki?currency_id=2
    /catalog/sumki?currency_id=1
    /cart?variant=137
    /cart?variant=146
    /cart?variant=153
    /?currency_id=5
    /?currency_id=1

Подскажите как запретить эти страницы в robots.txt ?

korshunov
korshunov
Репутация: 146
Сообщения: 1854
Зарегистрирован: 03.12.2015
С нами: 8 лет 3 месяца
Skype

Сообщение #2 korshunov » 09.07.2018, 06:48

Disallow: /*?currency_id=
Disallow: /cart?variant=

Julius123 M
Julius123 M
Репутация: 20
Сообщения: 225
Зарегистрирован: 05.02.2017
С нами: 7 лет 1 месяц

Сообщение #3 Julius123 » 09.07.2018, 06:50

korshunov писал(а):Disallow: /*?currency_id=
Disallow: /cart?variant=
Спасибо. Еще получается проблема в том что такие страницы уже проиндексировались и гугл написал что нужно установить для них канонический адрес, иначе они так и останутся в индексе.

korshunov
korshunov
Репутация: 146
Сообщения: 1854
Зарегистрирован: 03.12.2015
С нами: 8 лет 3 месяца
Skype

Сообщение #4 korshunov » 09.07.2018, 07:34

Индивидуальным программированием. Смотрите, как работает сейчас функционал для канонического адреса, и действуйте по образцу. И похоже, у Вас версия и не из новых, и с немалыми переделками...

Julius123 M
Julius123 M
Репутация: 20
Сообщения: 225
Зарегистрирован: 05.02.2017
С нами: 7 лет 1 месяц

Сообщение #5 Julius123 » 09.07.2018, 07:41

korshunov писал(а):Индивидуальным программированием. Смотрите, как работает сейчас функционал для канонического адреса, и действуйте по образцу. И похоже, у Вас версия и не из новых, и с немалыми переделками...
Версия предпоследняя от текущей, а изменений глобальных много.

OkayCMS M
Администратор
Аватара
OkayCMS M
Администратор
Репутация: 216
Сообщения: 1627
Зарегистрирован: 12.11.2015
С нами: 8 лет 4 месяца
Сайт Skype

Сообщение #6 OkayCMS » 09.07.2018, 07:58

Cart вообще от индексации должна быть закрыта.

Julius123 M
Julius123 M
Репутация: 20
Сообщения: 225
Зарегистрирован: 05.02.2017
С нами: 7 лет 1 месяц

Сообщение #7 Julius123 » 09.07.2018, 08:30

OkayCMS писал(а):Cart вообще от индексации должна быть закрыта.
Да, но роботс.тхт там условие на адрес "/cart/" а тут ссылка получается "/cart?" + некоторые ссылки гугл написано "Проиндексировано несмотря на зпрет в роботс

korshunov
korshunov
Репутация: 146
Сообщения: 1854
Зарегистрирован: 03.12.2015
С нами: 8 лет 3 месяца
Skype

Сообщение #8 korshunov » 09.07.2018, 10:00

OkayCMS писал(а):Cart вообще от индексации должна быть закрыта.

В том, что касается индексации, далеко не все гладко. Вот некоторые моменты, кроме ранее упомянутого:
1. В robots.txt ссылка /cart/ закрыта, но открыта /en/cart/ и еще много подобных...
2. В robots.txt зачем-то прописано Disallow: /password.php
3. На странице https://demookay.com/wrongAddress (с неправильным адресом) внутри стоит content="index,follow"

Похоже, файл robots.txt как написали в какой-то из старых версий, так и не обновляли давно для новых условий...

OkayCMS M
Администратор
Аватара
OkayCMS M
Администратор
Репутация: 216
Сообщения: 1627
Зарегистрирован: 12.11.2015
С нами: 8 лет 4 месяца
Сайт Skype

Сообщение #9 OkayCMS » 09.07.2018, 14:40

korshunov писал(а):В том, что касается индексации, далеко не все гладко. Вот некоторые моменты, кроме ранее упомянутого:
1. В robots.txt ссылка /cart/ закрыта, но открыта /en/cart/ и еще много подобных...
2. В robots.txt зачем-то прописано Disallow: /password.php
3. На странице https://demookay.com/wrongAddress (с неправильным адресом) внутри стоит content="index,follow"

Похоже, файл robots.txt как написали в какой-то из старых версий, так и не обновляли давно для новых условий...
1-2. Да, это поправим в новой версии
3. Так и должно быть, страница отдает код 404 http://take.ms/8zyTA


Название раздела: Вопросы по работе с OkayCMS
Правила раздела: faq.php?mode=okay

Быстрый ответ


Введите код в точности так, как вы его видите. Регистр символов не имеет значения.
Код подтверждения

   

Вернуться в «Вопросы по работе с OkayCMS»

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 29 гостей