Как запретить гуглю индексировать cart?

Правила раздела: faq.php?mode=okay
Модератор: Модераторы

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #1 Aleks » 17.11.2022, 08:41

Здравствуйте! Прошу совета.
В robots.txt вставлено
User-agent: Googlebot
Disallow: /cart
Гугль сообщает:
Заблокировано в файле robots.txt. Указанные ниже страницы не индексируются Google и не появляются в результатах поиска.
Примеры страниц:
/cart?variant=208
/cart?variant=305

Поможет ли закрыть Cart от сканирования если в robots.txt сделать такую запись:
Disallow: /cart?variant=
Думаем, что не поможет.

Гугль советует:
Если вы действительно хотите запретить индексирование страницы, не применяйте для этого файл robots.txt.
Удалите из него инструкции, запрещающие сканирование, а на саму страницу добавьте в ее раздел <head> следующий метатег:
<meta name="robots" content="noindex">
Как вставить данный метатег?
В файл catr.tpl, но там head нет
Или лучше в index.tpl.
Но какой синтаксис будет у этого метатега? Ведь надо указать адрес страницы.
Может так:
<meta name="robots" https://forum.okay-cms.com ="noindex">

Matfak
Matfak
Репутация: 5
Сообщения: 8
Зарегистрирован: 15.04.2022
С нами: 1 год 11 месяцев

Сообщение #2 Matfak » 17.11.2022, 14:57


Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #3 Aleks » 17.11.2022, 16:33

Спасибо за ответ.
Кажется надо так:
вставляем в head.tpl по аналогии с viewtopic.php?f=7&t=2802:
{if $controller == 'CartController'}
<meta name="robots" content="noindex" />
{/if}
НО... на ветке viewtopic.php?f=7&t=2802 norfin спрашивал как закрыть индексацию order.tpl на своем сайте.
Видимо, этот вариант не работает. Зашел на его сайт посмотреть.
Там в head.tpl стоит только <!--{if $controller == 'OrderController'}-->
Есть в head.tpl на строке примерно 120 такие строки:
{if $noindex_nofollow}
<meta name="robots" content="noindex,nofollow">
{elseif $noindex_follow}
<meta name="robots" content="noindex,follow">
{else}
<meta name="robots" content="index,follow">
{/if}
Может сюда надо ставить блокировку страницы?

korshunov
korshunov
Репутация: 146
Сообщения: 1854
Зарегистрирован: 03.12.2015
С нами: 8 лет 3 месяца
Skype

Сообщение #4 korshunov » 19.11.2022, 10:06

Стандартно страницы корзины и страницы заказов на витрине и так исключены из индексации за счет того, что
1. в Okay/Controllers/CartController.php вставлена строка
$this->design->assign('noindex_follow', true);
2. в Okay/Controllers/OrderController.php вставлена строка
$this->design->assign('noindex_nofollow', true);
3. в head.tpl имеются строки
{if $noindex_nofollow}
<meta name="robots" content="noindex,nofollow">
{elseif $noindex_follow}
<meta name="robots" content="noindex,follow">
{else}
<meta name="robots" content="index,follow">
{/if}

Только непонятно, почему значения в пп. 1,2 разные, по-моему, сгодилось бы и noindex_nofollow в обоих случаях...

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #5 Aleks » 19.11.2022, 18:56

Разобрались. Нашли ошибку, индексацию cart запретили.
Но сканирование cart Гуглю не запретишь.
Вот он и сообщает:
Заблокировано в файле robots.txt. Указанные ниже страницы не индексируются Google и не появляются в результатах поиска.
Примеры страниц:
/cart?variant=208
.....
/cart?variant=305
И дает без конца такие сообщения.
Гугль предлагает только временное удаление url.
Есть ли какое решение, чтобы запретить гуглю сканирование той или иной страницы?
Может убрать из robots запрет на индексирование, пусть гугль пашет, если ему так нравится.

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #6 Aleks » 22.11.2022, 10:57

Гугль упорно сканирует Cart и сообщает:
Заблокировано в файле robots.txt
Указанные ниже страницы не индексируются Google и не появляются в результатах поиска
/cart?variant= 608
....
/cart?variant=708
Нам же эта услуга от гугля абсолютно не нужна.
Ранее на форуме было сообщение, что Гугль сканирует Order.
У меня гугль Order не сканирует.
Cмотрим: Разработка-Исходный текст страницы Order_a
<title>
Ваш заказ № 118
</title>
<meta name="robots" content="noindex,nofollow">
Для cart же стоит:
<title>
Корзина.Оформление заказа
</title>
<meta name="robots" content="noindex,follow">
Может нужно и для Cart поставить NOFOLLOW?
Но где это вставить? Прошу совета.

korshunov
korshunov
Репутация: 146
Сообщения: 1854
Зарегистрирован: 03.12.2015
С нами: 8 лет 3 месяца
Skype

Сообщение #7 korshunov » 23.11.2022, 06:09

Aleks писал(а):Может нужно и для Cart поставить NOFOLLOW?
Но где это вставить? Прошу совета.

korshunov писал(а):1. в Okay/Controllers/CartController.php вставлена строка
$this->design->assign('noindex_follow', true);
2. в Okay/Controllers/OrderController.php вставлена строка
$this->design->assign('noindex_nofollow', true);

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #8 Aleks » 23.11.2022, 15:54

Спасибо, господин Korshunov.
Вставил согласно Вашей рекомендации. Посмотрим, что далее будет.
Сервис у Гугля очень скромный. 1000 урлов-404 висит от прежнего сайта. Прошли месяцы, а он все их считает.

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #9 Aleks » 04.12.2022, 12:24

С 26.11 на Гугле нет ни одного сканирования Cart.
Следовательно, рекомендации господина Korshunov работают.

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #10 Aleks » 19.04.2023, 15:45

Предыдущее мое сообщение оказалось неверным. Гугль продолжил сканирование cart.
Эта проблема со сканированием/индексированием CART (корзины) решается просто.
Достаточно удалить в файле robots.txt строку Disallow: /cart
Эту строку в robots.txt вставлять не нужно, исходя из логики работы Гугля.
Гугль сначала сканирует страницы, руководствуяcь файлом robots.txt.
Вот он и считывает, что cart заблокирован в robots.txt. Все - он дает сообщение, что cart отсканирован, а его индексирование
заблокировано в файле robots.txt.
До Okay/Controllers/CartController.php со строкой $this->design->assign('noindex_follow', true) он уже не идет.
Если из файла robots.txt удалить Disallow: /cart, то гугль сканирует cart и идет дальше по файлам,
находит noindex для cart и прекращает сканирование и попытки индексирования cart.
И больше к этому вопросу не возвращается.
Гугль пишет, что блокировку нужно вставлять только один раз, или в robots.txt или в нужном файле.
Даже удивительно как гугль подсуетился, сразу же удалил из выдачи 100 отсканированных cart

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #11 Aleks » 10.07.2023, 17:28

Все написанное 19.04.2023, 18:45 работает.
Гугль перестал сканировать CART. С апреля месяца нет ни одной отсканированной страницы: /cart?variant

Aleks
Aleks
Репутация: 56
Сообщения: 382
Зарегистрирован: 24.05.2021
С нами: 2 года 10 месяцев

Сообщение #12 Aleks » 13.07.2023, 07:31

PS из-за спама


Название раздела: Вопросы по работе с OkayCMS
Правила раздела: faq.php?mode=okay

Быстрый ответ


Введите код в точности так, как вы его видите. Регистр символов не имеет значения.
Код подтверждения

   

Вернуться в «Вопросы по работе с OkayCMS»

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 37 гостей