Страница 1 из 1

Как запретить гуглю индексировать cart?

Добавлено: 17.11.2022, 08:41
Aleks
Здравствуйте! Прошу совета.
В robots.txt вставлено
User-agent: Googlebot
Disallow: /cart
Гугль сообщает:
Заблокировано в файле robots.txt. Указанные ниже страницы не индексируются Google и не появляются в результатах поиска.
Примеры страниц:
/cart?variant=208
/cart?variant=305

Поможет ли закрыть Cart от сканирования если в robots.txt сделать такую запись:
Disallow: /cart?variant=
Думаем, что не поможет.

Гугль советует:
Если вы действительно хотите запретить индексирование страницы, не применяйте для этого файл robots.txt.
Удалите из него инструкции, запрещающие сканирование, а на саму страницу добавьте в ее раздел <head> следующий метатег:
<meta name="robots" content="noindex">
Как вставить данный метатег?
В файл catr.tpl, но там head нет
Или лучше в index.tpl.
Но какой синтаксис будет у этого метатега? Ведь надо указать адрес страницы.
Может так:
<meta name="robots" https://forum.okay-cms.com ="noindex">

Добавлено: 17.11.2022, 14:57
Matfak

Добавлено: 17.11.2022, 16:33
Aleks
Спасибо за ответ.
Кажется надо так:
вставляем в head.tpl по аналогии с viewtopic.php?f=7&t=2802:
{if $controller == 'CartController'}
<meta name="robots" content="noindex" />
{/if}
НО... на ветке viewtopic.php?f=7&t=2802 norfin спрашивал как закрыть индексацию order.tpl на своем сайте.
Видимо, этот вариант не работает. Зашел на его сайт посмотреть.
Там в head.tpl стоит только <!--{if $controller == 'OrderController'}-->
Есть в head.tpl на строке примерно 120 такие строки:
{if $noindex_nofollow}
<meta name="robots" content="noindex,nofollow">
{elseif $noindex_follow}
<meta name="robots" content="noindex,follow">
{else}
<meta name="robots" content="index,follow">
{/if}
Может сюда надо ставить блокировку страницы?

Добавлено: 19.11.2022, 10:06
korshunov
Стандартно страницы корзины и страницы заказов на витрине и так исключены из индексации за счет того, что
1. в Okay/Controllers/CartController.php вставлена строка
$this->design->assign('noindex_follow', true);
2. в Okay/Controllers/OrderController.php вставлена строка
$this->design->assign('noindex_nofollow', true);
3. в head.tpl имеются строки
{if $noindex_nofollow}
<meta name="robots" content="noindex,nofollow">
{elseif $noindex_follow}
<meta name="robots" content="noindex,follow">
{else}
<meta name="robots" content="index,follow">
{/if}

Только непонятно, почему значения в пп. 1,2 разные, по-моему, сгодилось бы и noindex_nofollow в обоих случаях...

Добавлено: 19.11.2022, 18:56
Aleks
Разобрались. Нашли ошибку, индексацию cart запретили.
Но сканирование cart Гуглю не запретишь.
Вот он и сообщает:
Заблокировано в файле robots.txt. Указанные ниже страницы не индексируются Google и не появляются в результатах поиска.
Примеры страниц:
/cart?variant=208
.....
/cart?variant=305
И дает без конца такие сообщения.
Гугль предлагает только временное удаление url.
Есть ли какое решение, чтобы запретить гуглю сканирование той или иной страницы?
Может убрать из robots запрет на индексирование, пусть гугль пашет, если ему так нравится.

Добавлено: 22.11.2022, 10:57
Aleks
Гугль упорно сканирует Cart и сообщает:
Заблокировано в файле robots.txt
Указанные ниже страницы не индексируются Google и не появляются в результатах поиска
/cart?variant= 608
....
/cart?variant=708
Нам же эта услуга от гугля абсолютно не нужна.
Ранее на форуме было сообщение, что Гугль сканирует Order.
У меня гугль Order не сканирует.
Cмотрим: Разработка-Исходный текст страницы Order_a
<title>
Ваш заказ № 118
</title>
<meta name="robots" content="noindex,nofollow">
Для cart же стоит:
<title>
Корзина.Оформление заказа
</title>
<meta name="robots" content="noindex,follow">
Может нужно и для Cart поставить NOFOLLOW?
Но где это вставить? Прошу совета.

Добавлено: 23.11.2022, 06:09
korshunov
Aleks писал(а):Может нужно и для Cart поставить NOFOLLOW?
Но где это вставить? Прошу совета.

korshunov писал(а):1. в Okay/Controllers/CartController.php вставлена строка
$this->design->assign('noindex_follow', true);
2. в Okay/Controllers/OrderController.php вставлена строка
$this->design->assign('noindex_nofollow', true);

Добавлено: 23.11.2022, 15:54
Aleks
Спасибо, господин Korshunov.
Вставил согласно Вашей рекомендации. Посмотрим, что далее будет.
Сервис у Гугля очень скромный. 1000 урлов-404 висит от прежнего сайта. Прошли месяцы, а он все их считает.

Добавлено: 04.12.2022, 12:24
Aleks
С 26.11 на Гугле нет ни одного сканирования Cart.
Следовательно, рекомендации господина Korshunov работают.

Добавлено: 19.04.2023, 15:45
Aleks
Предыдущее мое сообщение оказалось неверным. Гугль продолжил сканирование cart.
Эта проблема со сканированием/индексированием CART (корзины) решается просто.
Достаточно удалить в файле robots.txt строку Disallow: /cart
Эту строку в robots.txt вставлять не нужно, исходя из логики работы Гугля.
Гугль сначала сканирует страницы, руководствуяcь файлом robots.txt.
Вот он и считывает, что cart заблокирован в robots.txt. Все - он дает сообщение, что cart отсканирован, а его индексирование
заблокировано в файле robots.txt.
До Okay/Controllers/CartController.php со строкой $this->design->assign('noindex_follow', true) он уже не идет.
Если из файла robots.txt удалить Disallow: /cart, то гугль сканирует cart и идет дальше по файлам,
находит noindex для cart и прекращает сканирование и попытки индексирования cart.
И больше к этому вопросу не возвращается.
Гугль пишет, что блокировку нужно вставлять только один раз, или в robots.txt или в нужном файле.
Даже удивительно как гугль подсуетился, сразу же удалил из выдачи 100 отсканированных cart

Добавлено: 10.07.2023, 17:28
Aleks
Все написанное 19.04.2023, 18:45 работает.
Гугль перестал сканировать CART. С апреля месяца нет ни одной отсканированной страницы: /cart?variant

Добавлено: 13.07.2023, 07:31
Aleks
PS из-за спама