как работает sitemap

[sorin]

в консоле пишет что robots.txt блокирует доступ к блогу
но в ткст нет ничего подобное....
у меня англиская версия ru заблокировал
Disallow: /*ru
sitemap сделал через sitemap generator i добавил в корень сайта.
screen s google console



User-agent: *
Disallow: /404
Disallow: /backend
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /*?currency_id
Disallow: /*?keyword
Disallow: /*?utm
Disallow: /*&utm
Disallow: /*ru
Disallow: /*sort

User-agent: Yandex
Allow: *.css
Allow: *.js
Disallow: /404
Disallow: /backend
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /*?currency_id
Disallow: /*?keyword
Disallow: /*?utm
Disallow: /*&utm
Disallow: /*ru
Disallow: /*sort


User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /404
Disallow: /backend
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /*?currency_id
Disallow: /*?keyword
Disallow: /*?utm
Disallow: /*&utm
Disallow: /*ru
Disallow: /*sort

[korshunov]

Работает как обычно.
Если б Вы потрудились ознакомиться с правилами для robots.txt, например,
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar
то могли бы быстро сообразить, что прописанное Вами Disallow: /*ru запрещает много чего нужного, например
http://site.ru/products/pokryvalo-kruzevnoе
http://site.ru/products/bassein-kruglyi
Это хороший пример того, как делать нельзя - сам себе диверсант...

[sorin]

ЗНАЧИТ НАДО ДОБАВИТЬ Disallow: /*/ru И ВСЁ БУДЕТ ОК?

[korshunov]

Вряд ли...

Скорее, надо УБРАТЬ
Disallow: /*ru
Disallow: /*sort

[OkayCMS]

Удалите все языки кроме основного (в вашем случае английского) и у вас не будет нужны закрывать /ru в роботс.

[korshunov]

Удалите все языки кроме основного (в вашем случае английского) и у вас не будет нужны закрывать /ru в роботс.

Странный подход. Вообще-то robots.txt придуман как раз для такой того, чтобы страницы реально существовали, но не индексировались...

[OkayCMS]

Насколько я понял, клиенту не нужна русская версия сайта. Зачем ему тогда нужно чтобы существовали русские страницы?

[korshunov]

За тем, за чем и обычно. Сегодня не нужна, а завтра понадобится...
И не вижу в теме, чтобы он написал точно и ясно, что НЕ НУЖНА.
Написано, что ЗАБЛОКИРОВАЛ. И судя по тому, что написал "заблокировал Disallow: /*ru", имелось в виду, что заблокировал не вообще, а заблокировал лишь для поисковых машин...