Добрый день. Возможно банально, но не соображу. В robots есть: User.... Yandex..... Google..... Так же, в данном файле должнен быть прописан Host. Если хост прописать к каждому, к примеру Яндекс говорит, что это ошибка. Не прописать вообще, тоже нельзя. Если есть своя так сказать инструкция каждому...