Простейший вопрос. Нужна помощь чайнику в настройке директивы Disallow в файле robots.txt. (1 Viewer)

[nayda7]

Здравствуйте!
Ошибка:
"Некоторые страницы сайта начали отвечать роботу HTTP-кодом 4xx в течение часа. Проверьте примеры таких страниц — они могут пропасть из результатов поиска. Если страница удалена с сайта специально, посмотрите рекомендации."

Решение:
"Укажите директиву Disallow в файле robots.txt.

Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301."

Вопрос: как?

Версия DataLife Engine: 15.2 В "примерах страниц" выходят удаленные страницы. Где находится файл robots.txt. знаю, но боюсь сама в него что-либо добавлять. Сейчас в нем вот так: User-agent: * Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /*do=download Disallow: /*do=go

 

[леший]

Вопрос: как?

Ответ: руками!

В robots.txt добавлять ничего не нужно, если речь идёт действительно об удалённых страницах. Вам нужно проверить какой ответ отдаёт ваш сайт, и настраивать сервер, чтобы он отдавал правильные ответы (а именно ошибку 404)

 

[nayda7]

Ответ: руками!

В robots.txt добавлять ничего не нужно, если речь идёт действительно об удалённых страницах. Вам нужно проверить какой ответ отдаёт ваш сайт, и настраивать сервер, чтобы он отдавал правильные ответы (а именно ошибку 404)

вот примеры страниц, вы про это? я и спрашиваю как? проверить ответ и настроить сервер

 

[леший]

вот примеры страниц, вы про это?

да, у Вас всё нормально, 404 ошибка говорит о том, что публикация не найдена и эти страницы просто со временем "выпадут" из поиска. Можете не заморачиваться с этим.