Что нового

robot .txt

adwardo

Посетитель
Регистрация
19 Фев 2021
Сообщения
3
Реакции
1
What should be the best content for a robot.txt file?
 

SaNcHeS

Создатель
Owner
SkripTers TEAM
Кодеры
OLD SkripTers
Регистрация
17 Дек 2019
Сообщения
6,338
Реакции
1,317
Какая CMS?
 

MaHarder

Модератор
SkripTers TEAM
Кодеры
OLD SkripTers
Регистрация
17 Дек 2019
Сообщения
420
Реакции
44
Код:
# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /account/
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/mark-read?date
Disallow: /forums/*/page-*?order
Disallow: /install/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /pages/privacy/
Disallow: /recent-activity/
Disallow: /register
Disallow: /resources/?order
Disallow: /resources/*/download?version
Disallow: /resources/*/history
Disallow: /resources/*/update?resource_update_id
Disallow: /resources/authors/
Disallow: /resources/categories/*/?order
Disallow: /search
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /warnings/
Disallow: /watched/
Disallow: /admin.php
Disallow: *.rss
Disallow: /edit-history/
Disallow: /editor/
Disallow: /goto/
Disallow: /inline-mod/
Disallow: /js/
Disallow: /logout/
Disallow: /chat/
Disallow: /moderation-queue/
Disallow: /profile-posts/
Disallow: /support-tickets/
Disallow: /reports/
Disallow: /faq/*/*/
Disallow: /shop/*/*
Disallow: /spam-cleaner/
Disallow: /tags/
Allow: /

User-agent: Googlebot-Image
Disallow: /data/avatars/

Host: site.com

Sitemap: https://site.com/sitemap.php

i guess this should be enough. You should disallow doubles and pages with spam -> like spam profiles with spam links
 

alexey1986

Посетитель
Регистрация
21 Апр 2021
Сообщения
7
Реакции
8
Здравствуйте.
народ подскажите правильный robots.txt для DLE
 

Евгений Попов

Посетитель
Регистрация
1 Мар 2021
Сообщения
30
Реакции
11

Mr.S

Гуру
Owner
SkripTers TEAM
SEOшники
Регистрация
25 Дек 2019
Сообщения
44
Реакции
19
Там иероглифы в том то и дело
блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt
 

adwardo

Посетитель
Регистрация
19 Фев 2021
Сообщения
3
Реакции
1
Спасибо всем друзьям за полезные советы
 
  • Like
Реакции: Mr.S

alexey1986

Посетитель
Регистрация
21 Апр 2021
Сообщения
7
Реакции
8
блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt
Спасибо
 

леший

Модератор
SkripTers TEAM
OLD SkripTers
Регистрация
18 Дек 2019
Сообщения
4,790
Реакции
66
Здравствуйте.
народ подскажите правильный robots.txt для DLE
Код:
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
А остальное закрываешь через meta тег
Код:
<meta name="robots" content="noindex">
Так как robots.txt боты могут проигнорировать, а мета теги нет
 

mybezik

Посетитель
Регистрация
26 Апр 2021
Сообщения
8
Реакции
6
Тем что постоянно лишние ссылки поиск яндекс засаряют
в поиск попадают все страницы, на которых стоит счетчик яндекса, попробуйте выяснить источник этих адресов, возможно, это внутренние ссылки, которые косячно выводятся в шаблонах.
 

Макс

Посетитель
Регистрация
29 Апр 2021
Сообщения
2
Реакции
0
Спасибо, нашёл то что искал
 
Верх