robot .txt (1 Viewer)

[adwardo]

What should be the best content for a robot.txt file?

 

[SaNcHeS]

Какая CMS?

 

[adwardo]

xenforo

 

[MaHarder]

xenforo

Спойлер: robots

# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /account/
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/mark-read?date
Disallow: /forums/*/page-*?order
Disallow: /install/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /pages/privacy/
Disallow: /recent-activity/
Disallow: /register
Disallow: /resources/?order
Disallow: /resources/*/download?version
Disallow: /resources/*/history
Disallow: /resources/*/update?resource_update_id
Disallow: /resources/authors/
Disallow: /resources/categories/*/?order
Disallow: /search
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /warnings/
Disallow: /watched/
Disallow: /admin.php
Disallow: *.rss
Disallow: /edit-history/
Disallow: /editor/
Disallow: /goto/
Disallow: /inline-mod/
Disallow: /js/
Disallow: /logout/
Disallow: /chat/
Disallow: /moderation-queue/
Disallow: /profile-posts/
Disallow: /support-tickets/
Disallow: /reports/
Disallow: /faq/*/*/
Disallow: /shop/*/*
Disallow: /spam-cleaner/
Disallow: /tags/
Allow: /

User-agent: Googlebot-Image
Disallow: /data/avatars/

Host: site.com

Sitemap: https://site.com/sitemap.php

i guess this should be enough. You should disallow doubles and pages with spam -> like spam profiles with spam links

 

[alexey1986]

Здравствуйте.
народ подскажите правильный robots.txt для DLE

 

[Евгений Попов]

Здравствуйте.
народ подскажите правильный robots.txt для DLE

чем стандартный не устраивает?

 

[alexey1986]

чем стандартный не устраивает?

Тем что постоянно лишние ссылки поиск яндекс засаряют

 

[Евгений Попов]

Тем что постоянно лишние ссылки поиск яндекс засаряют

вот тут уже и нужно смотреть какие именно ссылки левые лезут, и их блокировать!

 

[alexey1986]

вот тут уже и нужно смотреть какие именно ссылки левые лезут, и их блокировать!

Там иероглифы в том то и дело

 

[Mr.S]

Там иероглифы в том то и дело

блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt

 

[adwardo]

Спасибо всем друзьям за полезные советы

 

[alexey1986]

блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt

Спасибо

 

[леший]

Здравствуйте.
народ подскажите правильный robots.txt для DLE

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

А остальное закрываешь через meta тег

<meta name="robots" content="noindex">

Так как robots.txt боты могут проигнорировать, а мета теги нет

 

[mybezik]

Тем что постоянно лишние ссылки поиск яндекс засаряют

в поиск попадают все страницы, на которых стоит счетчик яндекса, попробуйте выяснить источник этих адресов, возможно, это внутренние ссылки, которые косячно выводятся в шаблонах.

 

[Макс]

Спасибо, нашёл то что искал

 

[Алекс Сиам]

Здравствуйте.
народ подскажите правильный robots.txt для DLE

Использую такой вариант для Dle

 

[MSK]

Использую

в host должен быть адрес сайта, а не ссылка на файл.

 

[SaNcHeS]

Использую такой вариант для Dle

Делать скрин кода, чтобы руками переписывать

 

[Алекс Сиам]

Делать скрин кода, чтобы руками переписывать

В метро ехал, а копировать построчно лень ))

 

[SaNcHeS]

В метро ехал, а копировать построчно лень ))

Так он все равно с ошибкой