Что нового

robot .txt (1 Viewer)

Код:
# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /account/
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/mark-read?date
Disallow: /forums/*/page-*?order
Disallow: /install/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /pages/privacy/
Disallow: /recent-activity/
Disallow: /register
Disallow: /resources/?order
Disallow: /resources/*/download?version
Disallow: /resources/*/history
Disallow: /resources/*/update?resource_update_id
Disallow: /resources/authors/
Disallow: /resources/categories/*/?order
Disallow: /search
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /warnings/
Disallow: /watched/
Disallow: /admin.php
Disallow: *.rss
Disallow: /edit-history/
Disallow: /editor/
Disallow: /goto/
Disallow: /inline-mod/
Disallow: /js/
Disallow: /logout/
Disallow: /chat/
Disallow: /moderation-queue/
Disallow: /profile-posts/
Disallow: /support-tickets/
Disallow: /reports/
Disallow: /faq/*/*/
Disallow: /shop/*/*
Disallow: /spam-cleaner/
Disallow: /tags/
Allow: /

User-agent: Googlebot-Image
Disallow: /data/avatars/

Host: site.com

Sitemap: https://site.com/sitemap.php

i guess this should be enough. You should disallow doubles and pages with spam -> like spam profiles with spam links
 
Там иероглифы в том то и дело
блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt
 
Спасибо всем друзьям за полезные советы
 
  • Like
Реакции: Mr.S
блокируешь тогда по началу ссылки к примеру Disallow: /user/*
в основном под каждый сайт индвидуально настраивается в зависимости от модулей и других типов страниц, а так же от того что вы хотите показывать поисковику а что нет.
Так же на любом сайте DLE спокойно можно глянуть robots, к примеру https://skripters.biz/robots.txt
Спасибо
 
Здравствуйте.
народ подскажите правильный robots.txt для DLE
Код:
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
А остальное закрываешь через meta тег
Код:
<meta name="robots" content="noindex">
Так как robots.txt боты могут проигнорировать, а мета теги нет
 
Тем что постоянно лишние ссылки поиск яндекс засаряют
в поиск попадают все страницы, на которых стоит счетчик яндекса, попробуйте выяснить источник этих адресов, возможно, это внутренние ссылки, которые косячно выводятся в шаблонах.
 
Спасибо, нашёл то что искал
 

Пользователи, просматривающие данную тему

Верх