robots.txt

**YarNET** 24.02.2005 12:35

# Instructions for all robots on indexing
# Forum YarNET 2005 Year
# Technical support ****@****.ru
#

User-agent: *
Disallow: /admin/
Disallow: /attach_mod/
Disallow: /cache/
Disallow: /db/
Disallow: /docs/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /attach_rules.php
Disallow: /card.php
Disallow: /common.php
Disallow: /config.php
Disallow: /download.php
Disallow: /extension.inc
Disallow: /faq.php
Disallow: /glance.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /merge.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /quick_reply.php
Disallow: /search.php
Disallow: /uacp.php
Disallow: /viewonline.php
# Disallow: /updates-topic
# Disallow: /stop-updates-topic
# Disallow: /ptopic
# Disallow: /ntopic
# Disallow: /post-

**severnet** 02.10.2005 13:59

После того, как разметил robots.txt:

Код: Выделить всё: User-agent: * Disallow: /images/ Disallow: /actions/ Disallow: /data/ Disallow: /skins/ Disallow: /cache/ Disallow: /admin.php Disallow: /phorum/faq.php Disallow: /phorum/groupcp.php Disallow: /phorum/login.php Disallow: /phorum/memberlist.php Disallow: /phorum/payments.php Disallow: /phorum/posting.php Disallow: /phorum/privmsg.php Disallow: /phorum/profile.php Disallow: /phorum/rules.php Disallow: /phorum/search.php Disallow: /phorum/viewonline.php

Форум перестал индексироваться. Мде...
Может что-то не добавил или наоборот переборщил.
И последнее, для чего нужен robots.txt, если иметь в виду phpBB и поисковые системы?

**crash** 02.10.2005 14:05

severnet писал(а):И последнее, для чего нужен robots.txt, если иметь в виду phpBB и поисковые системы?

а зачем чтобы человек по ссылке приходил в форму ответа?

**severnet** 02.10.2005 14:09

crash, я понял так, robots.txt нужен для того, чтобы не индексировались левые страницы форума. Решил проверить темку, которая раньше находилась в Яндекс, сейчас её уже нет. Из-за этого даже посещаемость резко упала. :cry:

**crash** 02.10.2005 14:13

severnet

severnet писал(а):я понял так, robots.txt нужен для того, чтобы не индексировались левые страницы форума

ну так страницы и не индексируются, которые указали

**severnet** 02.10.2005 15:06

crash, ясен перец, тогда что посоветуете оставить в этом файле?

Добавлено спустя 52 минуты 15 секунд:

Фиг с ним с этим "роботом", сделал пока так, а потом посмотрим стоит ли деиндексировать файлы:

Код: Выделить всё: User-agent: * Disallow: /images/ Disallow: /actions/ Disallow: /data/ Disallow: /skins/ Disallow: /cache/ Disallow: /admin.php Disallow: /phorum/faq.php Disallow: /phorum/payments.php Disallow: /phorum/rules.php

**severnet** 05.10.2005 22:42

Вот не пойму, почему исчезли ссылки на форум? Это нормально? Господа-гуру, подскажите, плиз.

Добавлено спустя 3 минуты 3 секунды:

Вот список индексированных страниц после установки robots.txt - http://www.yandex.ru/yandsearch?serveru ... tudents.ru
Раньше там было несколько тысяч ссылок, а сейчас всего 126! :shock:

А это сам файл - http://freestudents.ru/robots.txt

**VVVas** 07.10.2005 1:51

Господа, проконсультируйте по такому вопросу.
Например, используя

Код: Выделить всё: Disallow: /viewtopic.php?p=

Я запрещу индексацию просто /viewtopic.php или нет? И вообще это будет жить или это будет игнориться?

Как вы поняли хочется запретить вход на конкретный пост из поисковика.

Добавлено спустя 6 минут 45 секунд:

И ещё. Правда оффтопиком. Вот ковырялся, решил глянуть себя в Рамблере. Интересное обнаружил - там нет SID'а. То есть как то Рамблер плюет на SID и повторов страниц нет.

**Siava** 07.10.2005 2:27

VVVas
Ух.. не знаю, будет это жить или нет, но я в своё время намучился с этими роботсами и всё что находится здесь: http://www.siava.ru/robots.txt - живёт :lol:

(хотя давно я туда не лазил, может что почистить надо)

**VVVas** 07.10.2005 2:53

Siava

Код: Выделить всё: Disallow: /forum/download.php Disallow: /forum/download.php*id=*

Ведь первое включает в себя второе, то зачем? Не пояснишь?

Добавлено спустя 3 минуты 18 секунд:

http://phpbbguru.net/robots.txt

Значит таки работает?

**baldahin** 25.03.2006 19:58

я правильно понимаю, что для полного запрета индексации достаточно

Код: Выделить всё: User-agent: * Disallow: /

?

**VVVas** 25.03.2006 20:01

ага

**sergep** 05.04.2006 11:48

господа, гуру особенно, приведите пожалуйста рекомендованный robots.txt для 2.0.19

большое вам будет за это спасибо от всех пользователей
и вообще странно что он не идет сразу в инсталляции

и кстати, robots.txt не должен быть создан в unix виде как .htaccess ?
созданный в обычном редакторе будет распознан поисковиком ?

Добавлено спустя 26 минут 50 секунд:

по примерам сделал следующим образом, форум в поддомене http://forum.имясервера.домен

User-agent: *
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Disallow: /viewonline.php

остались вопросы:
зачем запрещают faq.php ? у меня там много чего интересного добавлено, пусть его находят

в чем суть index.php?c= в http://phpbbguru.net/robots.txt ?

вместо этого /community/post в http://phpbbguru.net/robots.txt как понял стандартно /posting.php ?

и опять же, http://phpbbguru.net/robots.txt - в unix формате, у меня после редактирования - обычный формат файла, это нормально ?

**VVVas** 05.04.2006 12:10

sergep писал(а):господа, гуру особенно, приведите пожалуйста рекомендованный robots.txt для 2.0.19

он такой же как и для 2.0.0

**sergep** 05.04.2006 13:14

гуд

а какой для 2.0.0 ?

начинал с 2.0.18, в инсталяциях не видел
думал тут найду рекомендуемый стандартный, от которого отталкиваться, и рекомендации

VVVas, так а что с моими вопросами про

index.php?c=
/community/post
формат

?

robots.txt

Кто сейчас на конференции