robots.txt

**hcir** 27.10.2007 19:03

Народ, а можно ли в роботсе закрыть от индексации поисковиками один или несколько подфорумов целиком?

То есть имеем, например подфорум
http://forum.site.ru/viewforum.php?f=6

В роботс.тхт можно прописать
Disallow: /viewforum.php?f=6

но это собственно будет закрыта одна страница, то есть список тем. А вот как бы закрыть все темы, вообще всё содержимое этого подфорума?
не вставлять же вручную все темы (тем более, что это не архив, темы добавляются постоянно) по типу
Disallow: /viewtopic.php?t=12

Это же не вариант...

Да, и сделать форум приватным тоже не предлагать, фокус в том, что он должен быть открытым для постинга всем зарегистрированным пользователям, но не индексироваться поисковиками.

Смысл в том, что, скажем, у меня есть тематический форум, а в нем подфорум "курилка" или допустим рекламный форум, где разрешены всякие рефссылки, линки на спонсоров и прочий бред. Так вот чтобы тематические все дискуссии индексировались, а мусор в отдельном форуме -- нет.

**Герасимов Дмитрий** 29.10.2007 1:06

hcir писал(а):Да, и сделать форум приватным тоже не предлагать, фокус в том, что он должен быть открытым для постинга всем зарегистрированным пользователям, но не индексироваться поисковиками.

Давать доступ в форум только для зарегистрированных пользователей, и всего делов.

**Нектор** 13.11.2007 14:43

а как написать своего бота, чтобы он заходил на указанный адрес(форум) и писал там заданные сообщения?

**Герасимов Дмитрий** 13.11.2007 20:59

Нектор писал(а):а как написать своего бота, чтобы он заходил на указанный адрес(форум) и писал там заданные сообщения?

Спам решили рассылать? :twisted:

**Нектор** 13.11.2007 21:05

Герасимов Дмитрий

Нет, просто раньше мой форум был на бесплатном, но очень карявом сервисе, такм я зарегиел его в поисковиках. А теперь я на отличном хостинге, но увы на нём запрещена размещение TOP листов. А старый форум удаляют если там нет сообщений в течении 20 дней. Так вот я хочу там поставить переадресацию на новый сайт, а робот мне нужен, чтобы он там писал сообщения каждые 5 дней(для информации доступа к файлам старого форума нет).

**Pr0fi** 14.11.2007 1:27

Напишите скриптик чтобы он вставлял сообщения напрямую в базу и поставьте его в крон.

**crash** 14.11.2007 4:14

Нектор
раз в 5 дней можете сами зайти и разместить

**vlad77** 14.11.2007 5:44

hcir писал(а):Да, и сделать форум приватным тоже не предлагать, фокус в том, что он должен быть открытым для постинга всем зарегистрированным пользователям, но не индексироваться поисковиками.

Поставить в 2 папки 2 форума и одну из папок запретить для индексации.

**D71** 14.11.2007 21:21

ничего не понимаю...вроде все учел..то есть "роботс"находится в этой директории (корневой) - http://avtoclub71.ru/robots.txt ...но браузер пишет

The requested URL /robots.txt was not found on this server.
Additionally, a 500 Internal Server Error error was encountered while trying to use an ErrorDocument to handle the request.

....почему его не находит?...Что не так?

Добавлено спустя 3 часа 9 минут 10 секунд:

мой вопрос снимается.. :oops:

...разобрался - сам начудил....

**MuzDmitry** 23.03.2008 11:04

hcir писал(а):Народ, а можно ли в роботсе закрыть от индексации поисковиками один или несколько подфорумов целиком?

То есть имеем, например подфорум
http://forum.site.ru/viewforum.php?f=6

В роботс.тхт можно прописать
Disallow: /viewforum.php?f=6

но это собственно будет закрыта одна страница, то есть список тем. А вот как бы закрыть все темы, вообще всё содержимое этого подфорума?
не вставлять же вручную все темы (тем более, что это не архив, темы добавляются постоянно) по типу
Disallow: /viewtopic.php?t=12

Это же не вариант...

Да, и сделать форум приватным тоже не предлагать, фокус в том, что он должен быть открытым для постинга всем зарегистрированным пользователям, но не индексироваться поисковиками.

Смысл в том, что, скажем, у меня есть тематический форум, а в нем подфорум "курилка" или допустим рекламный форум, где разрешены всякие рефссылки, линки на спонсоров и прочий бред. Так вот чтобы тематические все дискуссии индексировались, а мусор в отдельном форуме -- нет.

Очень актуально! Тоже столкнулся с такой надобностью, и не нашел как решить.

**MuzDmitry** 24.03.2008 13:40

Поручик, не со зла. Просто не знал, как объяснить короче.
А помимо горчичника можно было бы что-нибудь ответить по теме :shock:

**Shock13666** 24.03.2008 14:15

Кстати, +1. Самого интересует данный вопрос.

**edgar** 30.03.2008 1:01

MuzDmitry писал(а):Народ, а можно ли в роботсе закрыть от индексации поисковиками один или несколько подфорумов целиком?

Нет, в robots.txt это не сделать. Так как у топиков адреса не связаны с их расположением в какой-то категории. А ссылки на эти топики находятся не только на страницах категорий.

MuzDmitry писал(а):Смысл в том, что, скажем, у меня есть тематический форум, а в нем подфорум "курилка" или допустим рекламный форум, где разрешены всякие рефссылки, линки на спонсоров и прочий бред. Так вот чтобы тематические все дискуссии индексировались, а мусор в отдельном форуме -- нет.

Для этого есть моды, которые запрещают индексацию внешних ссылок.

robots.txt

Кто сейчас на конференции