robots.txt

[Xvost]

Ещё раз: нужен robots.txt, который по умолчанию подошёл бы для большинства форумов. Т. е. должен быть определенный набор запретов которые можно рекомендовать для всех.

[edgar]

Alice, слэши означают директорию, которую нельзя индексировать
Disallow: / означает корневой каталог.
Так что у вас всё правильно, только эта строчка не нужна:
Disallow: /admin/
Поисковик не может увидеть эту папку, нет на нее ссылки.

Может здесь кто нибудь выложить стандартный robots.txt, который по умолчанию подошёл бы для большинства форумов?

я выложил чуть выше

[Alice]

edgar, спасибо за объяснения! Теперь ВСЕ ясно
/admin/ уберу.

[edgar]

Alice, кстати еще непонятно, что вы хотите закрыть от индексации этой строкой:
Disallow: /quick_reply.php
Туда тоже робот попасть не сможет, и индексировать там нечего, и закрывать там нечего. Независимо от того установлен быстрый ответ или нет, поисковый робот сможет попасть только на /posting.php
От лишних строк в robots.txt вреда нет, но они просто не нужны

[Alice]

От лишних строк в robots.txt вреда нет

Да поэтому наверное и написала
Я просто не знаю, куда может робот попасть, куда нет. Вот кто-то вписывал еще папки cache, db, includes, language, templates и проч. - я в этом пока только начинаю разбираться (со вчерашнего дня), поэтому что нужно запретить, а что можно оставить не совсем понимаю.

[Xvost]

edgar

Хорошо, я взял себе Ваш шаблон. Теперь поясните, чего роботу запрещаем?

User-agent: *
Disallow: /faq.php - Это понятно, справочный раздел
Disallow: /groupcp.php - ???
Disallow: /index.php?c= - ???
Disallow: /login.php - страница входа, так?
Disallow: /memberlist.php - Список юзеров, как я понимаю?
Disallow: /posting.php - Это что форма ответа?
Disallow: /privmsg.php - приватные сообщения?
Disallow: /profile.php - профиль пользователя?
Disallow: /search.php - форумный поиск, да?
Disallow: /viewonline.php - ???

А это надо запрещать: viewtopic.php, viewforum.php?
И нужен ли запрет на некоторые каталоги?

Блин, как много всего я спросил...

Добавлено спустя 1 час 57 минут 9 секунд:

Да, и какие права должны стоять на этот файл?

[edgar]

Я просто не знаю, куда может робот попасть, куда нет. Вот кто-то вписывал еще папки cache, db, includes, language, templates и проч.

Он может попасть только туда куда есть ссылки на вашем сайте или на других сайтах. Ссылок domain.com/cache/ domain.com/language/ и т.д. на форуме нет, никаких страниц там тоже нет, чтобы их запрещать.
В папке templates могут проиндексироваться служебные картинки форума (кнопки, фон, информация о стиле, ваш лого и т.д....). Ее можно и запретить, если не хотите чтобы эти картинки индексировались

Хорошо, я взял себе Ваш шаблон. Теперь поясните, чего роботу запрещаем?

Откройте эти страницы в браузере и узнаете

А это надо запрещать: viewtopic.php, viewforum.php?

Если не хотите, чтобы к вам посетители с поисковых систем приходили, можете запретить. Но проще тогда весь форум одной строкой запретить
Disallow: /

[Alice]

тогда весь форум одной строкой запретить
Disallow: /

По-моему так даже лучше делать, т.к. на форум заходят с сайта (в основном), а сайт проиндексирован и прописан в поисковиках/каталогах. Так например в моем случае и есть. Не думаю, что человек будет сначала искать форум, потом заходить на сайт, в основном происходит как раз наоборот. Да и будет защита от тех, кто по поисковикам ищет форумы, чтобы спамить.
Но это конечно не подходит тем, у кого сайт-форум.

[Герасимов Дмитрий]

Alice, бредятина то какая... Форум собирает запросы низкочастотники. Ищущий не ищет форум, он обычно ищет ответ на вопрос. А вот найдя ответ на свой вопрос, он может уже обратить внимание на сайт, и форум, особенно если форум тематический.

Добавлено спустя 2 минуты 10 секунд:

Тем более таким вот роботсом вы запретите индексацию и сайта в том числе вместе с форумом.

Disallow: /

Надо так:

Disallow: /forum/

[Alice]

бредятина то какая...

Может вам и бредятина, а мне нет У меня по "запросу по теме" можно все найти на сайте.

Тем более таким вот роботсом вы запретите индексацию и сайта в том числе вместе с форумом.

Неа. И все потому, что я лучше знаю, где у меня сайт/форум располагается. У меня 2 сайта, на одном сам контент, на другом - форум.

[Xvost]

edgar
Ну, я почти всё понял. Кроме смысла на запрет этого:
Disallow: /index.php?c=
Я не разбираюсь в php-кодировке, что это значит? Ведь если index.php - главная страница форума, то что, её запрещаем? не понимаю, поясните.

Добавлено спустя 2 минуты 59 секунд:

Disallow: /memberlist.php - а это зачем запрещать? Ведь робот, как я понимаю, пройдёт по такому пути: имя юзера-найти все сообщения?

[edgar]

Alice, бредятина то какая...

Согласен
Alice, вообще-то мы robots.txt для того тут и обсуждаем, чтобы сделать форум удобней для поисковых систем, а не спрятать его. Но если вы хотите вообще закрыть его от индексации и потерять посетителей, это ваше право

Ну, я почти всё понял. Кроме смысла на запрет этого:
Disallow: /index.php?c=

Это категории. Имхо эту строчку можно убрать из robots.txt. Никакого вреда от ее индексации не будет. Вот на какую страницу эта ссылка ведет:
http://www.phpbbguru.net/community/index.php?c=1

[Alice]

Alice, вообще-то мы robots.txt для того тут и обсуждаем, чтобы сделать форум удобней для поисковых систем, а не спрятать его. Но если вы хотите вообще закрыть его от индексации и потерять посетителей, это ваше право

Согласна, каждому свое.. вы же не можете знать всего про мой сайт/форум, кто там сидит (может он для трех моих друзей, lol), нужно что-то или нет, будет вред от того, что форум проиндексируется или нет, и т.д.
А запрет на индексацию к robots.txt тоже относится, поэтому я "в теме".
Пы.Сы. Я не сказала, что я сделаю так (закрою индексацию), и что все должны так же сделать, а сказала, что можно произвести сию операцию (которую кстати вы и предложили ) Так что мОжно и дОлжно, как говорится, 2 большие разницы.
Я пока не собираюсь ставить Disallow: / - я вообще пока что учусь и разбираюсь. Поэтому спасибо за все советы!

[Герасимов Дмитрий]

вы же не можете знать всего про мой сайт/форум, кто там сидит (может он для трех моих друзей, lol),

Всё верно, возможно. Я администрирую разные форума, и могу с уверенностью сказать, что если в течении долгого времени на форуме нет притока свежей "крови", форум хиреет и общение становится скучным и жидким. Люди постоянно меняются, перестают посещать форум, очень мало людей приходит на много лет. Важен костяк форума, который, составляет обычно мизерный процент общего количества посещений. Но этот костяк устанет друг от друга, если не будет обновления в их рядах. Как известно, уникальный контент - штука архиполезная и дорогая. (одно из главных правил SEO - уникальный контент). А тут у вас толпы народа бесплатно пишут вам контент каждый день, каждый час, каждую минуту... И закрывать это добро от индексации??? Я, простите, не встречал ещё ситуации, когда это будет оправданно.

[Alice]

Я администрирую разные форума, и могу с уверенностью сказать, что если в течении долгого времени на форуме нет притока свежей "крови", форум хиреет и общение становится скучным и жидким. <...>

<офф>
Согласна, но это уже все оффтоп, нас накажут.
У меня контент на сайте, а форум так - попросили уже, чтоб общаться, вот путь общаются. Мне он в общем-то не нужен был, честно говоря.
В общем, я пока от индексации полностью не собираюсь закрываться, и повторюсь (да не прийдут в ярость админы!), что можно и должно - разные вещи.
P.S. Если что, давайте оффтопить в личке.
</офф>

Уважаемый edgar, скажите пожалуйста, все-таки меня беспокоит этот UNIX. Стандартный txt файл, созданный в блокноте - это правильный файл или что-то надо с ним сделать, переконвертировать? (я как-то с кодировками не сталкивалась)
[Так же этот UNIX нужен для .htaccess (по нему тоже инфу изучаю) - но это другая тема. ]
И еще, Xvost спрашивал про права доступа на robots.txt - думаю, 644 будет ему в самый раз? или?