Как добавить бота

[NCom]

не о том я во к примеру это будут видеть боты?

Код: Выделить всё

<!-- IF not S_USER_LOGGED_IN -->
     </div>
     <div class="navbar">
  <div class="inner"><span class="corners-top"><span></span></span>
      <ul class="linklist">
        <li class=></li>
********
<!-- ENDIF -->

[Gisher]

можно ещё добавить

Код: Выделить всё

Disallow: /*?sid=*

может не совсем в тему, если в файле /includes/funсtions.php после

Код: Выделить всё

// Assign sid if session id is not specified
if ($session_id === false)
{
   $session_id = $_SID;
}

добавить

Код: Выделить всё

global $user;
if ($user->data['user_id'] == ANONYMOUS OR $user->data['is_bot'] )
{
   $session_id = false;
}

sid не уберёться для поисковиков?

[***Blaze***]

robots.txt который я предоставил, не советую использовать, так как яндекс выкидывает из индексирования. Надо бы robots.txt для русских поисковиков.

[Aleksandr SPB]

Объясните пожалуйста, кто в теме, а для чего он вообще нужен этот robots.txt, ко мне и так нормально боты заходят и индексируют что им нужно.

Или он "по умолчанию" устанавливается при установке, пхпББ 3 и где-то лежит, просто я не знаю?

[Поручик]

Иди читай, материалов в сети как грязи

[RDF2]

Я, конечно, не большой специалист по robots.txt, но по-моему это бред собачий.
Во первых, #Crawl-delay большинство ботов не понимают и могут расценить как ошибку. Во вторых, большинство ботов категорически против /CVS заглавных букв и могут расценить как ошибку. В третьих, медиа партнер херит роботс.тхт если на запрещенной страничке вызывается его объявление. И, наконец, для меня большая загадка для чего прописывать в запрете качалки и спам-программы. Можно подумать они туда заглядывают.

Думаю не надо множить сущности и ограничиться простым:

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /posting.php
Disallow: /report.php
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php

[edgar]

Думаю не надо множить сущности и ограничиться простым:

В строке
Disallow: /adm
необходимости нет.

Не помешает добавить
Disallow: /faq.php
Если faq стандартный.

sid не уберёться для поисковиков?

Поисковики вроде сид итак не видят, а вот от людей его надо убирать обязательно, чтобы посетители не оставляли в сети сообщения такого типа

Официальный форум поддержки phpbb - http://www.phpbb.com/community/index.ph ... 62829bafd0

Это и смотрится уродливо и поисковики получат разные ссылки на одну и ту же страницу.
Но robots.txt к сидам отношения не имеет. sid надо убирать каким-то из seo-модов, чтобы и посетители их не видели. Ни гости, ни зарегенные.

[Gisher]

Поисковики вроде сид итак не видят

видят, можно в результатх поиска увидеть ссылки типо viewtopic.php?t=1410&f=67&sid=682608ae80bbd59ac334552ce51cc76d

[rxu]

SID показывается в адресной строке в случае, если какие-то проблемы с куками (как с настройками, так и на стороне клиента), иными словами, если информация об идентификаторе сессии, считанная из куков, неверна. Поэтому убирать sid из адресной строки искусственно не следует - будут проблемы с конференцией.

Поисковики вроде сид итак не видят

видят

Не видят в phpBB3.

[RDF2]

В строке
Disallow: /adm
необходимости нет.

Согласен. В /mcp.php кстати тоже.

Не помешает добавить
Disallow: /faq.php
Если faq стандартный.

А FAQ думаю пусть читают, вроде не жалко.

[edgar]

Согласен. В /mcp.php кстати тоже. А FAQ думаю пусть читают, вроде не жалко.

Ну раз уж мы решили поисковикам угодить, то лучше закрыть страницы, у которых будут в сети тысячи клонов.
Поэтому и /faq.php и /mcp.php лучше закрыть (если конечно faq мы не сами написали, а остановили тот что по умолчанию)

Поэтому убирать sid из адресной строки искусственно не следует - будут проблемы с конференцией.

А какой мод грамотно убирает сиды? Что сейчас лучшее из такого типа модов?

[rxu]

А какой мод грамотно убирает сиды? Что сейчас лучшее из такого типа модов?

Трудно сказать. Единственный SEO мод, выпущенный на phpbb.com, лично мне не нравится, т.к. имеет серьезные проблемы как минимум с нелатинскими названиями, и не гибок в настройках.
Остальные, которые я видел, находятся в бета-стадии, однако, больше всего кажутся интересными моды с phpbb-seo.com, особенно средний вариант (phpbb-seo-mixed).

[edgar]

rxu, спасибо за подсказку.

[MaximM]

Советую не менять стили для ботов - большая вероятность получить втык от их "папочки"

[NCom]

MaximM
ты это к чему и кому?
во-первых если боты будут ходить по стилю отведенному им, то никакого втыка быть и не может. Если считаешь по-другому то говори аргументированно. Я тоже могу советовать много всего.