robots.txt

**Siava** 27.02.2007 12:25

gudk
Текстовый файл не умеете создать что ли? :shock:

**gudk** 27.02.2007 12:30

Siava писал(а):gudk
Текстовый файл не умеете создать что ли?

создаю текстовый файл пишу все в него что в первом или втором посте и заливаю его с именем роботс правильно?

**Siava** 27.02.2007 12:34

gudk
Ну да :mrgreen:

главное залить в корень сайта и проверить открывается ли он потом хттп://сайт.ру/robots.txt

**gudk** 27.02.2007 12:39

залил, открывается, только я залил в корень форума он у меня так выглядит www.имя/forum/robots.txt так верно?

**Поручик** 27.02.2007 12:57

Неверно. Сказано же, в корень сайта.

**gudk** 27.02.2007 12:59

Поручик писал(а):Неверно. Сказано же, в корень сайта.

www.имя/forum/robots.txt так или www.имя/robots.txt ?

**Поручик** 27.02.2007 13:07

Мдя, тяжело. Фот тяк (С) -> www.имя/robots.txt

**edgar** 27.02.2007 19:23

gudk писал(а):создаю текстовый файл пишу все в него что в первом или втором посте и заливаю его с именем роботс правильно

Не, неправильно, так как в этой теме в основном неправильные robots.txt. И самый неправильный в первом посте.

Если форум в директории site.ru/forum/, то вот что как минимум имеет смысл разместить в robots.txt в корне сайта (для немодифицированного форума)

Код: Выделить всё: User-agent: * Disallow: /forum/faq.php Disallow: /forum/groupcp.php Disallow: /forum/index.php?c= Disallow: /forum/login.php Disallow: /forum/memberlist.php Disallow: /forum/posting.php Disallow: /forum/privmsg.php Disallow: /forum/profile.php Disallow: /forum/search.php Disallow: /forum/viewonline.php

Более подробно про robots.txt можно почитать здесь
Там всё будет понятно любому новичку

**gudk** 27.02.2007 21:59

спасибо

**edgar** 02.03.2007 4:46

тут размышлял об идеальном robots.txt для phpbb...

А точно ли нужна эта строка:

Код: Выделить всё: Disallow: /forum/index.php?c=

Лишняя перелинковка никак не помешает имхо. Почему часто предлагается закрыть от роботов категории? Какие минусы могут быть от индексации этой страницы. Имхо только плюсы. Но мнение знатоков интересно услышать...

**Alice** 24.03.2007 6:27

Товарищи, я что-то не пойму. Так как правильно писать, так...
Disallow: /viewonline.php
или так...
Disallow: viewonline.php
???
В одних руководствах написано БЕЗ, в других С - ни черта не понять

И еще я ничего не поняла про формат unix, поэтому создала простой текстовый файл (блокнотом) и залила. Яндекс-скрипт (вот этот http://www.yandex.ru/cgi-bin/test-robots) вроде его определяет, в браузере он просматривается, значит все вроде ok (должно бы быть).

Добавлено спустя 6 минут 35 секунд:

[тихо сам с собой я веду беседу]
Все-таки (эээ, наверное) нужны везде слэши.

**edgar** 24.03.2007 7:41

Вы бы лучше ссылку дали на свой robots.txt вместо всех этих рассуждений...

каталоги не нужны если форум в корне находится

**Alice** 24.03.2007 17:31

пока такой:

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /quick_reply.php
Disallow: /search.php
Disallow: /viewonline.php

у меня сайт вида mydomain.domain.com - форум на нем и располагается, так что в корне. Значит можно слэши убрать?

**Xvost** 24.03.2007 20:50

Может здесь кто нибудь выложить стандартный robots.txt, который по умолчанию подошёл бы для большинства форумов? Что бы залил его в корень форума и забыл.

**Alice** 24.03.2007 20:53

Дык кому что не надо индексировать, то и закрывают... стандарта вроде и нет. У меня в общем-то почти "стандартный", кроме quick_reply (наверное).

robots.txt

Кто сейчас на конференции