robots.txt

**Палыч** 26.03.2007 10:10

Alice писал(а):Стандартный txt файл, созданный в блокноте

Сохранить как - кодировка...

**Alice** 26.03.2007 13:56

Палыч писал(а):Сохранить как - кодировка...

Это Юникод что ли другими словами? :roll:

**Герасимов Дмитрий** 26.03.2007 19:02

Alice, это совершенно не оффтоп. Мы обсуждали целесообразность использования файла robots.txt вида:

Код: Выделить всё: User-agent: * Disallow: /

Alice писал(а):Стандартный txt файл, созданный в блокноте - это правильный файл или что-то надо с ним сделать, переконвертировать? (я как-то с кодировками не сталкивалась)

[Так же этот UNIX нужен для .htaccess (по нему тоже инфу изучаю) - но это другая тема. ]

И еще, Xvost спрашивал про права доступа на robots.txt - думаю, 644 будет ему в самый раз? или?

Никаких проблем с кодировкой быть не должно. Если опасаетесь, можете спросить у самого яндекса тут. А права должны быть такими, чтобы файл читался извне. Вот какие вы права ставите на html файлы? Вот такие ставте и на роботс.

**Alice** 26.03.2007 21:16

Герасимов Дмитрий писал(а):А права должны быть такими, чтобы файл читался извне.

Ну тогда 644 хватит.

Герасимов Дмитрий писал(а):Если опасаетесь, можете спросить у самого яндекса тут.

Я эту ссылочку выше приводила. Яндекс вроде ничего не говорит, в смысле конечно читает файл и пишет, какие директории запрещены к индексированию, но вот про кодировку явно не скажет

**Герасимов Дмитрий** 27.03.2007 0:15

Alice, а подумать логически?

Если всё читает, всё правильно воспринимает, то значит и кодировка ему по душе!

**Alice** 27.03.2007 0:21

Герасимов Дмитрий писал(а):а подумать логически?

Я всегда думаю логически, но склонна перестраховываться :wink:

Лучше, как говорится, пере-, чем недо- (кроме случаю с солью).

**Герасимов Дмитрий** 27.03.2007 2:11

Alice, не забывайте в роботсе директиву:

Код: Выделить всё: Host: www.site.ru

(можно и без ввв, смотря какой адрес хотите иметь основным)

Иначе могут ваш сайт склеить.. Особенно если он у вас новый и не прокачан нигде, внешних ссылок мало..

**crash** 27.03.2007 3:33

Alice писал(а):но вот про кодировку явно не скажет

а про какую кодировку речь? Если у вас там все по английскому то какая разница вин или кои кодировка?

**Alice** 27.03.2007 4:46

Герасимов Дмитрий писал(а):Иначе могут ваш сайт склеить..

как склеить? А почему у других ничего нет, не написано? Хмммм... Почитаемс.

crash писал(а):а про какую кодировку речь? Если у вас там все по английскому то какая разница вин или кои кодировка?

Написали, что б файл был в unix, вот поэтому и спрашиваю. Ладно, оставьте, а то тут 2 последние страницы "тема имени меня" :roll:

**Герасимов Дмитрий** 27.03.2007 4:55

Alice писал(а):как склеить? А почему у других ничего нет, не написано? Хмммм... Почитаемс.

Представте, что кто-то сделал полную копию вашего сайта site1.ru и вписал в robots.txt строку Host: www.site2.ru и вот яндекс решит, что ваш сайт - зеркало, а тот, на который много внешних ссылок и в роботс прописан хост и есть главный сайт. В итоге ваш сайт после прихода робота зеркальщика не учавствует в поиске, а сайт злоумышленника после склейки вешает свою рекламу или, что хуже какю нибудь бяку... И потом жди этого робота зеркальшика, чтобы расклеил.. Несколько раз о таком слышал. :roll:

**Alice** 27.03.2007 5:12

Герасимов Дмитрий
Даааа, жить и так страшно, а вы мне еще на ночь такие страсти рассказываете, про роботов-зеркальщиков :roll:

[Это я шучу так, если кто не понял]

Спасибо, теперь точно пойду читать про сии проблемы... (опять до 6-7ми просижу)

Добавлено спустя 12 минут 2 секунды:

Почитала... написано: "Директива host является корректной только для робота Яндекса" - ну для Яндекса родимого можно конечно и host прописать

А то отзеркалит кто-нибудь что-нибудь (хотя зачем да кому это надо?

)
Предлагается написать что-то вроде этого (пример):
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru

А можно в прЫнципе и под "стандартным" списком (ко всем роботам) надписать этот host? т.е. не создавая отдельную запись User-agent: Yandex и проч.проч.проч.

**edgar** 27.03.2007 5:15

Герасимов Дмитрий, да вы не пугайте людей то так. :lol:

Никто полную копию форума не сделает без доступа к базе. Да и нет никакого толка от копии форума. Пользователи не роботы, на другой хост не уйдут
В robots.txt host можно использовать для определения основного зеркала из своих. Чтобы например индексировал только без www

Вот еще просто и доступно про robots.txt

**Alice** 27.03.2007 5:24

edgar
Да уж, я думаю официальный сайт/форум (кхм) какой-либо компании (кхм) и т.д. тырить зеркалами не будут. Но лучше пере-, чем недо-

Вот еще просто и доступно про robots.txt

Аха, спасибо, проглядывала... в общем-то я уже разобралась. Остались мелочи, но это дело времени.

**Герасимов Дмитрий** 27.03.2007 5:40

Alice писал(а):А можно в прЫнципе и под "стандартным" списком (ко всем роботам) надписать этот host? т.е. не создавая отдельную запись User-agent: Yandex и проч.проч.проч.

Можно не делать отдельную запись. Другие посиковики просто не поймут её и пропустят. Но я всё же делаю две записи, мне это стоит малых усилий, а спокойнее. И указывать стоит сначала частные записи, и только в конце для всех.

edgar писал(а):Герасимов Дмитрий, да вы не пугайте людей то так.

Никто полную копию форума не сделает без доступа к базе. Да и нет никакого толка от копии форума. Пользователи не роботы, на другой хост не уйдут

Лучше перепугать, чем недопугать.

Теоретически такое возможно и без доступа к базе, если сильно извернуться.. Конечно не думаю, что такое случится с форумом, а вот с сайтами, особенно достаточно статичными, почему бы и нет? ДОС и ДДОС тоже ведь случается, хоть и дорог он и не очень легален.. Я к тому, что прописать хость с www или без всё же стоит. Да и когда опытный оптимизатор изучает конкурентов, он смотрит robots.txt

Кстати, если у вас нет трафика с таких поисковиков как вебальта, апорт, яху, и т.д. и т.п. Стоит их прикрыть роботсом. Чтобы зря лишний раз форум не грузили. А то иногда вебальта зашлёт своего бешеного бота, такое ощущение, что досят. :lol:

Но это конечно вопрос спорный.. Я например не закрываю. А вдруг с вебальты придёт именно тот пользователь, что останется на вашем форуме надолго, станет модером?..

Alice писал(а):Да уж, я думаю официальный сайт/форум (кхм) какой-либо компании (кхм) и т.д. тырить зеркалами не будут. Но лучше пере-, чем недо-

Представим такую ужасную ситуацию:

Взяли опытного сисадмина работать в этой компании, взяли его на испытательный срок, он отлично, блестяще отработал этот срок, а его БАЦ - уволили.. :twisted:

Он разозлился, и зазеркалил сайт/форум этой компании... Не пожалел ни денег ни сил ни своей безопасности... И вот в один прекрасный день по нужным запросам в поисковиках сотрудники компании видят большую такую жопу, прямо как в фильме "Хоттабыч". Кстати, http://www.microsoft.com/robots.txt :twisted:

**Alice** 27.03.2007 16:46

Герасимов Дмитрий писал(а):Можно не делать отдельную запись. Другие посиковики просто не поймут её и пропустят. Но я всё же делаю две записи, мне это стоит малых усилий, а спокойнее. И указывать стоит сначала частные записи, и только в конце для всех.

Спасибо, так и сделаю!

Герасимов Дмитрий писал(а):Лучше перепугать, чем недопугать.

Герасимов Дмитрий писал(а):Кстати, если у вас нет трафика с таких поисковиков как вебальта, апорт, яху, и т.д. и т.п. Стоит их прикрыть роботсом. Чтобы зря лишний раз форум не грузили. А то иногда вебальта зашлёт своего бешеного бота, такое ощущение, что досят.

Вроде не замечала. Пару раз кто-то ломился (ночью), страниц 50 (всех какие есть) сразу в админке висело от Гостя, по IP посмотрела - вроде ГУГЛЯ. Ну я еще по phpbbguru пошастала, вроде выяснила, что робот как раз по ночам любит свои грязные дела делать

Думаю мод поставить, чтобы видно было роботов, но вообще особой надобности не вижу.

Герасимов Дмитрий писал(а):Взяли опытного сисадмина работать в этой компании, взяли его на испытательный срок, он отлично, блестяще отработал этот срок, а его БАЦ - уволили.. Он разозлился, и зазеркалил сайт/форум этой компании...

Ну я под словом "компания" нечто другое подрузамевала (но сайт офицательный, копий нет), поэтому злых сисадминов вроде не предвидится

robots.txt

Кто сейчас на конференции