robots.txt

[Xpert]

ndex.php?c=

Пройдите по подобной ссылке и поймете в чем суть.

/community/post

Найдите тему "Запрет posting.php". Это - допустимый вариант такого запрета.

[sergep]

Xpert
попробовал пройти по index.php?c=
что на вашем что на моем сайте попадаю на главную страницу форума
причем ни чем не отличающаюся от index.php

что не понял или не так сделал ?

про /community/post спрашивал почему именно /community/post а не /community/posting.php ?

что значит допустимый ? отрабатывает как будто в конце звездочка стоит ?
был какой то смысл писать /community/post а не /community/posting.php ?

[VVVas]

sergep

попробовал пройти по index.php?c=

http://www.phpbbguru.net/community/index.php?c=3
???

Не пробовали почитать документацию по robots.txt ?
http://www.rambler.ru/doc/robots.shtml

[sergep]

Xpert, VVVas - спасибо

понял
почитал
разобрался

[x.e.v]

Есть проблема.
Сайт размещен на часном сервере.
Сервер на Apache v1.3.34 (фря)
Залил в корень сайта robots.txt

Код: Выделить всё

User-agent: *
Disallow: /

в итоге , в браузере вижу:

Код: Выделить всё

User-agent: * Disallow: /


индексация продолжается.

тот же файл, на локальной машине , по виндовс. апачь 2.. отображается нормально.

Подскажите пожалуйсто что и как настроить?
Жду ваших ответов, гуру!

[Siava]

x.e.v
Кодировка файла должна быть Unix.

[x.e.v]

по ssh захожу, через ee пишу. тоже самое!
Что делать?

[avm]

x.e.v а зачем вы этот файл смотрите в броузере? имхо просто ваш апач для расширения .txt почему-то говорит вашему броузеру что у этого файла Content-type: text/html - и ваш броузер соответственно пытается его так и отобразить... отсюда и результат.
Сохраните этот файл (через тот же броузер) себе на диск и посмотрите - все будет ок...

P.S. этот файл не для броузеров!... и кстати спросите хостера почему у .txt Content-type: text/html а не text/plain (как и положено)

[x.e.v]

Content-type: там: text/plain .
Открываю затем, что ищу причину, почему файл не приносит результата. Поисковые машины, все равно индексируют! И по идее, это из-за того что вся инфа файла в одну строчку пишется.
Вы сообщение пожалуйста не вытирайте, а помогите.

[avm]

Content-type: там: text/plain

вот только чесать не нужно... лучше бы прислушивались... я, например, говорю именно то в чем уверен!

вот диалог с вашим сервером:

GET http://v-lan.com.ua/robots.txt
Accept-Charset: utf-8, koi8-r, windows-1251, *;q=0.1
User-Agent: lwp-request/2.06

200 OK
Connection: close
Date: Tue, 01 Aug 2006 00:50:43 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.1
Content-Type: text/html
Client-Date: Tue, 01 Aug 2006 21:52:37 GMT
Client-Peer: 193.110.107.94:80
Client-Response-Num: 1
Client-Transfer-Encoding: chunked
X-Powered-By: PHP/4.4.1

User-agent: *
/n
Disallow: /

помимо text/html там еще результаты толи вашего кривого программинга (в виде странной последовательности /n) толи ваших рук... но на функциональность этого файла это не повлияет...

[severnet]

Объясните один момент, плз. На форуме установлен "Search Engines Friendly Board", Яндекс проиндексировал (это свершилось!) все страницы + виртуальные статические "*.html?quot; благодаря вышеназванному моду. Но, как я понял, не хорошо, когда получается дубликат (также поисковик нашел темы "viewtopic.php?printertopic=" для печати (Printer Topics), поэтому viewtopic.php я прописал в robots.txt, чтобы остались только статические страницы. Если ошибаюсь, поправьте меня, плз. Благодарю.

Код: Выделить всё

User-Agent: *
Disallow: /forum/album.php
Disallow: /forum/album_cat.php
Disallow: /forum/album_personal_index.php
Disallow: /forum/album_showpage.php
Disallow: /forum/attachments.php
Disallow: /forum/donate.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/index.php?c=
Disallow: /forum/login.php
Disallow: /forum/medals.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/quick_reply.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php?printertopic=
Disallow: /forum/weblogs.php
Disallow: /forum/weblog_allentries.php
Disallow: /forum/weblog_blocked.php
Disallow: /forum/weblog_config.php
Disallow: /forum/weblog_contributors.php
Disallow: /forum/weblog_entry.php
Disallow: /forum/weblog_friends.php
Disallow: /forum/weblogs_news.php
Disallow: /forum/weblog_posting.php
Disallow: /forum/wap

Добавлено спустя 11 часов 19 минут 21 секунду:

Ммм...?

[Поручик]

Ну, в общем правильно. Ну можно запретить все viewtopic.php

Вместо
Disallow: /forum/viewtopic.php?printertopic=

Прописать
Disallow: /forum/viewtopic.php

[Filippok]

Уважаемые господа, подскажите пожалуйста у меня есть такая папка /forum/CPGallery это папка Копермайн галереи, посоветуйте какие файлы папки запретить?
Спасибо.

[4upuk]

Объясните один момент, плз. На форуме установлен "Search Engines Friendly Board", Яндекс проиндексировал (это свершилось!) все страницы + виртуальные статические "*.html?quot; благодаря вышеназванному моду. Но, как я понял, не хорошо, когда получается дубликат (также поисковик нашел темы "viewtopic.php?printertopic=" для печати (Printer Topics), поэтому viewtopic.php я прописал в robots.txt, чтобы остались только статические страницы. Если ошибаюсь, поправьте меня, плз. Благодарю.

Я вот тоже к такому выводу пришел, но меня гложит несколько другая проблема.
Нет дубликатов это круто. Но у нас поисковик видит одну ссылку, а пользователи другую. Соответственно размещая ссылку на пост на другом сайте, пользователь кидает динамическую ссылку. Поиск любит мноооого внешних ссылок на документ. А что получается у нас ? Есть проиндексированный форум, на страницы которого нет внешних ссылок. ЧТо-то мне это очень не нравится.

severnet Ну как .. посещаемость возросла ?

[gudk]

где его создавать?

-=Vizard=-, в корневом каталоге... Если по-русски, то там же, где и файл config.php, например.

а у меня нет такого файла, помогите, как его создать, может кто то выложить готовый?