Как добавить бота

**PanAm** 19.08.2007 15:55

Помогите пожалуста написать robots.txt для phpBB3
в поиске только для phpBB 2.0.x
Зарание спасибо.

***Blaze*** 19.08.2007 19:37

Код: Выделить всё: # robots.txt for phpBB3 # @version $Id: robots.txt,v 1.0 2007/01/30 14:05:07 angelside Exp $ # "Any empty [Disallow] value, indicates that all URLs can be retrieved. # At least one Disallow field needs to be present in a record." User-agent: * #Crawl-delay: 100 Disallow: /adm Disallow: /cache Disallow: /CVS Disallow: /develop Disallow: /docs Disallow: /files Disallow: /includes Disallow: /install Disallow: /language Disallow: /store Disallow: /styles Disallow: /common.php Disallow: /config.php Disallow: /cron.php Disallow: /download.php Disallow: /faq.php Disallow: /mcp.php Disallow: /posting.php Disallow: /report.php Disallow: /style.php Disallow: /ucp.php #Disallow: /viewonline.php #Disallow: /memberlist.php #Disallow: /search.php #--- Allowed bots # for archive.org User-agent: ia_archiver Disallow: # for google adsense bot User-agent: Mediapartners-Google* Disallow: #User-agent: Slurp Crawl-delay: 30 Disallow: user-agent: googlebot crawl-delay: 30 user-agent: msnbot crawl-delay: 30 # Kötü niyetli bot'ları engelle User-agent: BotRightHere Disallow: / User-agent: WebZip Disallow: / User-agent: larbin Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: Copernic Disallow: / User-agent: psbot Disallow: / User-agent: Python-urllib Disallow: / User-agent: NetMechanic Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: LNSpiderguy Disallow: / User-agent: Alexibot Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: BunnySlippers Disallow: / User-agent: Microsoft URL Control - 6.00.8169 Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: Wget Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: suzuran Disallow: / User-agent: TightTwatBot Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: Openfind data gatherer Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: Openbot Disallow: / User-agent: URL Control Disallow: / User-agent: Zeus Link Scout Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Keyword Density/0.9 Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Iron33/1.0.2 Disallow: / User-agent: Bookmark search tool Disallow: / User-agent: GetRight/4.2 Disallow: / User-agent: FairAd Client Disallow: / User-agent: Gaisbot Disallow: / User-agent: Aqua_Products Disallow: / User-agent: Radiation Retriever 1.1 Disallow: / User-agent: Flaming AttackBot Disallow: /

**megaaf** 21.08.2007 9:45

Народ! Подскажите с какими параметрами добавлять бота Яндекса... на страничках хелпа поисковика не нашёл ip-адреса... может кто-то знает?! и уже сделал?!

**PanAm** 21.08.2007 10:08

[url=http://wiki.phpbbguru.net/wiki/Поисковые_боты]WIKI[/url]

***Blaze*** 21.08.2007 11:12

А как активировать остальных ботов, у меня только задействованы: Google [Bot], Yahoo [Bot], MSN [Bot], MSNbot Media и Alexa [Bot]. Дайте ссылки на где можно их активировать.

**Палыч** 21.08.2007 11:30

***Blaze*** писал(а):где можно их активировать.

Админка - Общие - Поисковые боты

Добавлено спустя 1 минуту 8 секунд:

Второй вариант:
Админка - Система - поисковые боты

***Blaze*** 21.08.2007 11:43

Палыч мне нужно чтобы они сканировали сайт, в администраторском разделе они и так активированы. Я просил ссылки этих ботов, чтобы добавить свой сайт в базу поисковиков, для индексации. Вот 5 поисковиков (см. выше) сканируют мой сайт, а другие пассивные, вот и нужно чтобы они тоже принялись за работу

**PanAm** 21.08.2007 11:55

Ну тогда
http://webmaster.yandex.ru/
http://www.rambler.ru/doc/add_site.shtml
http://www.google.ru/intl/ru/addurl.html
http://www.aport.ru/addurl.php
http://search.msn.com/docs/submit.aspx
http://alexa.com/data/details/editor?type=rl (?)

***Blaze*** 21.08.2007 12:09

Русские у меня активированы, просто я сегодня ботов только добавил, вот бы американские активировать.

**crash** 21.08.2007 13:10

***Blaze***
так в админке и посмотрите, там уже 29 ботов есть.

**Tabban** 21.08.2007 14:24

Что значит фраза "активировать ботов" :?:

Почему 29 ? В RC4 50 ботов в поставке идет.

**crash** 21.08.2007 14:26

Tabban
ну пусть 50. Еще лучше

***Blaze*** 21.08.2007 15:08

Tabban писал(а):Что значит фраза "активировать ботов"

Заставить их индексировать сайт, чтобы они посещали его и сканировали, скажем мне нужны конкретно ссылки этих поисковиков, чтобы я мог добавить свой сайт.

**Kir-Dagoor** 21.08.2007 15:19

Гугл в помощь... Поиск по имени бота например.

**PanAm** 21.08.2007 15:19

А вообще, стоит ли перегружать свой хост еще 50 пользователями?

Как добавить бота

создание robots.txt для поисковых ботов

Как добавить бота

Кто сейчас на конференции