Индексация поисковиками

[ReXtor]

/viewforum.php?f=1. 404
Как я понимаю это ссылка на самый первый форум, создаваемый при инсталяции конференции "Это Ваш первый форум..."

Это ссылка на первую КАТЕГОРИЮ. А первый форум (раздел) уже внутри этой категории. И первая категория вполне себе доступна на отдельной странице по этой ссылке и должна отображать список вложенных в нее форумов. Проверь права доступа на категорию!

и как закрыть их для обхода ?

Если действительно эти ссылки от Antibot42, то странно. У меня подобного не наблюдалось. Отдельно UCP в robots.txt я не закрывал даже. А проверь добавлен ли яндекс (и правильно ли) в список ботов (в ACP).

К расширению SEO Metadata, вопрос не относится и все это оффтоп.

[G20]

Это ссылка на первую КАТЕГОРИЮ. А первый форум (раздел) уже внутри этой категории. И первая категория вполне себе доступна на отдельной странице по этой ссылке и должна отображать список вложенных в нее форумов. Проверь права доступа на категорию!

Я понимаю что написал. Да, это категория (f) , внутри которой разделы (t) топики, а уже внутри них располагаются посты (p)
И тем не менее ругается выдавая нерабочую ссылку на /viewforum.php?f=1, пройдя по которой "Запрошенного форума не существует.
Если смотреть содержимое SQL таблицы phpbb_forums, то минимальный forum_id который в ней есть это 4
Тоесть категории/форума под номером 1 на конференции нет физически.
Но где тогда Яндекс наткнулся на этот фантом?

[Татьяна5]

G20, форум не новый, сообщения в 1-м форуме были? В том случае ссылка могла остаться на стороннем сайте, кто-то разместил. Закрывать для индексации её не надо, сама исчезнет из-за 404-й

[G20]

G20, форум не новый, сообщения в 1-м форуме были?

Да не новый, но и не сильно старый. Создан 1 августа 2022г.
Сообщений там было/небыло уже не вспомню. Возможно какие-то и были в момент настройки.

P.S. После первой попытки проиндексировать, количество обходов роботом больше 30 ориентировочно.

[G20]

G20, форум не новый, сообщения в 1-м форуме были? В том случае ссылка могла остаться на стороннем сайте, кто-то разместил. Закрывать для индексации её не надо, сама исчезнет из-за 404-й

Проблема была на стороне Яндекс. Написал в техподдержку, исправили.

Та проблема исправлена, зато появились другие

"страница проиндексирована по каноническому адресу https://youforum.ru/viewtopic.php?t=75&start=80, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически."

Уважаемые Гуру, не подскажете где именно этот атрибут расположен? Из за этой ошибки страницы не индексируются

[Татьяна5]

Из за этой ошибки страницы не индексируются

Это не ошибка. Canonical не даёт индексировать дубли страниц

[G20]

Это не ошибка. Canonical не даёт индексировать дубли страниц

Татьяна доброго времени суток! Я так ине победил эту проблему.
Яндекс и Гугл отказываются индексировать более половины страниц, причина Canonical.
Что может не нравиться поисковикам?

[Татьяна5]

эту проблему

Это не проблема
Вот если бы все дубли наоборот индексировались - была бы проблема, а так всё в порядке

[G20]

Это не проблема
Вот если бы все дубли наоборот индексировались - была бы проблема, а так всё в порядке

Что-то блуждаю в трёх соснах. Вот что ядекс Webмастер говорит.
Из 18 тыс страниц 16 тыс не хочет индексировать. Ну не дубли же там

гугловский инструмент примерно похожий результат выдаёт, но в качестве причины отказа в индексации звучит как запрет на обход в файле robiots.txt
Разумеется нет такого запрета

[Татьяна5]

Ну не дубли же там

На каждой странице темы по 10 штук дублей. А также, судя по виду ссылки что попал на скриншот, бот забрёл на постоянно-генерируемую страницу регистрации, и сидел там генерировал новые неиндексируемые адреса

[G20]

На каждой странице темы по 10 штук дублей.

Татьяна я в каком то ступоре чтоли. Как уже выявить эти дубли? Если говорить про тупо визуально, то повторяющейся информации в постах почти нет. Тем более по 10 шт на одной странице.
Насчёт ботов при регистрации. Установлено расширение Antibot 42.
Включены все пять методов обнаружения ботов. Лог показывет, что расширение достойно отрабатывает. Вот небольшой фрагмент из лога

2023-09-20 14:43:31 Attempt to open the registration page 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 14:43:35 Invalid form at ucp.php?mode=login 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 14:43:37 Attempt to contact admin 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 17:43:54 Invalid form at memberlist.php?mode=contactadmin 9f5a4f4a 46.35.252.130 Europe / Ukraine
2023-09-20 18:57:32 Attempt to post a new topic 0bf516af 95.108.213.143 Europe / Russia

заблокировать по IP или по имени бота?

бот забрёл на постоянно-генерируемую страницу регистрации

С этим тоже не понял. Это означает например, что бот постоянно обновляет "задание теста против спам-ботов"?

[Татьяна5]

Как уже выявить эти дубли?

Это стандартные ссылки на каждое сообщение на странице. В результате на одну страницу ведёт по 11 ссылок (1 от темы, 10 от сообщений)
Нормально, что индексируется та 1 от темы, а 10 отбрасывается как дубли

С этим тоже не понял. Это означает например, что бот постоянно обновляет "задание теста против спам-ботов"?

Это означает что бот, несмотря на запреты индексации, всё-таки пытается проиндексировать страницу регистрации. А на неё ведёт неограниченное количество ссылок

[G20]

Это стандартные ссылки на каждое сообщение на странице. В результате на одну страницу ведёт по 11 ссылок (1 от темы, 10 от сообщений)
Нормально, что индексируется та 1 от темы, а 10 отбрасывается как дубли

Что-то видимо я так и не понял принципов индексирования.
Получается индексируется только 1\10 часть контента?
Но ведь на всех страницах разная информация.
На этом форме например поисковик гугла очень чётко находит все посты по ключевым словам в поиске.
Тоесть я так понял, что в том числе для поиска поиндексированы все страницы?

Посоветуйте пожалуйста, что почитать про механизмы и принципы индексирования. А то то что я ношол меня похоже в тупик загоняет.
У меня гугл такую картинку показывает , примерно 90% не в поиске

[Татьяна5]

Получается индексируется только 1\10 часть контента?

Нет, страница целиком. Та самая страница, на которую ведут 11 разных ссылок (на неё саму и на каждое сообщение на ней по отдельности)