[FAQ] Проблема с UTF8

[volset]

Иногда вместо текста отображаются ?????
Ключевое слово здесь иногда

Вот пациент http://www.astra-club.org.ua
Для того что бы отловить баг надо несколько раз нажимать кнопку обновить до появления бага.
От браузера независит так как знаки "??????" уже приходят с сервера.
Текст который читается з базы отображается всегда нормально.
PHP Version 5.2.1

Возможное решение:
В корневой директории форума создайте файл .htaccess со следующим содержанием:
.htaccess

Код: Выделить всё

CharsetDisable On
CharsetDefault UTF-8
CharsetSourceEnc UTF-8

или

Код: Выделить всё

AddDefaultCharset UTF-8

[rxu]

15552
По проблемам с кодировкой есть FAQ-тема http://phpbbguru.net/community/viewtopi ... 735#194735 (на этой странице и раньше обсуждается то же самое.)

Добавлено спустя 15 минут 42 секунды:

Чему равно значение memory_limit в конфигурации PHP?

[15552]

да, я там сначала пролистал первые страницы и не нашёл своей проблемы, но сейчас перечитал тему полностью - моя проблема аналогична проблеме MDD, даже хостер один и тот же

Configuration
PHP Core
memory_limit 32M (local/master)

пока задизаблил utf8_normalize_nfc, посмотрим, что будет

Добавлено спустя 38 секунд:

возможно имеет смысл приклеить к тому топу мой...

[15552]

извиняюсь, что сразу не заметил этой темы...

http://phpbbguru.net/community/viewtopic.php?t=20578 (перенесите посты сюда)

наверное будет интересно для статистики - моя проблема полностью аналогична проблеме MDD, даже хостер тот же, но у меня такая ошибка и на локалхосте вроде возникала

[rxu]

memory_limit 32M

Попробуйте сделать 128M, верните на место utf8_normalize_nfc и протестируйте.

[15552]

в принципе попробую, но у меня эта проблема возникает крайне редко...

Добавлено спустя 12 минут 24 секунды:

возможно я что-то не правильно делаю, но пишу в .htaccess

php_value memory_limit 128M

параметры в конфигурации не изменяются

[rxu]

Возможно, такой трюк не разрешен хостером, спросите у него, как лучше изменить этот параметр.

[15552]

отзвонил им - для моего тарифа не предусмотрено

[Merlin]

15552
Нас уже больше =)

rxu
Проверил у себя с memory_limit - не помогает. Пока что единственное решение комментить функцию. Правда сделали определенные тесты - сейчас работает апач 1.3.41 + mod_php 5.2.5 - в такой конфигурации глюк проявляется. В качестве теста запустили nginx с тем же php, но в режиме cgi - глюка нету... Теперь еще попытаемся проверить apache 1.3.41 + php + fast_cgi.

[rxu]

А если ещё увеличить выделяемую память? Просто есть подозрение, что скрипту, по какой-то причине (возможно, при определенной, пока невыясненной точно конфигурации сервера), этой памяти не хватает, и он не отрабатывает как следует.

[Selestris]

Столкнулся с такой проблемой. Сообщения, содержащие символы ряда европейских языков (чешского, греческого и др.) отображаются на форуме нормально. Но вот в таблице _search_wordlist (поисковый индекс) вместо нестандартных символов идут знаки вопроса. И из-за этого невозможно восстановить базу данных из дампа - выдаётся сообщение Duplicate entry '????????' for key 2 для данной таблицы. И это при том, что для полей этой таблицы указано сравнение utf-8-bin. С phpbb2 такой проблемы вообще не возникало. Есть ли какой-то способ адекватно закодировать нестандартные символы других языков (не кириллица и не латиница) или вообще не включать их в поисковый индекс ?

[rxu]

При восстановлении не нужно включать в дамп поисковые таблицы. Вырезайте их содержимое из дампа и восстанавливайте, потом переиндексируйте.

[Selestris]

Можно, конечно, но хлопотно. Вручную вырезать поисковые индексы из дампа, потом ещё затрачивать много времени на их восстановление. С кодировкой windows-1251 было куда как проще.

[rxu]

С кодировкой 1251 было ровно то же самое.
Хлопотного тут мало. Либо не включать в дамп контент этих таблиц, либо вырезать из дампа - пятиминутное дело.
Время на переиндексацию, думаю, сравнимо со временем, которое вы потратите на восстановление поисковых таблиц из дампа, т.к. они занимают его подавляющую долю.

[Selestris]

Нет, с кодировкой 1251 не было ничего подобного. Нестандартные символы кодировались в сообщениях типа &#251 и т.д., и в поисковый индекс не включались. А в phpbb3 они в таблице постов лежат в Юникоде, как и должно быть, и отображаются нормально. И только в поисковом индексе почему-то допутимы только кириллица и латиница. Никакой логики. Может быть, в базе данных нужно поменять какие-то установки ? Но там и так сравнение utf-8-bin. Совершенно непонятна причина, почему в одной таблице символы нормально закодированы, а другой - знаки вопроса.

Конечно, поисковые индексы можно вручную вырезать из дампа. Но время на переиндексацию несопоставимо со временем восстановления базы данных из дампа. Восстановление из дампа - несколько секунд, реиндексация поисковых таблиц - несколько часов.

[rxu]

Восстановление из дампа - несколько секунд

И какого размера этот дамп?