Глючит форум при копировании текстов из ВКонтакте

[Alice]

В форуме http://transalternativa.ru обнаружилась следующая проблема: когда пользователи пытаются скопировать в сообщение текст из ВКонтакта, в котором содержится ВКонтаковский смайлик, скопированный и вставленный текст видно в окне набора сообщений, а также в предпросмотре, сообщение со скопированным текстом отправляется, форум пишет, что сообщение успешно отправлено, плюсует к счетчику сообщений + 1, но сообщение не появляется в форуме нигде.
Если сразу после попытки размещения такого сообщения провести синхронизацию статистики и счетчиков сообщений, то сообщений становится на -1 меньше.
В многостраничной теме, где пытались разместить такое сообщение, возникают ошибки при нажатии кнопки спасибо, а также иконки ссылок на сообщение - при нажатии на такие кнопки происходит "перебрасывыание" на предыдущую страницу. После синхронизации статистики и счетчиков сообщений ошибка не пропадает.

Также замечено, что при копировании текста из ВКонтакта, содержащего ВКонтактовский смайл, в окно набора сообщений вставляется альтернативный текст к этому смайлику - символ, который отображается с помощью шрифта Segoe UI Symbol.
Если пользователь уберет этот смайл, то сообщение со скопированным из ВКонтакта текстом разместится нормально.
Если поленится убрать - то возникнут вышеописанные глюки.

помогите, пожалуйста, разобраться, в чем дело, и решить проблему.
Я так понимаю, форумская база данных не может правильно переварить скармливаемые ей коды спецсимволов. И надо сделать что-то, чтобы при отправке сообщения эти спецсимволы выхеривались из текста сообщения.

Автор не может молчать 13 минут 37 секунд и добавляет ...

Ровно такая же проблема наблюдается и в этом форуме.
Я попыталась в этой теме скопировать в окно набора сообщений текст из вконтакта со смайлом, и отправить сообщение.
И произошло ровно тоже самое, что я описала выше - форум написал, что сообщение успешно отправлено, но в теме оно не появилось.

Скрины и ссылка, что копировала, и что происходило.
Пост из ВКонтакта с копируемым текстом: https://vk.com/wall-150649024_34099
Исходный код смайла, как он отображается в моем браузере:

Копипаста фрагмента текста со смайлом в МС-ворд, ворд отобразил символ с помощью шрифта Segoe UI Symbol:

Скрины с форума техподдержки, что было видно в окне набора сообщения и в предпросмотре до отправки сообщения:




Автор не может молчать 39 минут 2 секунды и добавляет ...

Вот, если как-то поможет разобраться, в чем проблема, символ актерского искусства по таблице символов юникода:
https://unicode-table.com/ru/1F3AD/
Performing Arts. Номер в Юникоде U+1F3AD

Автор не может молчать 10 часов 39 минут 35 секунд и добавляет ...

К изучению глюка подключились админы еще одного форума на этом хостинге - staro.ekafe.ru
Они обнаружили, что при размещении сообщения, содержащего в тексте все тот же символ, в их форуме описанная выше ошибка повторяется.
Кроме того, если начать тему с такого сообщения, то она будет видна в списке тем, но при переходе в эту тему выдается сообщение "запрощенной темы не существует". http://transalternativa.ru/viewtopic.ph ... 89#p325389
Я повторила эксперимент в форуме техподдержки. Точно такая же ошибка вылезла. Сейчас эту тему под названием "Эксперимент. Глючная тема с символом в 1-м сообщении" можно увидеть в списке активных тем, но зайти в тему невозможно.

Т.е. ошибки при обработке сообщений, в тексте которых встречаются символы. носят массовый характер, и повторяются даже в форуме техподдержки.

пожалуйста, помогите эти ошибки исправить.

Автор не может молчать 2 дня 4 часа 23 минуты 48 секунд и добавляет ...

Спасибо включенному здесь без ограничений по времени моду антидаблпост, который превращает первое сообщение в простыню.
Мне удалось "починить" тему, ссылки на которую я тут давала, вот таким идиотским способом:
http://transalternativa.ru/viewtopic.ph ... 00#p325400

Однако, это не решает проблему на будущее. Если по невнимательности или из вредности пользователь разместит в какой-то из тем сообщение с символом, который форум почему-то обрабатывает криво, ошибка повторится опять.
Сервису для разбирательства, в чем дело, остается на память глючная тема.

И списочек ошибок, которые возникают в темах, когда пользователь пытается разместить в них сообщения:
1. перестают корректно работать иконки со ссылками на сообщение - в многостраничной теме перебрасывает на предыдущую страницу, в одностраничной - нажатие на кнопку возвращает ссылку на другое сообщение в теме.
2. перестают корректно работать кнопки "спасибо" и "правка", эффект такой же, как описан в п. 1
3. если сообщение с неправильно обработанным символом в теме первое и единственное - тема видна в списке тем, в последних сообщениях, но при этом зайти в нее невозможно, выдается сообщение "запрошенное темы не существует".
4. если сообщение с неправильно обработанным символом в теме последнее - тема "поднимается" в списке тем, ник пользователя, "апнувшего" тему отображается в списке, однако, клик в списке тем по иконке последнего сообщения ведет не к последнему сообщению, а к первому сообщению темы.

[Marina-Helena]

Наш форум прям полигон по выявлению глюков.

[CornerAdmin]

Эти глюки не связаны с нашим "полигоном", вернее они не связаны с сервисом отчасти.
Вся проблема заключается в устаревшем, уже устаревшем на две версии, форумном движке. Эти символы называются emoji и их поддержка появилась только в 3.2 версии.

зы. Странно только что форум проглатывает такие сообщения, вроде должна быть SQL ошибка... Может быть сервис так настроен, не знаю.

[Alice]

транно только что форум проглатывает такие сообщения, вроде должна быть SQL ошибка... Может быть сервис так настроен, не знаю.

А можно как-то программно убрать эти символы в момент отправки сообщения?
Я нашла кривой, но работающий способ "починить" темы, про которые известно, что в них попали сообщения с символами, предупредила пользователей, чтобы были внимательны при постинге и убирали символы, попадающие в окно набора при копировании текстов с других ресурсов, но это ведь не нормальное решение вопроса...
Пользователь может не заметить злополучный символ или отправлять сообщения с символами злонамеренно, чтобы добавить админам форума работы.

[CornerAdmin]

Можно даже заставить их отображаться. В условиях своего сервера/хостинга эта процедура займёт пять минут. В условиях сервиса форумов? Не знаю...

О том, как можно это всё поправить.
На нашем сервисе версия MySQL 5.5.37, а это значит, что он может обработать 4-байтовый символ UTF-8. А emoji это как раз 4 байта на символ. Поддержка этого стандарта начинается с 5.5.3 версии MySQL. Это означает, что нам везёт и этот "баг" (теоретически) можно исправить.
Для исправления нужно преобразовать таблицы баз данных (тут нужен phpmyadmin) в utf8mb4 (по умолчанию используется utf8_bin) и включить поддержку в одном из файлов php.

Опишу порядок, мало ли. Вдруг это осуществимо на уровне сервиса форумов.

Выполнить SQL-запрос:

Код: Выделить всё

ALTER TABLE `phpbb_posts` CHANGE `post_text` `post_text` MEDIUMTEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL;

После данной процедуры форум будет обрабатывать emoji, но не отображать их в постах. Чтобы они отображались в постах надо проделать следующую правку.

Открыть includes/db/mysqli.php, найти:

Код: Выделить всё

@mysqli_query($this->db_connect_id, "SET NAMES 'utf8'");

и вот здесь utf8 поменять на utf8mb4.
Теперь символы будут и обрабатываться и отображаться в сообщениях.

[Alice]

Да ладно. Жили без символов эмоджи, и дальше можно было бы без них обойтись, лишь бы форум не глючил, когда пользователь пытается запостить сообщение с символом.
а это дюже нудный процесс "чинить" заглючившие от "сообщений-невидимок" темы.

[GoDFaTHeR]

будем разбираться

[Alice]

будем разбираться

Спасибо.
Когда закончите разбираться, сообщите, пожалуйста, о результатах.