Кодовая таблица: что это и где маркетолог с ней сталкивается

Классика: выгрузили отчёт из Яндекс Директа или CRM, открыли двойным щелчком в Excel — вместо русских слов «Ð¿Ñ€Ð¸Ð²ÐµÑ‚» или «ïðèâåò». Данные целы, просто Excel угадал кодировку неверно.

Как починить: не открывать файл двойным щелчком. В Excel: «Данные» → «Получить данные» → «Из текстового/CSV-файла» → в окне импорта выбрать кодировку UTF-8 и разделитель. В Google Таблицах проблема возникает реже: импорт распознаёт UTF-8 сам.

Профилактика: при выгрузке выбирать формат CSV UTF-8, если кабинет спрашивает.

Как выглядит: вместо текста на странице набор символов. Причина — несовпадение объявленной и реальной кодировки файла или базы данных.

Что проверить: объявлена ли кодировка в коде страницы, в какой кодировке сохранены файлы шаблона и в какой лежит база данных. Все три должны быть UTF-8.

Частый случай: сайт перенесли на другой хостинг, база выгрузилась в одной кодировке, а импортировалась в другой — русские тексты превратились в мусор во всей базе сразу.

Проблема: кириллица в URL кодируется процентами и превращается в нечитаемую строку, которая ломается при копировании и в некоторых сервисах статистики режется.

Правило: в UTM только латиница, нижний регистр, подчёркивание или дефис вместо пробелов. Это заодно избавляет от ситуации, когда «Весенняя» и «весенняя» попадают в отчёт как два разных источника.

Проблема: в теме письма или в тексте вместо букв вопросительные знаки или квадраты. Чаще всего страдают тема письма, имена в персонализации и специальные символы — тире, кавычки, эмодзи.

Что делать: проверять кодировку шаблона и тестировать письмо на трёх-четырёх почтовых клиентах до отправки на базу. Особое внимание к длинному тире, типографским кавычкам и символам валют — они ломаются первыми.

Проблема: фид в неверной кодировке отклоняется площадкой целиком или загружается с искажёнными названиями товаров. В Merchant Center и товарных кампаниях это выглядит как массовое отклонение позиций без понятной причины.

Что делать: фид всегда в UTF-8 без BOM; после генерации открыть файл текстовым редактором и убедиться, что русские названия читаются.

Проблема: загружаете список для look-alike или рассылки, а имена и адреса приходят искажёнными. Хуже: часть строк отбраковывается, и вы не понимаете почему.

Что делать: сохранять файл как CSV UTF-8, проверять первые десять строк после загрузки и сверять количество импортированных записей с исходным.

Нюанс: эмодзи существуют только в Unicode. В системах, работающих со старыми кодировками, они превращаются в квадраты. Плюс часть рекламных площадок сама фильтрует эмодзи в объявлениях.

Практика: проверять предпросмотр объявления, а не полагаться на то, как символ выглядит в вашем редакторе.

Поддерживает все языки мира, включая кириллицу, эмодзи и спецсимволы; на латинице занимает столько же места, сколько старые однобайтные кодировки. Это стандарт для сайтов, выгрузок, баз данных и писем — во всех случаях, без исключений.

Важно: совет «для русского текста на Windows используйте Windows-1251» устарел больше десяти лет назад. Сегодня это прямой путь к проблемам при любом обмене данными.

BOM — служебные байты в начале файла. Excel в старых версиях без них не распознавал UTF-8, поэтому появилась привычка сохранять с BOM. Обратная сторона: многие системы — фиды, импорты, скрипты — видят эти байты как мусор в первой ячейке.

Правило: для фидов, импортов и веба — без BOM; если Excel упорно показывает иероглифы, импортируйте через «Получить данные», а не добавляйте BOM.

Старые однобайтные кодировки для кириллицы. Встречаются в наследуемых системах, выгрузках из старых учётных программ и на сайтах, сделанных больше десяти лет назад.

Что делать: не использовать в новых проектах, а при получении такого файла — перекодировать в UTF-8 до начала работы, а не пытаться работать с ним как есть.

ASCII — базовый набор из латиницы, цифр и знаков препинания, основа всех современных кодировок. Unicode — универсальный стандарт, где каждому символу любого языка присвоен свой номер; UTF-8, UTF-16 и UTF-32 — разные способы записать эти номера в файл.

Для маркетолога: достаточно помнить, что UTF-8 — практическая реализация Unicode и именно её нужно выбирать.

Отдельный слой, о котором забывают: сайт может объявлять UTF-8, а база хранить данные в другой кодировке. При переносе или обновлении это вскрывается сразу и во всём контенте.

Что проверить с разработчиком: кодировку базы, таблиц и соединения — все три должны быть согласованы.

Открыть файл в текстовом редакторе, который показывает кодировку в строке состояния, — Notepad++, Sublime Text, VS Code. Там же она меняется через «преобразовать в UTF-8».

В редакторе выбрать «преобразовать в UTF-8», а не «сохранить как UTF-8»: второе иногда сохраняет уже испорченные символы. Если текст уже превратился в мусор, перекодировка его не восстановит — нужен исходный файл.

«Данные» → «Получить данные» → «Из текстового/CSV-файла» → выбрать источник данных «Юникод (UTF-8)» и нужный разделитель → «Загрузить». Двойной щелчок по файлу использовать нельзя: Excel угадывает кодировку и часто ошибается.

В коде страницы должна быть объявлена кодировка UTF-8, заголовок сервера должен отдавать её же, файлы шаблона и база — в том же виде. Проверяется инструментами разработчика в браузере: вкладка сети, заголовок ответа.

Если данные уже сохранены в неверной кодировке, иногда помогает обратное преобразование через специализированные сервисы-декодеры или скрипт. Но гарантий нет, а при двойной перекодировке часть символов теряется безвозвратно. Единственная надёжная страховка — сохранять исходник до любых преобразований.

Вставляете кусок испорченного текста и просите определить, из какой кодировки в какую его неверно прочитали, и вернуть исходный вид. Для коротких фрагментов работает лучше ручного перебора.

«Напиши скрипт на Python, который прочитает все CSV в папке в кодировке Windows-1251 и сохранит в UTF-8 без BOM, с логом ошибок» — готовое решение за минуту вместо ручной работы с сотней файлов.

Неразрывные пробелы, невидимые управляющие символы, разные виды тире и кавычек — то, что ломает импорты и сравнение строк. Модель находит и приводит к единому виду.

Список кириллических названий кампаний на входе — корректная латиница на выходе, единым образом, без разнобоя в написании.

Загружать в модель большие файлы с персональными данными ради перекодировки — для этого есть локальные инструменты. И принимать результат без проверки: сверяйте количество строк и несколько случайных значений.