Удаляем дубликаты в Excel: задачи маркетолога и порядок работы

Где: вкладка «Данные» → «Удалить дубликаты». Выбираете столбцы, по которым считать строки одинаковыми.

Когда использовать: разовая чистка небольшой таблицы, когда исходник не нужен.

Осторожно: функция удаляет безвозвратно и оставляет первую встретившуюся строку. Если важно, какая именно останется — сначала отсортируйте так, чтобы нужная была сверху.

Правило: всегда работать на копии листа.

Где: «Главная» → «Условное форматирование» → «Правила выделения ячеек» → «Повторяющиеся значения».

Когда: когда нужно сначала посмотреть, что именно дублируется, и решить, что с этим делать. Для клиентских баз это обязательный шаг перед удалением.

Главное преимущество перед кнопкой: исходник не трогается, а результат пересчитывается сам при обновлении данных.

Приём: вторая формула помечает вторые и последующие вхождения, оставляя первое чистым, — удобно, когда нужно удалить только повторы.

Самый важный и самый пропускаемый шаг. Строки «Иванов И.И.» и «иванов и.и. » — разные для Excel, хотя это один человек. Перед любой чисткой данные приводят к единому виду.

Порядок: нормализуем в новом столбце → ищем дубли по нему → удаляем строки → исходные данные остаются нетронутыми.

Где: «Данные» → «Получить данные» или «Изменить данные» → выделить столбцы → «Удалить дубликаты» → «Закрыть и загрузить».

Главное преимущество: все шаги сохраняются как запрос. В следующем месяце вы вставляете новую выгрузку и нажимаете «Обновить» — чистка выполняется автоматически, вместе с нормализацией, фильтрами и переименованием столбцов.

Когда: любая задача, которая повторяется. Для еженедельных отчётов и ежемесячных выгрузок это экономит часы.

Иногда дубли — это не мусор, а данные: сколько раз обращался клиент, сколько раз встречается запрос. Сводная таблица показывает количество повторов, не трогая исходник.

Когда: перед чисткой, чтобы понять масштаб, и в задачах, где повторы сами по себе информация.

Работает так же: «Данные» → «Очистка данных» → «Удалить дубликаты», а формулы UNIQUE, COUNTIF и SORT идентичны. Плюс функция QUERY для сложных выборок.

Когда предпочтительнее: совместная работа над базой и регулярное обновление данных из форм.

Задача: выгрузить базу купивших для загрузки в рекламный кабинет.

Порядок: нормализовать телефоны (только цифры, единый формат с кодом страны) и email (нижний регистр, без пробелов) → удалить дубли по телефону, затем по email → исключить тех, кто есть в списке отписавшихся → проверить, что осталось не меньше минимального размера аудитории для площадки.

Почему это важно: look-alike строится на качестве исходной выборки. Три записи одного человека искажают портрет, по которому алгоритм ищет похожих.

Задача: из выгрузки Wordstat и парсера получить ядро без повторов и пересечений.

Порядок: привести фразы к нижнему регистру и убрать лишние пробелы → удалить точные дубли → проверить дубли по нормализованной форме (порядок слов и словоформы) → развести пересекающиеся запросы по группам, чтобы объявления не конкурировали между собой.

Эффект: ниже цена клика за счёт устранения внутренней конкуренции и корректный показатель качества.

Задача: посчитать реальное количество обращений за месяц.

Порядок: собрать выгрузки из CRM, формы сайта и коллтрекинга в один лист с колонкой «источник» → нормализовать телефоны → пометить дубли формулой, не удаляя → для каждого дубля оставить запись с первым по времени контактом, чтобы источник засчитался верно → посчитать реальную стоимость заявки.

Частая находка: реальных обращений на 15–25% меньше, чем в сумме отчётов, а значит стоимость заявки выше, чем считали.

Задача: из выгрузок Ahrefs и биржи получить список площадок без повторов.

Порядок: из каждой ссылки вытащить домен формулой → привести к нижнему регистру, убрать www → удалить дубли по домену → сверить со списком площадок, где вы уже размещались.

Эффект: не платите дважды за один сайт и видите реальный охват площадок.

Задача: собрать список кандидатов на интеграции из нескольких источников.

Порядок: нормализовать имена аккаунтов (нижний регистр, без символа @ и ссылки) → удалить дубли → пометить тех, с кем уже работали, и результат сотрудничества.

Главное, чего не умеет Excel: «ООО Ромашка», «Ромашка ООО» и «ромашка, ооо» — для функции это три разные строки, для нейросети — одна компания. Загружаете список и просите сгруппировать записи, которые с высокой вероятностью относятся к одному объекту, с указанием уверенности.

Телефоны в пяти форматах, имена с опечатками, адреса в свободной форме. Модель приводит к единому виду за минуту вместо цепочки вложенных формул — и объясняет, что именно изменила.

«Дай формулу, которая помечает дубли по паре телефон + email с учётом разных форматов записи» — готовый ответ с объяснением. Для больших файлов — скрипт на Python, который сделает то же с миллионом строк.

Загружаете фрагмент и спрашиваете, какие повторы здесь мусор, а какие — данные. Полезно в базах, где несколько покупок одного клиента — это не дубль, а история.

Отдавать модели файл с персональными данными без обезличивания и принимать результат без проверки. Обязательная проверка после любой чистки: число строк до и после, три случайные строки вручную, и сверка итоговой суммы, если в таблице есть деньги.