Качество данных определяется пригодностью для исследовательского вопроса. Проверяют происхождение, полноту, точность, согласованность, актуальность и другие значимые свойства. Полная таблица может содержать неверные значения, а аккуратно оформленная выгрузка — повторять одни наблюдения. До анализа нужны объяснимые проверки и журнал изменений, позволяющий восстановить путь к результату.
В выгрузке нет пустых клеток, поэтому данные объявили готовыми. Позже оказалось, что отсутствие ответа заменили нулём, несколько участников попали в файл дважды, а даты относились к разным периодам. Таблица выглядела дисциплинированно. Только дисциплина была достигнута удалением информации о том, чего команда пока не знает.
Определите, какое качество требуется задаче
Начните с назначения: расчёт распределения, сравнение компаний, описание процесса или публичный вывод. Для каждой задачи существенны свои ошибки. Неточность, почти не влияющая на общий обзор, может менять вывод о маленьком сегменте. Проверки должны быть связаны с возможными последствиями, а не только с тем, что легко проверить автоматически.
Назовите единицу наблюдения и структуру набора. Человек, компания, площадка и проект могут быть разными уровнями данных. Если они смешаны, проверка дублей по одному имени не решит проблему. Также зафиксируйте допустимые значения и смысл пропусков до того, как начнёте их исправлять.
Различайте свойства качества
Полнота показывает наличие нужных сведений, но не гарантирует их правильность. Согласованность помогает выявлять противоречия внутри и между наборами. Актуальность зависит от периода и скорости изменения предмета. Проверка формата отвечает на один вопрос, проверка фактического смысла — на другой.
Не заменяйте все свойства одним процентом без объяснения. Набор может пройти техническую валидацию и остаться непригодным для требуемого вывода из-за охвата. Для команды полезнее карта конкретных ограничений и их влияния, чем общий высокий балл, который скрывает критическую слабость.
Протокол проверки исследовательского набора
Проверка: Происхождение. Что посмотреть: Откуда и по какой процедуре получено наблюдение. Как зафиксировать результат: Источник, версия и условия использования
Проверка: Пропуски. Что посмотреть: Что отсутствует и почему. Как зафиксировать результат: Отдельные статусы без подмены нулём
Проверка: Дубли. Что посмотреть: Повторяется ли одна единица. Как зафиксировать результат: Правило определения и решение
Проверка: Логика. Что посмотреть: Согласуются ли связанные поля. Как зафиксировать результат: Уточнение, исправление или ограничение
Проверка: Период. Что посмотреть: Относятся ли значения к нужному времени. Как зафиксировать результат: Даты и исключения
Проверка: Преобразования. Что посмотреть: Как изменялись исходные данные. Как зафиксировать результат: Журнал действий и воспроизводимая процедура
Как обращаться с подозрительным наблюдением
1. Сохранить исходную версию
До обработки зафиксируйте доступный исходный набор и его происхождение. Рабочая копия может меняться, но проверка должна позволять понять, каким было наблюдение до вмешательства. Доступ организуют с учётом состава данных.
2. Проверить причину
Крайнее значение может быть ошибкой, иной единицей или настоящим особым случаем. Пропуск может означать отсутствие ответа или неприменимость. Не выбирайте объяснение по тому, насколько удобно оно для будущего графика.
3. Применить согласованное правило
Исправление, исключение, отдельная категория и сохранение с ограничением имеют разные последствия. Запишите действие и основание. Для значимого спорного случая полезна дополнительная проверка ответственным специалистом.
Учебный пример: у организации указан расход в тысячи раз больше остальных. Сначала проверьте единицы и период. Если исходный документ подтверждает другую размерность, можно сделать объяснимый пересчёт. Если основание отсутствует, нельзя просто уменьшить число до приятного диапазона и забыть об этом действии.
Как проверять данные опроса
Уточните правила участия, прохождение логики и доступные признаки качества ответа. Автоматический сигнал не всегда является достаточным основанием для исключения. Необычно быстрый или однообразный ответ требует интерпретации в контексте инструмента. Слишком жёсткое правило способно удалить реальные наблюдения определённой группы.
Заранее определите порядок работы с неполным прохождением и несколькими ответами одной организации. В B2B несколько ролей могут давать разные осмысленные перспективы. Их нельзя автоматически считать дубликатами, если единица исследования — человек. Сначала вернитесь к дизайну, затем выбирайте действие.
Как проверять вторичные источники
Сверяйте определения, периоды и охват. Одна колонка «выручка» может содержать данные группы и отдельного юридического лица. Технически оба значения корректны, но сравнение без оговорки ошибочно. Аналогично несколько публикаций могут воспроизводить один исходный расчёт и не создавать независимого подтверждения.
При переносе данных сохраняйте ссылку и контекст. Проверяйте разряды, десятичные разделители и единицы. Эти простые ошибки особенно неприятны тем, что способны пройти через красивую визуализацию без сопротивления. Для ключевых входов расчётной модели нужен отдельный маршрут проверки.
Что сообщить пользователю результата
Опишите существенные проверки, исключения и оставшиеся ограничения. Покажите, как обработка повлияла на состав набора и выводы. Не нужно перегружать краткое резюме каждой технической операцией, но значимая неопределённость должна быть видна там, где принимается решение.
Назначьте ответственного за версию и исправления. Если ошибка обнаружена после публикации, зафиксируйте изменение и его последствия. Исследовательский результат становится надёжнее от возможности корректировки. Отказ замечать проблему ради сохранения прежней уверенности улучшает только историю о безошибочной работе команды.
Частые вопросы
Полная таблица означает хорошие данные?
Нет. Полнота и точность различаются. Заполненные значения могут быть ошибочными, несопоставимыми или полученными неподходящим способом.
Можно ли удалять выбросы?
Иногда обработка оправдана, но сначала нужно проверить происхождение и применить объяснимое правило. Удаление ради удобного результата не является достаточным основанием.
Нужно ли передавать заказчику все исходные данные?
Состав передачи согласуют с учётом условий исследования и доступа. При этом существенные процедуры и основания должны быть достаточно прозрачны для оценки результата.
Оставить заявку на исследование с прозрачными данными
Authority Lab помогает определить пригодные источники и правила проверки до публичного вывода. Обсудим задачу, доступный материал и ограничения, которые важно сохранить в исследовании.
Источники
Читайте также
- Сколько стоит исследование рынка для компании и за что на самом деле платят
- Аналитическая записка: структура и образец для решения руководителя
- Синтетические респонденты: что можно и нельзя узнавать о B2B-клиентах с помощью ИИ
- Анализ тендеров для исследования рынка: что можно узнать из закупочной истории