Обработка табличных данных – это один из самых распространённых и полезных способов применения машинного обучения. Большинство данных, с которыми работают компании, представлены в виде таблиц: финансовые показатели, медицинские записи, информация о клиентах, данные о продажах и т. д.
В этом занятии мы разберём ключевые задачи машинного обучения для табличных данных, поймём разницу между классификацией и регрессией, посмотрим примеры реального использования и разберём основные этапы подготовки данных перед анализом.

Классификация и регрессия: что это такое и в чём разница?

Все задачи машинного обучения на табличных данных можно разделить на два больших класса:

1. Классификация
Это задачи, в которых модель предсказывает категориальный (дискретный) ответ. Например:

• Финансы: Является ли клиент банка потенциальным мошенником? (Да/Нет)
• Медицина: Есть ли у пациента заболевание по его анализам? (Болезнь A / Болезнь B / Нет болезни)
• Рекрутинг: Подходит ли кандидат на вакансию? (Высокая вероятность / Средняя / Низкая)

В классификации модель учится различать группы объектов и правильно относить их к одной из заранее определённых категорий.

2. Регрессия
Это задачи, в которых модель предсказывает непрерывное (числовое) значение. Например:

• Недвижимость: Сколько будет стоить квартира в следующем году?
• Производство: Сколько часов проработает двигатель до поломки?
• Маркетинг: Какой будет выручка компании в следующем месяце?

В регрессии модель учится находить закономерности в данных и делать количественные прогнозы.
Основное различие
Классификация отвечает на вопрос "Что это?" (категория), а регрессия – "Сколько?" (числовое значение).

Где применяется анализ табличных данных?

Обработка табличных данных используется во многих сферах. Рассмотрим несколько примеров.

1. Оценка стоимости квартир (Регрессия)
В сфере недвижимости машинное обучение помогает прогнозировать стоимость объектов.
Пример:

• Данные: Площадь квартиры, количество комнат, этаж, район, наличие ремонта.
• Цель: Предсказать стоимость квартиры на основе этих параметров.

2. Предсказание поломок оборудования (Регрессия)
В промышленности анализ табличных данных помогает заранее выявлять возможные поломки.
Пример:

• Данные: Температура двигателя, уровень вибрации, количество моточасов, возраст оборудования.
• Цель: Определить, через сколько дней может выйти из строя оборудование.

3. Выявление мошенничества в банках (Классификация)
Банки используют машинное обучение для обнаружения подозрительных транзакций.
Пример:

• Данные: Сумма платежа, местоположение, время, частота операций клиента.
• Цель: Определить, является ли транзакция мошеннической (Да/Нет).

4. Оценка риска дефолта клиента (Классификация)
Банки и микрофинансовые организации используют модели машинного обучения для анализа кредитоспособности клиентов.
Пример:

• Данные: Доход клиента, кредитная история, возраст, наличие задолженностей.
• Цель: Предсказать, есть ли риск, что клиент не выплатит кредит.

Как видно, машинное обучение на табличных данных позволяет решать реальные бизнес-задачи и оптимизировать процессы в самых разных отраслях.

Как работают ML-модели: общее представление

Чтобы создать модель машинного обучения, нужно пройти несколько шагов.

1. Сбор данных
Сначала мы собираем данные, которые будем анализировать. Например, если мы хотим предсказывать стоимость квартир, нам нужны реальные данные о ценах, метраже, районе и других характеристиках жилья.

2. Подготовка данных
Перед обучением модели данные нужно подготовить. Это включает:

• Заполнение пропущенных значений.
• Преобразование категориальных признаков (например, названия районов в числовой формат).
• Масштабирование данных (например, чтобы цены и площади были в одном масштабе).

3. Выбор алгоритма и обучение модели
В зависимости от задачи (классификация или регрессия) выбираем подходящий алгоритм, например:

• Для классификации: логистическая регрессия, деревья решений, нейросети.
• Для регрессии: линейная регрессия, градиентный бустинг.

После выбора алгоритма модель обучается на подготовленных данных.

4. Оценка модели
После обучения важно проверить, насколько хорошо модель работает. Это делается с помощью тестовых данных, которые не использовались во время обучения.

5. Развёртывание и использование модели
Если модель показала хорошие результаты, её можно интегрировать в реальный продукт, например, в банковскую систему для проверки кредитоспособности клиентов или в приложение для прогнозирования цен на недвижимость.

Основные этапы обработки табличных данных перед анализом

Перед тем как передавать данные в модель, их необходимо подготовить.

1. Очистка данных

• Удаление или заполнение пропущенных значений.
• Удаление дубликатов.
• Исправление ошибок в данных.

2. Преобразование категориальных признаков
Модели машинного обучения работают с числами, поэтому текстовые данные (например, названия городов) нужно преобразовать. Это можно сделать с помощью Label Encoding или One-Hot Encoding (OHE).

3. Масштабирование числовых данных
Числовые признаки, такие как зарплата или площадь квартиры, могут иметь разные диапазоны. Чтобы модель не путалась, их масштабируют с помощью StandardScaler или MinMaxScaler.

4. Работа с текстовыми данными
Если в табличных данных есть текст (например, отзывы клиентов), его можно представить в виде чисел с помощью Bag-of-Words или TF-IDF.

5. Разделение данных на обучающую и тестовую выборки
Чтобы проверить, насколько хорошо работает модель, данные делят на две части:

• Обучающая выборка – данные, на которых модель будет обучаться.
• Тестовая выборка – данные, на которых модель будет проверяться.

Эти этапы помогают улучшить качество модели и избежать ошибок в предсказаниях.


В этом занятии мы разобрали, какие задачи решает машинное обучение на табличных данных, и какие примеры использования встречаются в реальном мире. Мы также познакомились с основными этапами подготовки данных перед анализом.
В следующих занятиях мы углубимся в предобработку данных, работу с классическими ML-алгоритмами и нейросетями, а также разберём AutoML – инструменты для автоматического подбора моделей.