Обработка данных и прогнозирование: возможности Pandas и NumPy

Как загрузить CSV с явным указанием типов столбцов для экономии памяти?

Использование параметра dtype словарём. Код:

dtype_map = {'user_id': 'int32', 'amount': 'float32', 'category': 'category'}
df = pd.read_csv('data.csv', dtype=dtype_map)
print(df.memory_usage(deep=True).sum())

анализ больших данных python (анализ больших данных в python)

Цель: уменьшить занимаемую память, особенно при большом количестве строк. Категориальный тип category эффективен для столбцов с повторяющимися текстовыми значениями.

Как прочитать CSV с нестандартным разделителем, например точкой с запятой?

Параметр sep (разделитель). Код:

df = pd.read_csv('data_europe.csv', sep=';', decimal=',')

анализ данных python pdf (анализ данных pdf в python)

Используется, когда десятичные числа записаны через запятую (европейский формат). Параметр decimal задаёт символ десятичного разделителя.

Когда лучше удалять строки с пропусками вместо заполнения?

Метод dropna. Код:

df_clean = df.dropna(axis=0)
print('Потеряно строк:', len(df) - len(df_clean))

анализ данных с использованием python (анализ данных с использованием python)

Целесообразно, если доля пропусков мала (менее 5%) и они случайны. В противном случае теряется много данных.

Как использовать интерполяцию для временных рядов?

Метод interpolate с параметром method='linear' (по умолчанию). Код:

df_time = df.set_index('date').sort_index()
df_time['value'] = df_time['value'].interpolate()
print(df_time.head())

Python анализ текстовых данных (анализ текстовых данных в python)

Цель: заполнить пропуски между известными точками, предполагая линейное изменение. Работает, если индексы упорядочены.

Как создать сводную таблицу (pivot table) для многомерного анализа?

Функция pd.pivot_table. Код:

pivot = pd.pivot_table(df, values='sales', index='month', columns='category', aggfunc='sum', fill_value=0)
print(pivot)

библиотеки python для обработки данных (библиотеки python для обработки данных (pandas, numpy и др.))

Цель: строки - месяцы, столбцы - категории, значения - сумма продаж. fill_value=0 заменяет отсутствующие комбинации нулём.

Как применить пользовательскую функцию к каждой группе через transform?

Использование transform для создания нового столбца с результатом групповой операции. Код:

df['rank_by_category'] = df.groupby('category')['sales'].transform(lambda x: x.rank(ascending=False))
print(df[['category', 'sales', 'rank_by_category']].head())

математика и python для анализа данных (математика и python для анализа данных)

Цель: добавить столбец, содержащий ранг продажи внутри каждой категории, не уменьшая число строк.

Когда применять MinMaxScaler вместо StandardScaler?

MinMaxScaler приводит значения к диапазону [0, 1]. Код:

from sklearn.preprocessing import MinMaxScaler
scaler_mm = MinMaxScaler()
df_scaled = scaler_mm.fit_transform(df[['income']])

Python для анализа данных обучение (обучение анализу данных на python)

Цель: когда распределение не является нормальным и важно сохранить границы (например, для нейронных сетей с активацией sigmoid).

Как закодировать категориальные признаки с помощью OneHotEncoder?

OneHotEncoder создаёт бинарные столбцы для каждого уникального значения. Код:

from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder(sparse_output=False, handle_unknown='ignore')
encoded = encoder.fit_transform(df[['category']])
# Получить DataFrame с именами столбцов
import pandas as pd
encoded_df = pd.DataFrame(encoded, columns=encoder.get_feature_names_out(['category']))
df = pd.concat([df, encoded_df], axis=1).drop('category', axis=1)

Цель: преобразовать категориальные переменные в числовой формат для моделей машинного обучения. Параметр handle_unknown='ignore' позволяет не ломаться на новых категориях в тестовых данных.