Pandas в анализе данных: полное руководство с примерами

Как загрузить данные из CSV с указанием типов столбцов?

Нередко при чтении файла pandas автоматически определяет типы, но это может приводить к ошибкам (например, даты интерпретируются как строки). Лучше задать типы явно.

df = pd.read_csv('data.csv', 
                 dtype={'order_id': 'int32', 'price': 'float32'},
                 parse_dates=['order_date'],
                 index_col='order_id')

анализ больших данных python (анализ больших данных в python)

Параметр parse_dates автоматически преобразует указанные столбцы в тип datetime64. index_col делает столбец индексом DataFrame. Это ускоряет последующие операции поиска.

Цель: корректная загрузка данных с минимальными затратами памяти и временем.

Как отфильтровать строки по нескольким условиям?

Для фильтрации применяется логическая индексация. Условия объединяются операторами & (и) и | (или).

df_filtered = df[(df['age'] > 30) & (df['city'] == 'Moscow')]
# Или с помощью метода query (более читаемо для сложных выражений)
df_filtered = df.query('age > 30 and city == "Moscow"')

Python анализ данных excel (анализ данных excel в python)

Метод query принимает строку с условием, что удобно при динамическом формировании фильтра. Важно: в query названия столбцов не заключаются в кавычки, а строковые значения - в двойные кавычки (или одинарные, если внешняя строка в двойных).

Цель: быстрое извлечение подмножества данных для дальнейшего анализа.

Как объединить несколько DataFrame по ключу?

Для объединения таблиц используется merge (аналог SQL JOIN) или concat для простого склеивания по строкам/столбцам.

df1 = pd.DataFrame({'id': [1,2,3], 'name': ['A','B','C']})
df2 = pd.DataFrame({'id': [2,3,4], 'score': [90,85,70]})

# Внутреннее соединение по id
merged = pd.merge(df1, df2, on='id', how='inner')
print(merged)

# Левое внешнее соединение
merged_left = pd.merge(df1, df2, on='id', how='left')
print(merged_left)

анализ данных python pdf (анализ данных pdf в python)

   id name  score
0   2    B     90
1   3    C     85

   id name  score
0   1    A    NaN
1   2    B   90.0
2   3    C   85.0

Python анализ данных и машинное обучение (анализ данных и машинное обучение на python)

Параметр how определяет тип соединения: 'inner', 'left', 'right', 'outer'. Если ключи называются по-разному, используют left_on и right_on.

Цель: объединение разрозненных источников данных для целостного анализа.

Как обработать пропущенные значения?

Пропуски (NaN) могут мешать вычислениям. Основные стратегии: удаление строк/столбцов с пропусками или заполнение определённым значением.

# Удаление всех строк, где есть хоть один NaN
df_clean = df.dropna()

# Удаление столбцов, где более 50% пропусков
df_clean = df.dropna(thresh=len(df)*0.5, axis=1)

# Заполнение пропусков средним по столбцу
df_filled = df.fillna(df.mean())

# Заполнение вперед (ffill) - перенос предыдущего значения
df_ffill = df.fillna(method='ffill')

анализ данных с использованием python (анализ данных с использованием python)

Метод dropna() с параметром thresh позволяет гибко задавать минимальное количество не-NaN значений для сохранения. fillna() может принимать словарь {column: value} для разного заполнения.

Цель: получение полного набора данных для корректных статистических расчётов.

Как создать сводную таблицу (pivot table)?

Сводная таблица обобщает данные по индексам и столбцам с агрегацией. Аналог Excel.

pivot = df.pivot_table(
    values='revenue',
    index='region',
    columns='product',
    aggfunc='sum',
    fill_value=0
)
print(pivot)

Python анализ текстовых данных (анализ текстовых данных в python)

Параметр fill_value заменяет пропуски на указанное число (например, 0). aggfunc может быть списком для нескольких метрик.

product    Laptop  Tablet  Phone
region                          
North         100       0     50
South          50      70     30

аналитик данных python sql (аналитик данных python sql)

Цель: компактное представление многомерных данных для выявления закономерностей.

Как применить пользовательскую функцию к столбцу?

Метод apply() позволяет применить любую функцию к каждому элементу (Series) или строке/столбцу (DataFrame).

def categorize_price(price):
    if price < 50:
        return 'low'
    elif price < 150:
        return 'medium'
    else:
        return 'high'

df['price_category'] = df['price'].apply(categorize_price)
# Аналог с map (только для Series с отображением)
df['price_category_map'] = df['price'].map(lambda x: 'low' if x < 50 else ('medium' if x < 150 else 'high'))

Python библиотеки numpy и pandas (библиотеки numpy и pandas в python)

Для векторизованных операций (умножение, сложение) предпочтительнее использовать прямые арифметические операции: df['new'] = df['a'] * 2, так как они быстрее.

Цель: создание новых признаков на основе существующих.

Как работать с датами в pandas?

После преобразования столбца в тип datetime доступны атрибуты .dt.

df['date'] = pd.to_datetime(df['date'])
df['year'] = df['date'].dt.year
df['month_name'] = df['date'].dt.month_name(locale='Russian')
df['weekday'] = df['date'].dt.dayofweek  # 0=Monday

# Фильтрация по диапазону
mask = (df['date'] >= '2023-01-01') & (df['date'] <= '2023-12-31')
df_2023 = df.loc[mask]

pd.to_datetime() может автоматически распознавать множество форматов дат. Для неудачных парсингов существует параметр errors='coerce', который заменяет некорректные значения на NaT.

Цель: анализ временных рядов, трендов, сезонности.