Получение информации для анализа в Pandas

Расширенные примеры работы с загрузкой данных

Ниже приведены продвинутые сценарии, которые часто встречаются на практике.

Чтение CSV с нестандартными параметрами

import pandas as pd

df = pd.read_csv(
    'data.tsv',
    sep='\t',          # табуляция как разделитель
    encoding='cp1251', # кодировка Windows
    header=0,          # первая строка - заголовок
    names=['col1','col2','col3'],  # переопределить заголовки
    dtype={'col1': str, 'col2': float},  # явный тип столбцов
    parse_dates=['date_column'],   # преобразовать в datetime
    na_values=['NA', 'N/A', 'None']  # значения, которые считать пропущенными
)
print(df.info())

RangeIndex: 1000 entries, 0 to 999
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   col1    1000 non-null   object
 1   col2    980 non-null    float64
 2   date_column 1000 non-null  datetime64[ns]

Этот пример демонстрирует тонкую настройку: указание разделителя, кодировки, типов данных и обработки пропусков.

Чтение больших CSV файлов по частям (chunksize)

chunk_iter = pd.read_csv('huge_file.csv', chunksize=10000)
for chunk in chunk_iter:
    # обработка каждой части
    print(chunk.shape)

Использование chunksize возвращает итератор, что позволяет обрабатывать файл, не загружая его полностью в память.

Загрузка данных из буфера (StringIO)

from io import StringIO

data = """name,age,city
Alice,30,New York
Bob,25,Boston
"""
df = pd.read_csv(StringIO(data))
print(df)

    name  age      city
0  Alice   30 New York
1    Bob   25   Boston

Метод удобен для тестирования или когда данные уже находятся в строковой переменной.

Чтение нескольких файлов и объединение

import glob

all_files = glob.glob('data/*.csv')
df_list = [pd.read_csv(f) for f in all_files]
df_all = pd.concat(df_list, ignore_index=True)
print(df_all.shape)

Применяется, когда данные распределены по множеству однотипных файлов.

Загрузка данных из Google Sheets

# Необходимо опубликовать таблицу и получить CSV ссылку
url = 'https://docs.google.com/spreadsheets/d/.../export?format=csv'
df = pd.read_csv(url)
print(df.head())

Этот способ позволяет получать данные из облачных таблиц без использования API.

Чтение данных из ZIP-архива

import zipfile

with zipfile.ZipFile('data.zip') as z:
    with z.open('file.csv') as f:
        df = pd.read_csv(f)
print(df.head())

Позволяет читать CSV напрямую из архива без предварительного извлечения.

Использование read_sql с параметрами

engine = create_engine('postgresql://user:pass@localhost/db')
params = {'region': 'East'}
df = pd.read_sql('SELECT * FROM sales WHERE region = :region', engine, params=params)
print(df.head())

Параметризация предотвращает SQL-инъекции и улучшает читаемость.

Нормализация вложенного JSON

import pandas as pd

data = [
    {'id': 1, 'info': {'name': 'Alice', 'age': 30}},
    {'id': 2, 'info': {'name': 'Bob', 'age': 25}}
]
df = pd.json_normalize(data, sep='_')
print(df)

   id  info_name  info_age
0   1      Alice        30
1   2        Bob        25

Функция json_normalize разворачивает вложенные структуры в плоский DataFrame.