Работа с CSV файлами на Python: от основ до продвинутых техник

Расширенные примеры работы с CSV

Пример 1. Чтение CSV с кастомным диалектом и обработка кавычек

Иногда файлы используют нестандартные правила экранирования. Модуль csv позволяет создавать собственный диалект.

import csv

csv.register_dialect('mydialect',
                     delimiter='|',
                     quotechar='"',
                     doublequote=True,
                     skipinitialspace=True,
                     lineterminator='\n',
                     quoting=csv.QUOTE_MINIMAL)

with open('custom.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f, dialect='mydialect')
    for row in reader:
        print(row)

['Имя', 'Возраст', 'Город']
['Анна', '25', 'Москва']

Пример 2. Объединение нескольких CSV файлов

Сценарий, когда нужно объединить файлы с одинаковой структурой. Используется модуль csv или pandas.

import csv
import glob

header_written = False
with open('merged.csv', 'w', newline='', encoding='utf-8') as out:
    writer = csv.writer(out)
    for filename in glob.glob('data_*.csv'):
        with open(filename, 'r', encoding='utf-8') as f:
            reader = csv.reader(f)
            header = next(reader)
            if not header_written:
                writer.writerow(header)
                header_written = True
            for row in reader:
                writer.writerow(row)

(merged.csv содержит все строки из data_1.csv, data_2.csv, ...)

Пример 3. Преобразование типов данных при чтении

Модуль csv читает всё как строки. Для численных преобразований можно применить map или pandas.

import csv

with open('data.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    header = next(reader)
    rows = []
    for row in reader:
        name = row[0]
        age = int(row[1]) if row[1].isdigit() else None
        city = row[2]
        rows.append((name, age, city))
print(rows)

[('Анна', 25, 'Москва'), ('Петр', 30, 'Санкт-Петербург')]

Пример 4. Обработка CSV с пропущенными значениями в pandas

Pandas автоматически распознаёт NaN. Можно задать список значений, которые считать пропущенными.

import pandas as pd

df = pd.read_csv('missing.csv', na_values=['NA', 'N/A', ''])
print(df.isnull().sum())
df_filled = df.fillna({'Возраст': df['Возраст'].median(), 'Город': 'Неизвестно'})
df_filled.to_csv('filled.csv', index=False)

Имя       0
Возраст   2
Город     1

Пример 5. Запись CSV с использованием разных форматов кавычек

Параметр quoting определяет, когда ставить кавычки: csv.QUOTE_ALL - оборачивать все поля, csv.QUOTE_NONNUMERIC - только нечисловые.

import csv

rows = [['Анна', 25, 'Москва'], ['Петр', 30, 'Санкт-Петербург']]
with open('quoted.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f, quoting=csv.QUOTE_ALL)
    writer.writerows(rows)

"Анна","25","Москва"
"Петр","30","Санкт-Петербург"

Пример 6. Сортировка строк CSV по столбцу без загрузки всего файла в память

Для больших файлов можно использовать внешнюю сортировку или модуль csv с временными файлами. Ниже упрощённый вариант с pandas в режиме chunksize.

import pandas as pd

chunks = pd.read_csv('large.csv', chunksize=10000, encoding='utf-8')
sorted_chunks = [chunk.sort_values('Возраст') for chunk in chunks]
sorted_df = pd.concat(sorted_chunks).sort_values('Возраст')
sorted_df.to_csv('sorted.csv', index=False)

(файл sorted.csv содержит строки, упорядоченные по возрастанию возраста)

Пример 7. Использование csv.Sniffer для автоматического определения диалекта

Если формат CSV неизвестен, можно применить csv.Sniffer, который анализирует образец текста.

import csv

with open('unknown.csv', 'r', encoding='utf-8') as f:
    sample = f.read(1024)
    dialect = csv.Sniffer().sniff(sample)
    f.seek(0)
    reader = csv.reader(f, dialect)
    for row in reader:
        print(row)

['Имя', 'Возраст', 'Город']
['Анна', '25', 'Москва']

Пример 8. Обработка CSV с BOM (Byte Order Mark)

Файлы из Windows (Excel) часто начинаются с BOM (\ufeff). Его можно удалить или указать кодировку utf-8-sig.

import csv

with open('excel.csv', 'r', encoding='utf-8-sig') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

['Имя', 'Возраст', 'Город']
['Анна', '25', 'Москва']