Как читать CSV файлы в Python: методы, примеры, подводные камни

Расширенные примеры чтения CSV в Python

1. Чтение большого CSV частями (chunking) с csv.reader

Как обработать CSV, который не помещается в оперативную память?

Модуль csv позволяет читать файл построчно. Для пакетной обработки можно использовать итератор и счётчик строк.

import csv

CHUNK_SIZE = 1000
with open('huge.csv', newline='', encoding='utf-8') as f:
    reader = csv.reader(f)
    chunk = []
    for i, row in enumerate(reader):
        if i == 0:  # заголовок
            continue
        chunk.append(row)
        if (i % CHUNK_SIZE) == 0:
            # обработка chunk (например, запись в БД)
            print(f"Обработано строк: {i}")
            chunk = []
    if chunk:
        print(f"Обработано строк: {i}")

Обработано строк: 1000
Обработано строк: 2000
...

2. Чтение CSV с разными разделителями и кавычками

Как загрузить TSV (табуляция) или файл с нестандартными кавычками?

import csv

# TSV с обрамлением полей одинарными кавычками
with open('data.tsv', newline='', encoding='utf-8') as f:
    reader = csv.reader(f, delimiter='\t', quotechar="'")
    for row in reader:
        print(row)

['name', 'age', 'city']
['Alice', '30', 'New York']

3. Использование pandas для обработки кодировок и пропусков

Как корректно загрузить CSV в кодировке Windows-1251 с пропущенными значениями, обозначенными символом '---'?

import pandas as pd

df = pd.read_csv('russian_data.csv', 
                 encoding='cp1251', 
                 sep=';', 
                 na_values=['---', 'N/A', ''])
print(df.isnull().sum())

name    0
age     2
city    1
dtype: int64

4. Чтение CSV с помощью numpy и преобразование типов

Как загрузить CSV столбцы с разными типами (int, float, str) в структурированный массив?

import numpy as np

data = np.genfromtxt('mixed.csv', 
                     delimiter=',', 
                     names=True, 
                     dtype=None, 
                     encoding='utf-8')
print(data['age'])  # возраст как int
print(data['name']) # имя как bytes (строка в байтах)

[30 25]
[b'Alice' b'Bob']

Для получения строк удобно использовать dtype='U10' или после загрузки применить .astype(str).

5. Обработка ошибок при чтении: пропуск битых строк

Что делать, если в CSV есть строки с неверным количеством полей?

import csv

with open('dirty.csv', newline='', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row_num, row in enumerate(reader, 1):
        try:
            # ожидаем 3 поля
            if len(row) != 3:
                raise ValueError(f"Неверное число полей: {len(row)}")
            # обработка row
        except ValueError as e:
            print(f"Пропущена строка {row_num}: {e}")

Пропущена строка 5: Неверное число полей: 2

6. Чтение CSV из строки (StringIO)

Как прочитать CSV данные, которые не хранятся в файле, а передаются как строка?

import csv
from io import StringIO

data = """name,age
Alice,30
Bob,25
"""

with StringIO(data) as f:
    reader = csv.DictReader(f)
    for row in reader:
        print(row)

{'name': 'Alice', 'age': '30'}
{'name': 'Bob', 'age': '25'}

7. Чтение CSV с произвольным именами столбцов (без заголовков)

Как прочитать CSV без заголовочной строки, присвоив свои имена столбцам?

import csv

with open('no_header.csv', newline='', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

['Alice', '30']
['Bob', '25']

А если нужны заголовки, можно использовать DictReader с параметром fieldnames:

import csv

fieldnames = ['name', 'age']
with open('no_header.csv', newline='', encoding='utf-8') as f:
    reader = csv.DictReader(f, fieldnames=fieldnames)
    for row in reader:
        print(row)

{'name': 'Alice', 'age': '30'}
{'name': 'Bob', 'age': '25'}