Обзор методов определения языка в Python

Расширенные примеры определения языка

1. Сравнение нескольких библиотек на одном тексте

import langdetect
import langid
import fasttext

model = fasttext.load_model('lid.176.bin')
text = "Ich liebe Programmierung"

# langdetect
print("langdetect:", langdetect.detect(text))

# langid
lang, conf = langid.classify(text)
print("langid:", lang, conf)

# fastText
preds = model.predict(text, k=1)
lang_ft = preds[0][0].replace('__label__', '')
print("fastText:", lang_ft)

langdetect: de
langid: de -328.417
fastText: de

2. Обработка списка текстов и вывод результатов в DataFrame

import pandas as pd
from langdetect import detect, DetectorFactory

DetectorFactory.seed = 0  # для воспроизводимости

texts = [
    "This is English",
    "Ceci est français",
    "Dies ist Deutsch",
    "Это русский"
]

results = []
for t in texts:
    try:
        lang = detect(t)
    except:
        lang = "unknown"
    results.append({'text': t, 'language': lang})

df = pd.DataFrame(results)
print(df)

              text language
0   This is English       en
1  Ceci est français       fr
2   Dies ist Deutsch       de
3        Это русский       ru

3. Определение языка из файла и обработка пустых строк

from pathlib import Path
from langdetect import detect

file_path = Path('sample_texts.txt')
if file_path.exists():
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            if len(line) < 10:
                print("Пропущена короткая строка:", line)
                continue
            try:
                lang = detect(line)
                print(f"{line[:30]:30} -> {lang}")
            except Exception as e:
                print(f"Ошибка для строки: {line[:30]:30} -> {e}")

Пропущена короткая строка: Hi
Hello world!                  -> en
Bonjour tout le monde         -> fr

4. Использование вероятностей для фильтрации неуверенных предсказаний

from langdetect import detect_langs

texts = [
    "A quick brown fox",
    "Hola, como estas?",
    "Смешанный текст with English",
    ""
]

for t in texts:
    if len(t) < 10:
        print(f"'{t}' -> слишком короткий")
        continue
    try:
        langs = detect_langs(t)
        best = langs[0]
        if best.prob < 0.8:
            print(f"'{t}' -> слабая уверенность: {best.lang} ({best.prob:.2f})")
        else:
            print(f"'{t}' -> {best.lang} ({best.prob:.2f})")
    except Exception as e:
        print(f"'{t}' -> ошибка: {e}")

'A quick brown fox' -> en (1.00)
'Hola, como estas?' -> es (1.00)
'Смешанный текст with English' -> ru (0.82)
'' -> слишком короткий

5. Пакетное определение языка с fastText и сохранение результатов в CSV

import fasttext
import csv

model = fasttext.load_model('lid.176.bin')
texts = ["Привет", "Hello", "Hola", "Bonjour", "Guten Tag", "안녕하세요"]

with open('language_results.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['text', 'language', 'confidence'])
    for txt in texts:
        if len(txt.strip()) == 0:
            continue
        preds = model.predict(txt, k=1)
        lang = preds[0][0].replace('__label__', '')
        conf = preds[1][0]
        writer.writerow([txt, lang, f"{conf:.4f}"])

print("Результаты сохранены в language_results.csv")

Результаты сохранены в language_results.csv

6. Настройка seed в langdetect для воспроизводимости

from langdetect import DetectorFactory
DetectorFactory.seed = 42

text = "This is consistent"
for _ in range(5):
    print(detect(text))

en
en
en
en
en

7. Определение языка для каждого абзаца в длинном тексте

text = """First paragraph in English.
Ce second paragraphe est en français.
Dritter Absatz auf Deutsch."""

paragraphs = text.split('\n\n')
for i, para in enumerate(paragraphs, 1):
    lang = detect(para)
    print(f"Paragraph {i}: {lang} - {para[:50]}...")

Paragraph 1: en - First paragraph in English....
Paragraph 2: fr - Ce second paragraphe est en français....
Paragraph 3: de - Dritter Absatz auf Deutsch....