Запуск языковых моделей через llama.cpp из Python: полный гайд

Расширенные примеры использования llama.cpp в Python

Ниже представлены продвинутые сценарии: работа с токенами, кастомные callback-функции, генерация с фиксированным seed, сравнение скорости разных квантований и использование с многопоточностью.

1. Получение логарифмов вероятностей (logprobs)

from llama_cpp import Llama

llm = Llama(model_path="model.gguf", n_ctx=2048, n_gpu_layers=-1)

output = llm(
    "Столица Франции - ",
    max_tokens=5,
    logprobs=True,
    top_logprobs=3
)

choice = output["choices"][0]
print("Текст:", choice["text"])
print("Лог-вероятности:")
for token_logprobs in choice.get("logprobs", {}).get("top_logprobs", []):
    print(token_logprobs)

Результат (фрагмент):

Текст: Париж.
Лог-вероятности:
{' Париж': -0.045, ' Лондон': -4.23, ' Берлин': -5.10}

2. Использование callback для отслеживания прогресса

import sys
from llama_cpp import Llama

def progress_callback(progress: float) -> bool:
    """Вызывается на каждом шаге генерации."""
    sys.stdout.write(f"\rСгенерировано: {progress*100:.1f}%")
    sys.stdout.flush()
    return True  # верните False, чтобы прервать

llm = Llama(model_path="model.gguf", n_ctx=2048, progress_callback=progress_callback)
response = llm("Расскажи о квантовых вычислениях.", max_tokens=50)
print("\nРезультат:", response["choices"][0]["text"])

3. Генерация с фиксированным seed для воспроизводимости

from llama_cpp import Llama

llm = Llama(model_path="model.gguf", seed=42, n_ctx=1024)

prompt = "2 + 2 = "
output1 = llm(prompt, max_tokens=2, temperature=0.0)
output2 = llm(prompt, max_tokens=2, temperature=0.0)

print("Первый ответ:", output1["choices"][0]["text"])
print("Второй ответ:", output2["choices"][0]["text"])
# Оба вывода будут "4" при seed=42 и temperature=0

4. Извлечение и анализ токенов

llm = Llama(model_path="model.gguf")
tokens = llm.tokenize("Привет, мир!")
print("Токены (ID):", tokens)
print("Декодировано:", llm.detokenize(tokens))

Вывод:

Токены (ID): [1, 20304, 11, 837, 0]
Декодировано: b'Привет, мир!'

5. Сравнение скорости генерации для разных квантований

import time
from llama_cpp import Llama

models = {
    "Q4_K_M": "llama-2-7b.Q4_K_M.gguf",
    "Q8_0": "llama-2-7b.Q8_0.gguf",
    "FP16": "llama-2-7b.gguf"  # если есть
}

prompt = "Что такое машинное обучение? " * 50  # ~500 токенов

for name, path in models.items():
    start = time.time()
    llm = Llama(model_path=path, n_ctx=512, n_threads=8)
    llm(prompt, max_tokens=50)
    elapsed = time.time() - start
    print(f"{name}: {elapsed:.2f} сек")

Примечание: Для точного сравнения следует усреднить несколько запусков. Результаты сильно зависят от аппаратного обеспечения.

6. Использование нескольких потоков (threading) для параллельной генерации

import threading
from llama_cpp import Llama

llm = Llama(model_path="model.gguf", n_ctx=1024)

def generate(prompt):
    result = llm(prompt, max_tokens=20)
    print(f"[{threading.current_thread().name}] {result['choices'][0]['text']}")

t1 = threading.Thread(target=generate, args=("Расскажи о Python",))
t2 = threading.Thread(target=generate, args=("Расскажи о C++",))

t1.start()
t2.start()
t1.join()
t2.join()

Важно: Объект Llama не является потокобезопасным для параллельных вызовов. Для параллельной работы создавайте отдельные экземпляры модели.

7. Интеграция с фреймворком LangChain

from langchain.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

llm = LlamaCpp(
    model_path="model.gguf",
    n_ctx=2048,
    temperature=0.7,
    verbose=True
)

prompt = PromptTemplate(
    input_variables=["topic"],
    template="Напиши короткое эссе на тему: {topic}."
)
chain = LLMChain(llm=llm, prompt=prompt)

print(chain.run("Будущее нейросетей"))

8. Настройка количества слоёв на GPU (n_gpu_layers) для баланса скорости и памяти

# Поместить 40 слоёв на GPU (если модель имеет 32, то все 32)
llm = Llama(model_path="model.gguf", n_gpu_layers=40, n_ctx=4096)
result = llm("Пример.", max_tokens=10)
print(result["choices"][0]["text"])