Применение ИИ при написании кода на Python для анализа данных

Расширенные примеры интеграции ИИ в научные вычисления на Python

Как реализовать автоматическое создание отчёта с численными расчётами и объяснениями?

Ниже приведён пример, где ИИ сначала генерирует код для расчёта корреляции Пирсона, затем запускает его и на основе результата формирует текстовый отчёт. Используется библиотека inspect для извлечения кода из ответа и exec для выполнения.

import openai
import numpy as np
from io import StringIO
import sys

openai.api_key = "ваш_ключ"

# Генерация кода
prompt_code = (
    "Напиши функцию correlation_pearson(x, y), которая принимает два списка чисел "
    "и возвращает коэффициент корреляции Пирсона, p-value и строку с интерпретацией. "
    "Используй scipy.stats.pearsonr."
)
response = openai.ChatCompletion.create(model="gpt-4", messages=[{"role":"user","content":prompt_code}], temperature=0)
code_block = response['choices'][0]['message']['content']

# Извлечение кода из ответа (упрощённый парсинг)
code_lines = [line for line in code_block.split('\n') if not line.startswith('')]
code_clean = '\n'.join(code_lines)

# Выполнение и захват вывода
old_stdout = sys.stdout
sys.stdout = mystdout = StringIO()

try:
    exec(code_clean)
except Exception as e:
    error_msg = str(e)
finally:
    sys.stdout = old_stdout

output = mystdout.getvalue()

# Генерация отчёта
prompt_report = (
    f"Вот результат выполнения кода: {output}. Ошибки: {error_msg if 'error_msg' in dir() else 'нет'}. "
    "Напиши краткий отчёт на русском языке, содержащий описание корреляции, интерпретацию p-value и рекомендации."
)
response2 = openai.ChatCompletion.create(model="gpt-4", messages=[{"role":"user","content":prompt_report}], temperature=0.3)
report = response2['choices'][0]['message']['content']
print(report)

Отчёт: Коэффициент корреляции Пирсона составил 0.95, p-value < 0.001. Это указывает на сильную положительную линейную связь. Рекомендуется построить scatter plot и рассмотреть регрессионную модель.

Обратите внимание: для production нужно использовать безопасное выполнение (Docker или subprocess), так как exec открывает уязвимости.

Как использовать RAG (Retrieval-Augmented Generation) для поиска актуальных функций numpy?

Научные библиотеки обновляются, а ИИ может не знать новые версии. С помощью RAG можно извлекать документацию из локального корпуса и добавлять её в промпт. Ниже пример с использованием LangChain и FAISS.

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.llms import OpenAI
from langchain.chains import RetrievalQA

# Предположим, у нас есть тексты документации numpy (chapter1.txt и т.д.)
# Загружаем и индексируем
from pathlib import Path

docs_path = Path("docs_numpy")
all_texts = []
for file in docs_path.glob("*.txt"):
    with open(file, "r") as f:
        all_texts.append(f.read())

embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_texts(all_texts, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

qa = RetrievalQA.from_chain_type(
    llm=OpenAI(temperature=0),
    chain_type="stuff",
    retriever=retriever,
    verbose=True
)

question = "Как с помощью numpy вычислить ковариационную матрицу для многомерного массива? Укажи новейший синтаксис."
answer = qa.run(question)
print(answer)

Для вычисления ковариационной матрицы используйте `numpy.cov(m, rowvar=True)`. Если массив имеет форму (n_samples, n_features), установите `rowvar=False`. Начиная с версии 1.22, можно указать `dtype=np.float32` для экономии памяти.

Этот подход гарантирует, что модель опирается на актуальную документацию, а не на свои устаревшие данные.