Promptfoo

Автоматическая оценка и тестирование подсказок для больших языковых моделей (LLM).

promptfoo.dev

Проверено Есть API Бесплатный тариф

Кратко о главном
Что это	Автоматическая оценка и тестирование подсказок для больших языковых моделей (LLM).
Цены	Freemium
Бесплатный тариф	Да
Платформа	Web Application
API	Да
Хорошо подходит для	Securing AI agents and RAG applications before deployment, Integrating automated security testing into CI/CD pipelines
Домен зарегистрирован	2023

Данные обновлены 19 сентября 2026 г.

Что делает Promptfoo?

Promptfoo — это платформа для тестирования безопасности, созданная специально для ИИ-приложений. Она помогает разработчикам и командам безопасности автоматически находить и исправлять уязвимости в ИИ-агентах, RAG-системах и других рабочих процессах на базе LLM. Инструмент симулирует реальные атаки, чтобы выявить такие проблемы, как промпт-инъекции, утечки данных, джейлбрейки и небезопасное использование инструментов; это позволяет тестировать ИИ-приложения так же, как традиционное ПО проверяется на наличие дыр в безопасности.

Сервис работает за счет прямой интеграции в рабочие процессы разработки, подключаясь к CI/CD-конвейерам, системам контроля версий и фреймворкам для агентов. Promptfoo генерирует тысячи контекстных атак, адаптированных под бизнес-логику и защитные механизмы конкретного приложения. Его особенность — фокус на исправлении ошибок: он не просто находит проблемы, но и предлагает конкретные решения прямо в инструментах разработчиков, например, в pull requests. Платформа опирается на данные об угрозах от большого сообщества пользователей, что помогает ей оставаться в курсе новых векторов атак.

Этот инструмент наиболее ценен для команд, которые создают и развертывают ИИ-приложения в больших масштабах, особенно в регулируемых отраслях. Разработчики корпоративного уровня используют его, чтобы выпускать более безопасных агентов, а руководители по безопасности — для создания автоматизированных и масштабируемых процессов тестирования. Такие компании, как OpenAI и Anthropic, а также 156 фирм из списка Fortune 500, используют Promptfoo, чтобы убедиться в надежности своих ИИ-систем перед тем, как те попадут к пользователям.

Инструменты разработчика Пентестинг Тестирование

#ai security#ci-cd#developer tools#llm evaluation#prompt testing#red teaming#vulnerability scanning

Ключевые возможности

Что выделяет инструмент

Automated red teaming that simulates real users to uncover application-specific vulnerabilities

Integrates into CI/CD pipelines and developer workflows for continuous testing

Provides actionable remediation guidance directly in pull requests

Generates context-aware attacks for over 50 vulnerability types

Leverages threat intelligence from a community of over 300,000 users

Для кого Promptfoo?

Кому подходит этот инструмент

Securing AI agents and RAG applications before deployment

Integrating automated security testing into CI/CD pipelines

Continuously monitoring production AI apps for new vulnerabilities

Цены

Есть бесплатный тариф — можно начать без банковской карты

Community

Бесплатно

10,000 red teaming probes per month
All LLM evaluation features
All model providers and integrations
Red teaming (10k probes/month)
Custom integration with your own app
Run locally or self-host on your own infrastructure
Vulnerability scanning
Community support

Enterprise

Индивидуальный

Все в Community, плюс:

All Community features
Custom red teaming limits
Team sharing & collaboration
Continuous monitoring
Centralized security/compliance dashboard
Customizable attack profiles and target settings
SSO and granular permission profiles
Promptfoo API access
Managed cloud deployment
Professional services support
Priority support & SLA guarantees

On-Premise

Индивидуальный

Все в Enterprise, плюс:

All Enterprise features
Deployment on your own infrastructure
Complete data isolation
Dedicated runner
Assigned deployment engineer

Доверие и присутствие

Домен Домен зарегистрирован в 2023

Галерея

Нажмите на изображение, чтобы увеличить

Альтернативы в категории Тестирование

PromptPerf Тестирование

Хотите узнать, какая нейронка справится с вашей задачей лучше всего? Просто протестируйте свои промпты сразу в 100+ AI моделях. Это самый быстрый способ подобрать идеальный вариант под ваши цели и бюджет.

Akto's Test Editor Тестирование

Платформа для безопасности AI-агентов: находите, тестируйте и настраивайте защитные механизмы (guardrails) для MCP и AI-агентов во всей вашей инфраструктуре.

ProtectAI Тестирование

Это платформа по безопасности AI: она сканирует модели на наличие уязвимостей, тестирует системы и отслеживает угрозы прямо во время работы.

Mindgard Тестирование

Автоматизированная платформа для AI security testing, которая проводит тестирование ваших моделей методами Red Team, чтобы находить уязвимости раньше злоумышленников.

PromptLayer Тестирование

Платформа для управления промтами, их оценки и обеспечения наблюдаемости за LLM. Создавайте версии, тестируйте и отслеживайте работу ваших AI-промтов.

make · n8n

Prompt Refine Тестирование

Тестируйте и сравнивайте вариации промтов для ИИ в разных моделях, отслеживайте результаты и экспортируйте данные для анализа.

Mibo Ai Тестирование

Платформа для тестирования AI-агентов: здесь всё для автоматической генерации тестов, семантической оценки и трейсинга работы агентов в продакшене.

n8n

adversa.ai Тестирование

Платформа для безопасности AI, которая выявляет уязвимости в моделях, агентах и приложениях с помощью red teaming и оценки рисков.