Promptfoo

Автоматическая оценка и тестирование подсказок для больших языковых моделей (LLM).

promptfoo.dev

Проверено Есть API Бесплатный тариф

Кратко о главном
Что это	Автоматическая оценка и тестирование подсказок для больших языковых моделей (LLM).
Цены	Freemium
Бесплатный тариф	Да
Платформа	Web Application
API	Да
Хорошо подходит для	Securing AI agents and RAG applications before deployment, Integrating automated security testing into CI/CD pipelines
Домен зарегистрирован	2023

Данные обновлены 1 августа 2026 г.

Что делает Promptfoo?

Promptfoo is a security testing platform built specifically for AI applications. It helps developers and security teams automatically find and fix vulnerabilities in AI agents, RAG systems, and other LLM-powered workflows. The tool simulates real-world attacks to uncover issues like prompt injections, data leaks, jailbreaks, and insecure tool use, providing a way to test AI applications much like traditional software gets tested for security flaws.

It works by integrating directly into development workflows, connecting to CI/CD pipelines, version control systems, and agent frameworks. Promptfoo generates thousands of context-aware attacks tailored to a specific application's business logic and guardrails. What sets it apart is its focus on remediation; it doesn't just find problems but gives actionable fixes within developer tools like pull requests. The platform is built on threat intelligence from a large community of users, which helps it stay current with new attack vectors.

This tool is most valuable for teams building and deploying AI applications at scale, particularly in regulated industries. Enterprise developers use it to ship more secure agents, while security leaders use it to establish automated, scalable testing processes. Companies like OpenAI and Anthropic, along with 156 Fortune 500 firms, use Promptfoo to build confidence in their AI systems before they reach users.

Инструменты разработчика Пентестинг Тестирование

#ai security#ci-cd#developer tools#llm evaluation#prompt testing#red teaming#vulnerability scanning

Ключевые возможности

Что выделяет инструмент

Automated red teaming that simulates real users to uncover application-specific vulnerabilities

Integrates into CI/CD pipelines and developer workflows for continuous testing

Provides actionable remediation guidance directly in pull requests

Generates context-aware attacks for over 50 vulnerability types

Leverages threat intelligence from a community of over 300,000 users

Для кого Promptfoo?

Кому подходит этот инструмент

Securing AI agents and RAG applications before deployment

Integrating automated security testing into CI/CD pipelines

Continuously monitoring production AI apps for new vulnerabilities

Цены

Есть бесплатный тариф — можно начать без банковской карты

Community

Бесплатно

10,000 red teaming probes per month
All LLM evaluation features
All model providers and integrations
Red teaming (10k probes/month)
Custom integration with your own app
Run locally or self-host on your own infrastructure
Vulnerability scanning
Community support

Enterprise

Индивидуальный

Все в Community, плюс:

All Community features
Custom red teaming limits
Team sharing & collaboration
Continuous monitoring
Centralized security/compliance dashboard
Customizable attack profiles and target settings
SSO and granular permission profiles
Promptfoo API access
Managed cloud deployment
Professional services support
Priority support & SLA guarantees

On-Premise

Индивидуальный

Все в Enterprise, плюс:

All Enterprise features
Deployment on your own infrastructure
Complete data isolation
Dedicated runner
Assigned deployment engineer

Доверие и присутствие

Домен Домен зарегистрирован в 2023

Галерея

Нажмите на изображение, чтобы увеличить

Альтернативы в категории Тестирование

PromptPerf Тестирование

Хотите узнать, какая нейронка справится с вашей задачей лучше всего? Просто протестируйте свои промпты сразу в 100+ AI моделях. Это самый быстрый способ подобрать идеальный вариант под ваши цели и бюджет.

Akto's Test Editor Тестирование

Платформа для безопасности AI-агентов: находите, тестируйте и настраивайте защитные механизмы (guardrails) для MCP и AI-агентов во всей вашей инфраструктуре.

ProtectAI Тестирование

Это платформа по безопасности AI: она сканирует модели на наличие уязвимостей, тестирует системы и отслеживает угрозы прямо во время работы.

Mindgard Тестирование

Автоматизированная платформа для AI security testing, которая проводит тестирование ваших моделей методами Red Team, чтобы находить уязвимости раньше злоумышленников.

PromptLayer Тестирование

Платформа для управления промтами, их оценки и обеспечения наблюдаемости за LLM. Создавайте версии, тестируйте и отслеживайте работу ваших AI-промтов.

make · n8n

Prompt Refine Тестирование

Тестируйте и сравнивайте вариации промтов для ИИ в разных моделях, отслеживайте результаты и экспортируйте данные для анализа.

Mibo Ai Тестирование

Платформа для тестирования AI-агентов: здесь всё для автоматической генерации тестов, семантической оценки и трейсинга работы агентов в продакшене.

n8n

adversa.ai Тестирование

Платформа для безопасности AI, которая выявляет уязвимости в моделях, агентах и приложениях с помощью red teaming и оценки рисков.