promptfoo - 测试您的提示、代理和RAG。Red teaming/p

项目说明

Promptfoo: LLM evals & red teaming

<p align="center">
<a href=" src=" alt="npm"></a>
<a href=" src=" alt="npm"></a>
<a href=" src=" alt="GitHub Workflow Status"></a>
<a href=" src=" alt="MIT license"></a>
<a href=" src=" alt="Discord"></a>
</p>

<p align="center">
<代码>promptfoo</代码> is a CLI and library for e and red-teaming LLM-based apps. Stop using trial-and-error... start shipping secure, reliable agents
</p>

<p align="center">
<a href=" ·
<a href=" Started</a> ·
<a href=" Teaming</a> ·
<a href=" ·
<a href="
</p>

> Promptfoo is now part of OpenAI. Promptfoo remains open 源码 and MIT licensed. Read the company update.

Quick Start

Also a via brew install promptfoo and pip install promptfoo. Or use npx promptfoo to run any command without installing.

Most LLM pro require an API key. Set yours as an en :

Run an eval and view results:

> See Getting Started (evals) or Red Teaming ( scanning) for more!

What can you do with Promptfoo?

Here's what it looks like in action:

<img src="site/static/img/" alt="prompt e matrix - web " width="700">

It works on the command line too:

<img src=" alt="promptfoo command line" width="700">

It also can generate security reports:

<img src=" alt="gen ai red team" width="700">

Why Promptfoo?

Learn More

Contributing

We welcome contributions! Check out our contributing guide to get started.

Join our Discord community for help and discussion.

<a href="
<img src=" />
</a>

项目信息

开发语言：TypeScript

Star 数：25720

技术要点

该项目属于黑客技术方向的开源资源，代码结构清晰，适合安全研究人员学习参考。项目围绕Test your prompts, agents, and RAGs. Red teaming/pentesting/ scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarati with command line and CI/CD integration. Used by OpenAI and Anthropic.展开，提供了可运行的实现，对理解相关安全机制、工具原理与攻防技术具有较高的研究价值。

从技术实现角度看，此类项目的核心在于对底层原理的深入理解与工程化落地。开发者在研究过程中可以结合官方文档与社区讨论，梳理项目的初始化流程、核心模块职责与数据流转，逐步掌握其中的技术细节与设计思路。

使用与学习建议

1. 下载源码压缩包，解压到本地环境。

2. 根据项目类型准备对应的运行环境与依赖。

3. 按照 README 中的步骤完成配置与部署。

4. 在隔离的测试环境中运行验证，避免影响生产系统。

免责声明

本资源来源于开源社区，仅供安全研究、技术学习与合法授权范围内的攻防演练使用，请勿用于任何非法或侵害他人权益的用途。使用本项目产生的一切后果由使用者自行承担。