这个工具是什么
Promptfoo:开源提示词测试与红队工具,用配置文件批量跑断言并对比多模型。完全免费。从中国大陆访问该站点通常需要自备网络条件。以英文界面与英文输入为主。支持平台:命令行、网页。项目源码在 github.com/promptfoo/promptfoo 公开,可自行查看实现。
能做什么
- 通过 YAML 配置批量测试提示词与模型
- 内置断言、相似度与模型评分等检查方式
- 支持红队测试,检测越狱与提示注入
- 可通过 npm 安装并接入 CI 流水线
怎么开始用
- 在具备对应网络条件的环境下打开官网 www.promptfoo.dev
- 按官方文档说明部署或调用,可完全离线运行
再说明一次访问前提:该站点从中国大陆访问通常需要自备网络条件。请先确认自己的网络环境,再决定是否把它纳入工作流 —— 用不了的工具,功能再全也没有意义。
AI 提示词里的其他工具
Agenta
开源 LLM 应用开发平台,提供提示词管理、评测与可观测性
AI 提示词开源需代理查看
Braintrust
AI 产品评测与可观测性平台,提供测试集、评分器与线上监控
AI 提示词需代理查看
DSPy
斯坦福开源的提示词编程框架,用优化器自动生成和调整提示词
AI 提示词开源国内直连查看
FlowGPT
提示词分享与交流社区,提供分类提示词库和在线对话试用
AI 提示词需代理查看
Langfuse
开源 LLM 工程平台,覆盖提示词管理、链路追踪与效果评测
AI 提示词开源需代理查看
LangSmith
LangChain 推出的提示词调试、追踪与评测平台
AI 提示词需代理查看