LLMs Bullshit Benchmark

工具介绍

LLMs Bullshit Benchmark 是一个专注于评估大语言模型“错误前提检测”能力的基准测试项目。它的核心思路是向模型提出一系列包含逻辑矛盾或虚假前提的问题，检验模型能否识别出问题本身不成立，并拒绝作答或指出错误所在。该项目以网页形式提供可视化结果浏览，面向 AI 研发者、评测人员以及关注模型逻辑推理能力的技术人群，为模型选型和迭代优化提供参考。

核心功能

• 错误前提检测基准测试：设计大量带有虚假或矛盾前提的问题，测试模型是否能识别出前提不成立，而非盲目顺着问题作答。
• 可视化结果浏览：通过在线页面展示不同模型在该基准上的表现，支持按模型、问题类型等维度查看详细结果。
• 多模型对比：汇总多个主流大语言模型的测试成绩，方便横向比较不同模型在逻辑判断能力上的差异。
• 开源评测数据：作为基准测试项目，其测试题目和评估方法以开源形式发布，供研究者和开发者复现或扩展。

适合哪些人

该项目适合从事大语言模型研发、评测和选型工作的工程师与研究人员。对于需要判断模型是否具备严谨逻辑推理能力、能否抵御诱导性提问的开发者来说，该基准提供了直接有效的测试工具。此外，对模型能力边界感兴趣的技术学习者和 AI 产品经理也可以借助该基准更直观地理解大模型在逻辑判断上的局限性。

可以用来做什么

• 模型选型参考：在多个候选模型之间做选择时，参考该基准的测试结果，判断哪个模型在识别错误前提方面表现更优。
• 模型能力评估：对自己开发或微调的模型进行专项评测，了解其在逻辑推理和事实判断维度的真实水平。
• Prompt 策略优化：通过观察模型在错误前提问题上的失败模式，反向优化 Prompt 设计，减少模型被误导的概率。
• 安全性与鲁棒性研究：将错误前提检测作为模型安全评估的一部分，检验模型在面对虚假信息或诱导性提问时是否会“一本正经地胡说八道”。
• 基准测试扩展：基于该项目开源的数据和方法，结合自身场景扩展新的测试题目，形成更贴合业务需求的评测集。

使用方式

该项目主要通过 GitHub 开源仓库发布，并提供在线结果浏览页面。使用者可以直接访问在线页面查看现有模型的评测结果，无需本地部署。若想复现测试或扩展基准，可前往 GitHub 仓库获取测试题目和评估代码，在本地环境中运行评估流程。

优点

• 切入角度独特：专门针对“错误前提检测”这一细分能力进行评测，弥补了传统基准测试对逻辑陷阱关注不足的空白。
• 可视化体验好：在线页面以清晰直观的方式展示各模型的表现，降低了结果解读的门槛。
• 完全开源免费：项目本身开源，测试数据和方法透明，无任何使用成本。
• 实践价值高：错误前提检测能力直接关系到模型在实际应用中的可信度，评测结果具有明确的工程参考意义。

使用时需要注意

该基准主要面向技术人群，理解评测结果需要一定的 AI 基础。在线页面仅展示既有评测结果，若需测试新模型，需要自行获取代码并配置本地运行环境。此外，该基准侧重单一维度的能力评估，不能完全代表模型的整体水平，建议与其他基准测试结合使用。

总结

LLMs Bullshit Benchmark 最适合用于评估和对比大语言模型在错误前提识别与逻辑判断方面的能力，是模型选型和安全性评测中一个轻量且有效的补充工具。