sql-llm-benchmark

sql-llm-benchmark项目是一个测评大模型 SQL 能力的脚本工具和排行榜列表，旨在评估大型语言模型 (LLM) 在 SQL 相关任务方面的能力。它支持对 LLM 的 SQL 理解、方言转换和 SQL 优化能力进行深入测评，集成了 MCP (Model Context Protocol) 网络搜索功能来增强裁判模型的判断准确性，并最终生成详细的测评报告，通过前端界面直观展示。

可以在sql-llm-benchmark的网站上查看排行榜和详细测评报告

• sql-llm-benchmark官网入口网址：https://sql-llm-leaderboard.com/
• sql-llm-benchmark开源项目地址：https://github.com/actiontech/sql-llm-benchmark
• sql-llm-benchmark中文介绍：链接

特性

• 多维度评估: 支持 SQL 理解、方言转换和 SQL 优化三大核心能力。
• 智能裁判增强: 集成 MCP 网络搜索功能，裁判模型可实时搜索数据库文档和最佳实践，显著提升判断准确性。
• 灵活的数据集: 允许用户自定义和扩展测评数据集。
• 可配置的 LLM: 支持集成多种大模型作为被测对象和裁判模型。
• 自动化报告生成: 自动生成详细的测评报告，包括总分、案例详情和交互日志。
• 直观的前端展示: 提供排行榜列表和详细报告页面，方便用户查看和分析结果。
• 可扩展架构: 易于添加新的 LLM 接口、HTTP 接口和测试用例。

sql-llm-benchmark项目旨在通过科学、严谨的测评体系，全面评估大语言模型（LLM）在SQL处理方面的核心能力。项目聚焦于三大关键维度：SQL优化能力、方言转换能力以及SQL深度理解能力。通过构建多维度、多指标的综合测评体系，并采用不同难度等级的真实案例进行测试，以科学加权评分的方式，评估模型在数据库操作中的实际表现。

sql-llm-benchmark项目旨在为开发者、数据库管理员及企业技术决策者提供权威、客观的参考依据，推动大模型在数据库智能化应用中的技术发展与选型落地。

sql-llm-benchmark项目旨在通过科学、严谨的测评方法，全面评估大语言模型在SQL处理方面的能力，为相关领域的技术发展和应用提供参考。