最新 Claude 5.1 测评报告!究竟有多能打?
如何看待Anthropic全面开放Claude Fable 5.1?表现如何?
刚刚把自己测评各大模型的benchmark用例从V2 升级到V2.1,以为这些cases已经又上一个难度的了,但是刚测试完Fable 5.1, 感觉在它面前这些用例还是不够看。
而我试过Deepseek V4 Pro这些,我这套cases还是相当能打的。
我的用例和benchmark以及历来各大语言模型测评得分排行榜大家可以先看下:
https://www.techgogogo.com/llm-benchmark/
然后这是对应的Fable 5.1的测评视频:
Fable 5.1 测试报告!究竟有多能打?
好,下面我们详细看下我是怎么测的,以及 Fable 5.1 的得分情况
Fable 5.1 实测报告:总分54,综合表现全面
先上实测结论:Fable 5.1本次实测总分54,满分60,整体表现全面均衡。
Q1|强约束指令遵循句子生成测试 —— 10⁄10
任务:输出10个以汉字数字结尾的句子,且按照顺序一到十,语句要通顺有意义,且倒数第二个字不能重复且不能是”第”,”是”,”为”。
实测结果: 句子结尾都是从一到十结尾,所有句子通顺,完美达标。

Q2|24点问题 —— 7⁄10
任务:请用 2、7、8、10 这四个数字,每个数字只能且必须使用一次。你可以使用阶乘之外的任何初等数学运算符(包括乘方/根号),请用三种不同的方法拼出 24 点。注意不能用编程写脚本的方式解,也不能用穷举法一个个去试,要靠大语言模型自己的推理能力推出答案。
实测结果: 方法一不对(3不允许出现),方法二和方法三正确,仅两解合规。

Q3|密码锁推理题 —— 10⁄10
任务:有一把七位数密码锁,密码的每一位数字可以是0~9中的任意数字,数字允许重复(比如可能出现两个甚至更多相同的数字)。已知以下线索(其中”位置正确”统计的是恰好匹配的位数;”数字正确但位置不对”统计时,若密码和猜测中某个数字出现次数不同,只能按两者中较小的出现次数计入,且不能与已计为”位置正确”的那次重复计数):
0783384 —— 2个数字位置正确,1个数字正确但位置不对;
0445517 —— 0个数字位置正确,3个数字正确但位置不对;
6013167 —— 1个数字位置正确,2个数字正确但位置不对;
2674674 —— 2个数字位置正确,3个数字正确但位置不对;
4203772 —— 1个数字位置正确,3个数字正确但位置不对;
7197587 —— 2个数字位置正确,0个数字正确但位置不对;
9637451 —— 0个数字位置正确,5个数字正确但位置不对。
请据此推理出密码。注意不能用编程写脚本的方式解,要靠大语言模型自己的推理能力推出答案。
实测结果: 答案 7294364 正确,7位密码锁相比旧版5位难度大增,模型顺利答对。

Q4|浏览器内操作系统 —— 9⁄10
任务:参考macOS最新操作系统,创建一个现代、有着精美桌面和UI的浏览器内操作系统(命名为”AISniper OS”)。要求包含系统状态弹窗(如 Wi‑Fi、系统健康度)、时钟、底部快捷栏、主题切换功能,并内置可交互的 3D 太空射击游戏,底部快捷栏应该有Finder,计算器,设置、命令行终端和太空射击游戏。最后要注意:实现后不要用无头浏览器等进行UI等其他验证,直接交付。
实测结果: UI挺漂亮,右上角弹窗效果不错,Dock栏应用能正常打开,太空射击游戏3D感敌人飞机效果一流。

Q5|3D 赛车游戏 —— 9⁄10
任务:使用 HTML、CSS 和 JavaScript,创建一个以汽车为主角的 3D 赛伯朋克风格无限跑酷游戏。网页必须通过 Canvas 或 Three.js 渲染出一条沿纵深无限延伸的赛道,核心交互要求实现摄像机视角随着弯曲赛道实时左右平滑晃动的追踪动效,以及汽车切换赛道时的高灵敏度物理避障反馈;赛道上必须动态刷新各种障碍物,且页面顶部需内置一个能随着行驶距离和避障表现实时渲染、不被遮挡的高清动态计分板。最后要注意:实现后不要用无头浏览器等进行UI等其他验证,直接交付。
实测结果: 赛车做得很漂亮,画面出彩,在不做UI验证直接交付的前提下依然达到高完成度。

Q6|Trello 看板 —— 9⁄10
任务:请用单文件原生 HTML/CSS/JS 实现一个高颜值 Trello 看板(严禁任何第三方库),完美支持卡片跨列拖动到其他列表,支持列表横向拖拽切换列表位置,列表和卡片的增删改,且必须硬性实现:拖拽时周围卡片平滑滑开让位的顺畅动画(绝不能生硬闪现)、拖拽到边缘时看板自适应自动滚动、点击卡片时从原位置原位放大展开的无缝弹窗,以及弹窗内完整的子任务清单与多颜色标签编辑功能。最后要注意:实现后不要用无头浏览器等进行UI等其他验证,直接交付。
实测结果: 功能没有问题,列表和任务增删改、拖动均正常,UI审美见仁见智。

测评小结
推理锁题、强约束指令两项拿到满分,数学24点小幅失分;
前端代码生成能力很强,浏览器OS、3D赛车、Trello看板三个大型代码任务完成质量很高。
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐



所有评论(0)