腾讯混元Hy4-Preview测评报告!价值十块的测评报告!能打吗?
知乎上看到个问题做得回答:
如何评价腾讯混元 8 月 28 日发布并开源新一代大语言模型 Hy4 preview?实际体验如何?
刚刚花了10块大洋耗掉5个小时测评完,详细测评报告在这里:
腾讯混元Hy4‑Preview测评报告!价值十块的测评报告!能打吗?
在我的benchmarks上得分只有43分:

因为第二道编程题没有生成完(详情请看上面详细测评),只打了5分,但是就算满分10分,总分也就48分,和其他模型比还是差点,大家可以看下我的这个benchmark:
腾讯混元Hy4‑Preview测评报告!价值十块的测评报告!能打吗?
下面大家看下每一道题的测评情况
分项测评结果
Q1|强约束指令遵循‑句子生成|得分:8/10
任务:输出10条以汉字数字一到十依次结尾的通顺语句,倒数第二个字禁止重复,不能使用“第”“是”“为”。
测评小结:成功产出8句合规内容;第5、8句结尾序号不符合1‑10顺序要求。

Q2|24点推理题|得分:5/10
任务:使用数字 3、4、9、10,每个数字仅用一次,初等运算符求解24点。
测评小结:给出3组解法,仅第一组合规;第二条重复使用数字9,第三条违规使用阶乘;解法越多出错越多,指令遵循稳定性偏弱。

Q3|密码锁逻辑推理|得分:10/10
任务:五位数密码锁条件推理。
测评小结:推理完全正确,输出密码12753,逻辑推导无漏洞。

Q4|浏览器内操作系统‑AISniper OS|得分:8/10
任务:复刻macOS风格网页桌面系统,含状态栏弹窗、时钟、Dock快捷栏、主题切换、内置3D太空射击游戏。
测评小结:UI精美、弹窗效果超预期,Dock各项功能可用;3D太空射击游戏渲染效果优秀。短板:生成耗时超1小时,多次触发请求限额报错。

Q5|3D赛博朋克赛车游戏|得分:5/10
任务:Three.js实现无限赛道、摄像机追踪、车辆物理避障、实时计分看板。
测评小结:代码中途报错中断,项目未完成,游戏无法启动运行。

Q6|原生Trello看板|得分:7/10
任务:单文件HTML实现卡片拖拽、列表换位、增删改、拖拽让位动画、边缘自动滚动、卡片弹窗与子任务标签管理。
测评小结:拖拽、增删改等核心基础功能正常;加号按钮失效、标签文字换行异常、弹窗出现多余乱码符号,排版存在瑕疵。

综合总评
推理类硬核密码锁题目表现满分;指令约束、24点这类精细规则任务容易越界犯错。 网页生成能力上限很高,AISniper OS与太空射击项目产出质量亮眼;但长代码任务极易中途中断。
最突出痛点:生成速度极慢,频繁触发请求限额。算力资源充足的前提下模型潜力可观。
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐

所有评论(0)