今天周六,不给大家整教程,也不聊什么技术力细节了。这篇简单聊聊,就当唠唠嗑~ 前两天刷到SuperCLUE发的一份办公智能体测评:SuperCLUE-Office 他们一口气拉了8款国内主流办公智能体进行横测:豆包工作、Kimi Work、WorkBuddy、百度搭子、千问办公、商汤小浣熊、讯飞星火工作、纳米Work。 结果是,豆包工作以85.33分拿了总榜第一。Kimi Work第二、workbuddy第三。 其中文档处理这一项,豆包工作拿到了87.12分,领先第二名将近5分。 这5分是什么概念呢?前四名的总分,从第二到第四一共才差了1.96分,大家咬得非常紧。在这么卷的局面里,单项能拉开快5分,在这份榜单里还是挺显眼的。 SuperCLUE也表示,文档处理是办公智能体落地日常办公最重点的能力模块。 确实是,你回想一下自己的一天,写打算、改合同、整理纪要、出周报,有多少时间是花在文档上的?几乎所有吧。 然后我好好调研了一下这个榜单,我觉得还是有点东西的。 先简单说下SuperCLUE是啥。 它背后是CLUE,中文语言理解测评基准,2019年就开始做中文大模型的测评了,在中文NLP圈算是老牌机构。 这几年很多国内厂商发新模型,发布会上都会放一张SuperCLUE的成绩。 不过让我觉得这次靠谱的,主要还是它的测法。 第一,它是端到端的。 不是选择题,也不是问答题,而是直接给你一堆真实文件,让Agent们交付一个能打开、能继续编辑的Word、PPT或者Excel出来。 我看了它公开的一道例题:扮演产业监管部门的负责人,给4份附件(两份发布稿、两份不合格明细表,其中一份还是老格式的.xls),要求交一份8到10页的可编辑Word月报,封面、目录、执行摘要、行动表一样不能少,百分比的小数位还得全文统一。 这看起来好熟悉啊,这不就是很多打工人熬夜做的那些事儿吗。。 资讯挺多,感觉好复杂。但是很真实了。 第二,评分非常细。每道题都五档评分细则。 而且,编数据会倒扣分,最多扣4档。
我也说两句