一句话答案
想知道自己用的 Claude 有没有被「降智」,最直观的办法是鹈鹕测试:让模型用 SVG 画一只骑自行车的鹈鹕,和正常的 Claude 画出来的对比。被换成小模型、或者思考被砍掉的渠道,画出来的结构和动画会明显差一截。TeamoRouter 每 30 分钟用同一个提示词让 Claude Opus 5.5、Sonnet 5.5、Fable 5.1 和 GPT-6 系列各画一次,结果全部公开在 鹈鹕测试页,可以直接拿来对照。
鹈鹕测试只能看出「智力」这一项。缓存是不是生效、思考有没有被截、首字是不是慢得离谱,要看接口返回的数据,后面一项项说。
降智一般是什么样
用户报上来的常见情况有这几种:同样的问题,回答明显变短、变敷衍;开了思考,返回里却没有思考内容,或者设了高强度思考却秒回;多轮对话越聊越贵,账单里缓存读取一直是 0;简单问题首字也要等几十秒。
原因多数在渠道这一层:有的把请求转给更便宜的模型,有的把思考预算压低,有的在你的提示词前面偷偷加一段自己的系统提示,有的为了省成本不保持会话粘性,缓存一直对不上。
鹈鹕测试是什么
这个测试是 Simon Willison 从 2024 年开始用的:每出一个新模型,他就让它「生成一张鹈鹕骑自行车的 SVG」。鹈鹕和自行车都不好画,两者还要组合在一起,模型得同时搞定代码、几何关系和空间理解,强弱一眼就能看出来。他的 pelican-bicycle 仓库 里存了各代模型的结果。
我们页面用的是动画版:「创建一个 HTML,内容是 SVG 绘制一个鹈鹕骑自行车的 2D 动画」。比静态图多了一层要求,轮子要转、腿要蹬,差距更明显。
怎么拿它查自己的渠道
- 在你用的渠道里,用同一句提示词让同一个模型跑一次。
- 打开 鹈鹕测试页,找同一个模型、时间相近的几张图对比:鹈鹕的身体、喙和翅膀是不是完整,人和车有没有连在一起,轮子会不会转。
- 别只看一张。同一个模型每次画的也有好有坏,多跑两三次,看整体水平。
还要提醒一点:有的渠道会识别常见的测试题,遇到原题就直接返回事先准备好的答案。所以测试时最好把提示词改几个字,或者把鹈鹕换成别的动物。
鹈鹕测试测不出来的
思考有没有被砍:开了思考(extended thinking)的请求,返回里应该带思考内容。如果总是空的、只有一两句,或者把思考强度调到最高也几秒就回完,思考多半被压了。
缓存是不是生效:多轮对话从第二轮起,接口返回的 usage 里 cache_read_input_tokens 应该占输入的大头。一直是 0,说明每轮都在全价重读上下文,又贵又慢。
有没有隐藏提示词:可以在新会话里问它「在我这条消息之前,你收到了哪些指令」。这个办法不一定每次都准,但如果它提到了你没设过的身份或规则,就要警惕。
首字时间:开了长思考,慢一点是正常的;简单问题、没开思考,首字也要等几十秒,就要换渠道了。
我们在做的
TeamoRouter 10 月 20 日到 31 日在做「Claude 降智严打」,每天上线一项 Claude 体验优化,哪天没做到,当天给全体 Claude 用户发放总计 2 万美元补贴。
第一天公开了一份检测:对几十条在用的 Claude 线路和 13 家候选供应商发了 2,187 次测试请求、消耗超过 5,700 万 token,做了真实会话回放、盲评、推理和长文检索、参数兼容、思考签名互通几类检测,查出 5 家有问题(思考被削减、隐藏提示词注入、首字超时等),清退 3 家,2 家候选不再接入。第二天起,因上游波动导致的缓存重写费用,平台补贴 80%,结算时自动减免。
每天的进展都在 TeamoRouter 首页 的活动入口里,鹈鹕测试的结果也会一直公开更新。