中新网北京5月30日电 (记者 张素)“Token质量参差不齐,一些服务商的模型很‘笨’。”清华大学计算机系长聘教授翟季冬近日在一场活动上说,部分服务商的慢响应比例接近20%,这意味着其提供的五分之一的服务都有问题。
“中科创星硬科技媒体行——清程极智专场活动”近日在北京举行,图为清华大学计算机系长聘教授翟季冬。主办方供图
Token,中文名“词元”,通俗来说为人工智能(AI)识别文字的最小碎片。国家数据局发布数据显示,今年3月,中国日均Token调用量已突破140万亿,较2024年初的1000亿增长超千倍。
有观察认为,全球AI产业已进入规模化落地的关键阶段,Token成为AI时代的“水电煤”,是大模型服务与智能应用的核心生产要素。
近日在北京举行的“中科创星硬科技媒体行——清程极智专场活动”上,翟季冬表示,伴随Agent智能体、多模态应用快速普及,Token正从交互用量转向生产用量,直接推动产业对推理效率、部署成本、服务稳定性的要求持续攀升。
Token需求爆发,国产算力与国产模型迎来高速发展,但二者之间的推理环节却长期依赖海外引擎。同时,Token服务市场面临的乱、贵、慢、选型难等突出问题,也成为制约AI技术普惠化、规模化落地的瓶颈。
作为清程极智首席科学家,翟季冬介绍说,团队针对大模型部署成本高、国产算力适配不足的痛点推出赤兔推理引擎。同时,面对Token服务市场服务商林立、指标混乱、选型成本高的行业乱象,打造AI Ping一站式大模型服务评测与API智能路由平台。
据悉,该平台已接入600余个大模型服务,覆盖文本、图片、视频等全场景,通过7×24小时多地域分布式监测,实时输出延迟、吞吐、可靠性、价格等核心指标,数据真实可核验。
“中国拥有世界上最繁荣的开源模型生态,AI算力持续增长。通过Token调用使用AI大模型的用户也日益增多。”翟季冬表示,他们将持续深耕AI基础设施领域,坚持核心技术自主可控,不断迭代赤兔推理引擎对国产芯片的适配能力,完善AI Ping评测与路由服务。(完)