最新推理模型 QwQ-32B 上线基石智算,速来体验!
2025-03-07 11:42:23爱云资讯3369
QwQ-32B,仅 320 亿参数,却能与 6710 亿参数的 DeepSeek - R1 相媲美,现已正式上线基石智算CoresHub 模型广场。
QwQ-32B 在数学推理的 AIME 评测集、代码能力评估的 LiveCodeBench 中表现出色,在 LiveBench、IFEval 评测集、BFCL 测试中得分甚至超越了 DeepSeek - R1,同时集成了与 Agent 智能体相关的能力,能在使用工具时进行批判性思考,并根据环境反馈调整推理过程。
青云科技旗下AI算力云——基石智算致力于打造技术领先的 AI Infra 平台,将 AI 算力云与模型开发部署服务完美融合,通过模型广场实现云端一键部署,让用户更便捷地根据自身需求进行个性化的模型调用和管理,按需使用算力。
本文将介绍如何通过基石智算模型广场使用 QwQ-32B。
第一步:进入“AI算力云服务”—选择“西北三区“—“模型广场”,选择 QwQ-32B 模型。点击“模型部署”按钮。
第二步:点击模型部署后,选取对应的算力资源,建议选择4卡4090资源。
第三步:点击“创建”按钮,进入推理服务详情页面,在服务信息页签内,获取外网访问地址和 API 密钥。
第四步:模型调用。
方法一.临时调用
将外网访问链接中的 inference 字段修改为 inference-web。
浏览器中输入修改后的外网链接,即可直接使用
方法二.直接使用Curl手动调用
模型部署完成后,用户可打开本地电脑终端。
执行如下命令,直接发送 HTTP POST 请求。
回显示例:
方法三.使用第三方客户端调用(以CherryStudio为例)
1.下载安装好CherryStudio,点击设置-模型服务
2.在弹出添加提供商窗口中,配置各项参数,点击确定。
新添加的提供商已显示在列,配置相应的API 密钥和API 路径,并点击管理。API 密钥:即模型部署完成后,服务信息页面获取到的 API 密钥,需根据实际情况进行修改。
API 地址:即模型部署完成后,服务信息页面获取到的 外网访问地址,需根据实际情况进行修改。
4.输入QwQ-32B模型名称,就可以添加模型。
基石智算提供 NVIDIA 全系列、主流国产芯片等多元算力资源,提供包括 QwQ-32B、DeepSeek-R1、DeepSeek-V3 在内的文本处理、文生图、文生视频、语音转换等多种类型的模型,支持模型的一键启动、一键部署以及在线微调,助力用户打造专属 AI 应用。