市科技局:“悟空智算”成功適配DeepSeek全參數(shù)版
近日,人工智能大模型DeepSeek-R1671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領行業(yè)標桿。目前正式開放API(應用程序接口)服務,為戶提供開箱即好用的人工智能解決方案?!拔蚩罩撬恪弊鳛槲沂兄攸c打造的人工智能產(chǎn)業(yè)集群項目,現(xiàn)持有高性能、國產(chǎn)化、消費級多元化算力超6500P,是國家工業(yè)智算華東節(jié)點,也是目前公安部三所共建的第一個人工智能聯(lián)創(chuàng)中心。
“悟空智算”成功適配DeepSeek全參數(shù)版。近日,人工智能大模型DeepSeek-R1 671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領行業(yè)標桿,目前正式開放API(API是指通過接口形式為垂類人工智能應用提供DeepSeek算法調用)服務?!拔蚩罩撬恪弊鳛槲沂兄攸c打造的人工智能產(chǎn)業(yè)集群項目,現(xiàn)持有高性能、國產(chǎn)化、消費級多元化算力超6500P,是國家工業(yè)智算華東節(jié)點,也是目前公安部三所共建的第一個人工智能聯(lián)創(chuàng)中心。
本次“悟空智算”部署的DeepSeek-R1為671B全參數(shù)版,DeepSeek-R1按參數(shù)量劃分有1.5B、7B、14B……671B版本,均為開源。參數(shù)越大模型精度越高,同時對設備要求性能越高,“悟空智算”除了實現(xiàn)了全量部署外,主要是對模型調用進行了二次優(yōu)化,每秒4416Token的生成速度,為目前國內公開渠道已知的最快速度(未經(jīng)過專門優(yōu)化的算力中心Token生成速度約為1480個左右,國產(chǎn)算力常規(guī)生成速度在每秒80-450個左右),Token的生成速度直接決定了單位時間對數(shù)據(jù)處理的任務數(shù)量,生成速度快可以更好的快速響應大規(guī)模的數(shù)據(jù)計算,大大提高了工作效率降低了系統(tǒng)故障率。
掃一掃打開當前頁