京東云昨日宣布，京東云已正式上線DeepSeek-R1 和 DeepSeek-V3模型，支持公有云在線部署、�；焖接谢瘜�(shí)例部署兩種模式，供用戶按需部署，快速調(diào)用。
附兩種部署方式：
公有云在線部署
開(kāi)發(fā)者和企業(yè)可以在京東云官網(wǎng)，進(jìn)入言犀 AI 開(kāi)發(fā)計(jì)算平臺(tái)的“AI 資產(chǎn)市場(chǎng)”中，選用該模型進(jìn)行一鍵部署。
言犀 AI 開(kāi)發(fā)計(jì)算平臺(tái)已經(jīng)支持 DeepSeek-V3、DeepSeek-R1 以及所有蒸餾小參數(shù)模型（DeepSeek-R1-Distill）的一鍵部署，具體步驟如下：
1、選擇基礎(chǔ)模型在“AI 資產(chǎn)市場(chǎng) / 模型”中，提供 DeepSeek 開(kāi)源的多個(gè)版本，如 DeepSeek-R1-Distill-Qwen-1.5B，點(diǎn)擊進(jìn)入卡片頁(yè)可了解模型結(jié)構(gòu)和預(yù)訓(xùn)練數(shù)據(jù)等關(guān)鍵信息，并查看模型文件結(jié)構(gòu)。
2、準(zhǔn)備資源節(jié)點(diǎn) 在部署時(shí)，LLM 模型因?yàn)槟Ｐ洼^大，資源性能要求較高，需要獨(dú)占計(jì)算卡進(jìn)行部署，建議提前準(zhǔn)備好專屬資源節(jié)點(diǎn)。功能路徑：專屬資源組-創(chuàng)建資源組-創(chuàng)建節(jié)點(diǎn)。節(jié)點(diǎn)規(guī)格：部署 DeepSeek-R1-Distill，推薦使用 cap.p.n3a30.4xlarge；部署 DeepSeek-V3，推薦使用 cap.hc.p5h20.46xlarge
3、模型部署使用將模型部署到相應(yīng)的服務(wù)資源上提供推理調(diào)用服務(wù)，在部署時(shí)平臺(tái)將自動(dòng)適配預(yù)置推理框架，實(shí)現(xiàn)一鍵部署，僅需指定使用的專屬資源組和對(duì)應(yīng)的節(jié)點(diǎn)規(guī)格。部署完成后，狀態(tài)將會(huì)變?yōu)檫\(yùn)行中，運(yùn)行中的模型可被調(diào)用，提供推理服務(wù)。功能路徑：專屬資源組-創(chuàng)建資源組-創(chuàng)建節(jié)點(diǎn)在線服務(wù)-部署；在線服務(wù)-服務(wù)列表 | 服務(wù)名稱-在線調(diào)試
私有化算力實(shí)例部署
�；焖接谢懔�(shí)例部署模式，已經(jīng)同步上線京東云 vGPU AI 算力平臺(tái)，為金融、企業(yè)、政府等客戶提供數(shù)據(jù)不出域的私有化模型推理服務(wù)。
以 DeepSeek R1 版本為例，具體的使用步驟如下：1、進(jìn)入算力管理頁(yè)面，點(diǎn)擊租用新實(shí)例按鈕
2、選擇資源規(guī)格以及對(duì)應(yīng)帶有 deepseek 模型的鏡像
3、資源創(chuàng)建成功后通過(guò) Jupyterlab 進(jìn)入實(shí)例，啟動(dòng) Ollama 即可與之對(duì)話
京東云言犀 AI 開(kāi)發(fā)計(jì)算平臺(tái)還支持私有化部署及 API 快速集成，通過(guò)自研高性能資源管理與彈性調(diào)度系統(tǒng)，可提供大模型的全生命周期服務(wù)及部署，涵蓋模型開(kāi)發(fā)、推理及多場(chǎng)景應(yīng)用擴(kuò)展。
針對(duì)資源緊缺的場(chǎng)景，京東云支持通過(guò)蒸餾技術(shù)訓(xùn)練企業(yè)自己的大模型，減少模型部署所需資源的同時(shí)具備較好的性能。使用京東云 vGPU AI 算力平臺(tái)，可以將多個(gè)蒸餾過(guò)的企業(yè)自有模型部署在同一張卡上，有效提升資源利用率 70%。
