8月24日消息，Meta 現(xiàn)推出了一個(gè)名為 Code Llama 的 AI 編碼工具，號(hào)稱(chēng)“最先進(jìn)的大型編碼語(yǔ)言模型”。
該模型基于 Llama 2 大型語(yǔ)言模型打造，可以理解為“Llama 2 的寫(xiě)代碼專(zhuān)用版”，可用于“生成新的代碼并調(diào)試人類(lèi)編寫(xiě)的工作”，目前已上線 Github。
據(jù)悉，Code Llama 將采用與 Llama 2 相同的社區(qū)許可，并對(duì)研究和商業(yè)領(lǐng)域免費(fèi)開(kāi)放。
Meta 指出，Code Llama 能夠根據(jù)代碼核自然語(yǔ)言提示 / 要求生成你想要的代碼和有關(guān)代碼的自然語(yǔ)言，或者在指向特定代碼時(shí)進(jìn)行完善和調(diào)試。
除了基礎(chǔ)版的 Code Llama 外，Meta 還推出了專(zhuān)為 Python 設(shè)計(jì)的版本 ——Code Llama-Python，以及一個(gè)能夠理解自然語(yǔ)言指令的版本 ——Code Llama-Instrct。
在 Meta 的基準(zhǔn)測(cè)試中，Code Llama 在編程任務(wù)上的表現(xiàn)優(yōu)于最先進(jìn)的公開(kāi)可用的 LLM 模型。
Meta 稱(chēng)，每個(gè)特定的 Code Llama 版本都不可切換 / 替代，公司不建議將基本 Code Llama 或 Code Llama-Python 用于自然語(yǔ)言指令。
Meta 發(fā)布了三種大小的 Code Llama，分別具有 7B、13B 和 34B 參數(shù)。每個(gè)模型都使用 500B 代碼 tokens 和代碼相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練，而且 7B 和 13B 基礎(chǔ)模型和指令模型也經(jīng)過(guò)了中間填充 (FIM) 功能的訓(xùn)練，允許它們將代碼插入到現(xiàn)有代碼中。
