智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智東西7月24日報道，NVIDIA宣布推出全新NVIDIA AI Foundry服務和NVIDIA NIM推理微服務，與剛推出的Meta Llama 3.1系列開源模型一起，為全球企業的生成式AI提供強力支持。
Llama 3.1大語言模型有8B、70B和405B三種參數規模。模型在超過16000個NVIDIA Tensor Core GPU上訓練而成，并針對NVIDIA加速計算和軟件（無論是在數據中心、云以及配備NVIDIA RTX GPU的本地工作站或配備GeForce RTX GPU的PC上）進行了優化。
就像臺積電是面向全球芯片企業的代工廠，NVIDIA也打造了企業級AI代工廠NVIDIA AI Foundry。
NVIDIA創始人兼CEO黃仁勛談道：“Meta的Llama 3.1開源模型標志著全球企業采用生成式AI的關鍵時刻已經到來。Llama 3.1將掀起各個企業與行業創建先進生成式AI應用的浪潮。NVIDIA AI Foundry已經在整個過程中集成了Llama 3.1，并能夠幫助企業構建和部署自定義Llama超級模型。”
NVIDIA AI Foundry由NVIDIA DGX Cloud AI平臺驅動，由NVIDIA與全球領先的公有云共同設計，提供一種可用于快速構建自定義超級模型的端到端服務，旨在為企業提供大量計算資源，所提供的計算資源可隨著AI需求的變化輕松擴展。
“借助NVIDIA AI Foundry，企業可以輕松創建和定制大家想要的最先進的AI服務，并通過NVIDIA NIM進行部署。”Meta創始人兼CEO馬克·扎克伯格說。
企業如果需要更多訓練數據來創建特定領域的模型，可使用自有數據以及由Llama 3.1 405B和NVIDIA Nemotron Reward模型生成的合成數據，來訓練這些超級模型，以提高準確性。擁有自己的訓練數據的客戶可以使用NVIDIA NeMo對Llama 3.1模型進行自定義，通過領域自適應預訓練（DAPT）進一步提高模型的準確性。
NVIDIA和Meta還一起為Llama 3.1提供了一種蒸餾方法，供開發者為生成式AI應用創建更小的自定義Llama 3.1模型。這使企業能夠在更多加速基礎設施（如AI工作站和筆記本電腦）上運行由Llama驅動的AI應用。
創建自定義模型后，企業就可以構建NVIDIA NIM推理微服務，以便在其首選的云平臺和全球服務器制造商提供的NVIDIA認證系統上，使用自己選擇的最佳機器學習運維（MLOps）和人工智能運維（AIOps）平臺在生產中運行這些模型。
NIM微服務有助于將Llama 3.1模型部署到生產中，其吞吐量最多可比不使用NIM運行推理時高出2.5倍。
從ai.nvidia.com即可了解適用于Llama 3.1模型的NVIDIA NIM推理微服務，以加快將Llama 3.1模型部署到生產級AI的速度。
將Llama 3.1 NIM微服務與全新NVIDIA NeMo Retriever NIM微服務組合使用，就能為AI copilot、助手和數字人虛擬形象搭建先進的檢索工作流。
通過使用全新NVIDIA NeMo Retriever NIM推理微服務來實現檢索增強生成（RAG），企業可將自定義Llama超級模型和Llama NIM微服務部署到生產中，以提高響應準確性。
當與適用于Llama 3.1 405B的NVIDIA NIM推理微服務結合使用時，NeMo Retriever NIM微服務能為RAG工作流中的開放和商業文本問答帶來極高的檢索準確性。
NVIDIA AI Foundry結合NVIDIA軟件、基礎設施和專業知識與開放社區模型、技術和來自NVIDIA AI生態系統的支持。NVIDIA AI Enterprise專家和全球系統集成商合作伙伴與AI Foundry客戶一同加快從開發到部署的全過程。
專業服務公司埃森哲率先借助NVIDIA AI Foundry，使用Accenture AI Refinery框架為自己以及希望所部署的生成式AI應用能夠反映其文化、語言和行業的客戶來創建自定義Llama 3.1模型。
醫療、能源、金融服務、零售、交通、電信等行業的企業已在使用適用于Llama的NVIDIA NIM微服務。首批使用面向Llama 3.1全新NIM微服務的公司有Aramco、AT&T、優步等。
數百家提供企業、數據和基礎設施平臺的NVIDIA NIM合作伙伴現在能夠將這些新的微服務集成到其AI解決方案中，為NVIDIA社區500多萬開發者和1.9萬家初創公司的生成式AI提供助力。
通過NVIDIA AI Enterprise即可獲得Llama 3.1 NIM和NeMo Retriever NIM微服務的生產支持。NVIDIA開發者計劃會員將很快能夠免費訪問NIM微服務，以在他們首選的基礎設施上進行研究、開發和測試。
方便易得、高性價比是推動企業采用AI的必要努力。近年來，NVIDIA正通過推出AI Foundry、NIM微服務、自研多款高性能大模型等種種努力，來幫助企業更輕松地獲取先進生成式AI模型的能力，滿足其業務需求。
在Llama 3.1發布的同時，NVIDIA推出一系列幫助企業快速自定義或應用部署Llama 3.1的工具，可見這家AI計算巨頭對前沿產業變動的敏銳嗅覺和行動力。相比其他還在專注于芯片研發的公司，英偉達顯然已經走到了更遠的前方。
