中國食品安全網(wǎng)訊（記者譚妮妮）零售的本質(zhì)，圍繞成本、效率和體驗(yàn)展開。當(dāng)以大模型為代表的人工智能時(shí)代來臨，并從狂飆的“百模大戰(zhàn)”走向理性的“落地為王”，原本存在于零售行業(yè)難以平衡“不可能三角”，便有了新的解法。

九數(shù)算法中臺(tái)，這一錘煉于京東內(nèi)部高并發(fā)、高復(fù)雜協(xié)同零售場(chǎng)景的MaaS工具，支持傳統(tǒng)模型和大模型訓(xùn)練。現(xiàn)已對(duì)接京東言犀大模型等多個(gè)開源模型，秉承“多云多模、端云協(xié)同”理念，持續(xù)深耕技術(shù)，旨在推動(dòng)零售電商場(chǎng)景降低成本、提升效率、優(yōu)化體驗(yàn)。

2023年京東11.11，九數(shù)算法中臺(tái)及其上的一批模型應(yīng)用獲得大規(guī)模實(shí)操機(jī)會(huì)，算力方面實(shí)現(xiàn)千卡級(jí)別分布式調(diào)度，為800+電商業(yè)務(wù)提供核心算法服務(wù)，實(shí)現(xiàn)億級(jí)用戶及商品理解建模。

高效算力智能調(diào)度：實(shí)現(xiàn)資源分配“最優(yōu)解”   降低算力成本

算力，是大模型實(shí)現(xiàn)價(jià)值躍升的重要“賽點(diǎn)”。但大模型落地過程中，仍面臨算力需求指數(shù)級(jí)增長、算力成本高、異構(gòu)復(fù)雜度高、跨域多維調(diào)度等挑戰(zhàn)。因此，實(shí)現(xiàn)算力統(tǒng)一高效、低成本調(diào)度，尤為關(guān)鍵。

淬煉于京東零售業(yè)務(wù)的九數(shù)算法中臺(tái)，在底層算力層面，建設(shè)新一代異構(gòu)跨域智能算力調(diào)度系統(tǒng)，進(jìn)行算力資源調(diào)度的精細(xì)化管控，實(shí)現(xiàn)算力資源分配的近似“最優(yōu)解”，助力零售算法算力降低成本。

這一技術(shù)架構(gòu)，從算法任務(wù)全周期的五個(gè)階段進(jìn)行優(yōu)化，覆蓋動(dòng)態(tài)隊(duì)列、多維感知、調(diào)度決策、高效執(zhí)行、智能歸因，不僅將最遠(yuǎn)相距兩千公里的多個(gè)機(jī)房算力統(tǒng)一為算力集群，實(shí)現(xiàn)跨域調(diào)度和資源高效匹配，還通過GPU算子化、算子融合、IO優(yōu)化、RDMA等技術(shù)，系統(tǒng)優(yōu)化計(jì)算任務(wù)，極致壓榨硬件性能，使GPU利用率提升1倍，大幅縮減算力成本。

多模：高效微調(diào)“開箱即用”   提升業(yè)務(wù)效率

經(jīng)歷了技術(shù)爬坡的大模型，如今正走向應(yīng)用落地，表現(xiàn)出推動(dòng)產(chǎn)業(yè)數(shù)智升級(jí)的巨大潛力。但應(yīng)用之路并非想象中順利，大模型時(shí)常出現(xiàn)“幻覺”、時(shí)效性差、專業(yè)知識(shí)不足、數(shù)據(jù)安全等問題還有待攻克。

針對(duì)上述問題，九數(shù)算法中臺(tái)著力構(gòu)建一整套完善的大模型應(yīng)用能力框架，支持高性能高速微調(diào)和RAG知識(shí)檢索技術(shù)，大幅提升模型訓(xùn)練效率，解決復(fù)雜程度各異的業(yè)務(wù)問題，致力于提供更好的服務(wù)體驗(yàn)。

以SFT（高效微調(diào)）技術(shù)解決單步簡(jiǎn)單業(yè)務(wù)問題。比如當(dāng)用戶詢問“蘋果手機(jī)有哪些基礎(chǔ)功能”時(shí)， SFT技術(shù)可基于預(yù)訓(xùn)練基座模型，使用零售電商垂直領(lǐng)域的數(shù)據(jù)對(duì)大模型進(jìn)行微調(diào)，得到具有該特定業(yè)務(wù)領(lǐng)域知識(shí)的垂直大模型，進(jìn)而回答用戶咨詢。

目前，九數(shù)算法中臺(tái)集成包括言犀大模型在內(nèi)的多個(gè)主流LLM模型，自研9N-SFT框架，統(tǒng)一模型的樣本標(biāo)準(zhǔn)、訓(xùn)練模式等，實(shí)現(xiàn)一份樣本和配置可以在多個(gè)模型間隨意切換。通俗地說，多個(gè)主流LLM模型經(jīng)過算法工程師一一配置，可在九數(shù)的環(huán)境下實(shí)現(xiàn)“開箱即用”，讓大模型在調(diào)用時(shí)“試得更快”，較純開源代碼性能提升約40%。這一自研框架現(xiàn)已應(yīng)用于京東內(nèi)部多個(gè)業(yè)務(wù)，實(shí)現(xiàn)SFT技術(shù)的低成本應(yīng)用。

以RAG（檢索增強(qiáng)生成）技術(shù)處理相對(duì)固定流程復(fù)雜業(yè)務(wù)問題。具體到零售場(chǎng)景中，無論是來自C端用戶的商品咨詢，還是來自B端商家的平臺(tái)入駐咨詢，對(duì)時(shí)效性、專業(yè)度、準(zhǔn)確性要求都更高，還需要大模型具備多輪對(duì)話的理解能力。RAG+LLM技術(shù)可以充分發(fā)揮人工智能結(jié)合上下文語義理解的能力，為用戶提供更優(yōu)質(zhì)的體驗(yàn)。

具體來說，RAG技術(shù)由索引、檢索、生成三大組件構(gòu)成，通過LangChain實(shí)現(xiàn)大語言模型和外部知識(shí)庫的連接。比如當(dāng)用戶詢問“某兩款不同品牌手機(jī)有什么不同時(shí)”時(shí)，RAG技術(shù)通過索引，為大模型“外掛”兩款手機(jī)不同參數(shù)、不同屬性數(shù)據(jù)、最新熱門趨勢(shì)等知識(shí)庫，通過檢索技術(shù)在商品知識(shí)庫中找到準(zhǔn)確的商品參數(shù)等信息，通過大模型生成能力對(duì)比兩款手機(jī)在哪些重要維度有所不同，高效、精準(zhǔn)地向用戶輸出兩款手機(jī)差異性。

面向未來，九數(shù)算法中臺(tái)致力于實(shí)現(xiàn)“基于意圖的結(jié)果指定”這一全新的產(chǎn)品交互方式，通過AI Agent（智能體）為用戶提供服務(wù)，以更高智能化的方式解決更復(fù)雜的業(yè)務(wù)問題。

端云協(xié)同：大模型“輕量部署”    優(yōu)化用戶體驗(yàn)

無疑，大模型應(yīng)用落地對(duì)本地計(jì)算呈現(xiàn)出指數(shù)級(jí)增長需求，如果將全部計(jì)算交由云計(jì)算進(jìn)行集中式處理，并不現(xiàn)實(shí)。更合理的路徑是，既要充分發(fā)揮云計(jì)算優(yōu)勢(shì)，又要調(diào)動(dòng)端計(jì)算的敏捷性，激活“端云協(xié)同”。在這一背景下，大小模型的端云協(xié)同變得更具現(xiàn)實(shí)意義。

京東判斷，大小模型協(xié)同將是未來大模型技術(shù)落地的重要路徑。一方面，大模型負(fù)責(zé)輸出通用能力，小模型負(fù)責(zé)實(shí)際推理執(zhí)行，不僅提升系統(tǒng)的覆蓋度和準(zhǔn)確率，亦可降低推理延時(shí)、保證隱私數(shù)據(jù)安全；另一方面，小模型可為大模型反饋數(shù)據(jù)，進(jìn)一步促進(jìn)大模型的優(yōu)化和提升，實(shí)現(xiàn)大小模型協(xié)同進(jìn)階。

九數(shù)算法中臺(tái)打造端云協(xié)同的AI技術(shù)體系，將AI模型放置于手機(jī)端，在交互全鏈路中提供AI能力，更加實(shí)時(shí)快捷地理解用戶訴求，并且進(jìn)行實(shí)時(shí)的計(jì)算，提升全鏈路用戶交互體驗(yàn)，優(yōu)化業(yè)務(wù)目標(biāo)預(yù)測(cè)。技術(shù)實(shí)現(xiàn)方面，通過pythonVM兼容主流操作系統(tǒng)及95%以上機(jī)型；基于自研高效推理引擎與多種壓縮編譯技術(shù)并行，推動(dòng)大模型輕量化發(fā)展；更通過大小模型協(xié)同訓(xùn)練達(dá)到一次訓(xùn)練即可云端通用，實(shí)現(xiàn)全鏈路智能化效果提升。

目前，九數(shù)算法中臺(tái)正探索端智能技術(shù)的兩個(gè)核心應(yīng)用場(chǎng)景：一是搜推場(chǎng)景中，搜索推薦業(yè)務(wù)對(duì)時(shí)延性要求極高，且使用越實(shí)時(shí)的數(shù)據(jù)對(duì)模型效果提升越大。利用端云協(xié)同，可以基于端上用戶最實(shí)時(shí)的數(shù)據(jù)，向用戶推薦更加準(zhǔn)確的商品。二是數(shù)據(jù)安全中，端智能計(jì)算結(jié)構(gòu)天然具備數(shù)據(jù)隔離的作用，確保敏感數(shù)據(jù)不上傳，保障數(shù)據(jù)安全性。

這一端智能技術(shù)還將應(yīng)用于更多場(chǎng)景。例如，優(yōu)化快遞小哥體驗(yàn)將快遞員裝車檢查從云端檢測(cè)遷移至手機(jī)端檢測(cè)，即便在弱網(wǎng)環(huán)境下，也可保證系統(tǒng)響應(yīng)速度，提升操作體驗(yàn)。

未來，京東還將持續(xù)深耕技術(shù)，結(jié)合零售電商領(lǐng)域的數(shù)智化經(jīng)驗(yàn)，持續(xù)推動(dòng)大模型走向行業(yè)深處。

延伸閱讀：關(guān)于京東云vGPU池化方案

面向大模型時(shí)代的數(shù)智算力需求，京東云依托自研混合多云多集群調(diào)度操作系統(tǒng)云艦，推出了vGPU池化方案，通過GPU異構(gòu)資源池化，提高了AI運(yùn)行效率，降低了成本，具有非常顯著的優(yōu)勢(shì)和實(shí)際應(yīng)用價(jià)值。vGPU池化方案能夠提供一站式GPU算力池化能力，將分散的GPU資源集中管理和調(diào)度，使得GPU利用率最高可提升70%。