Intel Vision 24:Intel與合作夥伴共建AI開放平台,搭配RAG技術強化企業私有LLM應用

Intel Vision 24:Intel與合作夥伴共建AI開放平台,搭配RAG技術強化企業私有LLM應用

ADVERTISEMENT

Intel執行長Pat Gelsinger在Vision 24大會宣佈與合作夥伴共建AI開放平台,並展示RAG技術,讓現有大型語言模型能夠搭配具有新資訊的資料庫,快速更新AI的「認知」。

快速部署私有LLM

目前使用大型語言模型(Large Language Model,以下簡稱LLM)的一大問題,就是LLM僅擁有的訊練當下所輸入的資訊,而對於訓練之後所發生的事件一無所知。舉例來說,使用截至2023年的資料所訓練的LLM,可能很擅長回答2022年的資訊,但若詢問2024年的資訊,可能就會出現錯誤甚至得到「無法回答」的結果。

然而加入新資料並重新訓練LLM並不是件簡單的事,過程需要花費許多時間與電力(意味著高額電費或是伺服器租賃費用),若以每月或是每週的頻率重新訓練,將衍生沉重的成本負擔。

而檢索增強生成(Retrieval Augmented Generation,以下簡稱RAG)則是能在現有LLM之上「外掛」包含有新資料、文件、檔案的資料庫,讓LLM能夠自動從資料庫尋找資訊,簡化加入新資料的工作流程。

另一方面Intel也攜手Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick和Zilliz等合作夥伴,宣布建立適合企業AI的開放平台,協助企業快速導入LLM與各種AI解決方案。

企業AI開放平台也能與RAG相輔相成,企業能夠下載開放的LLM搭配私有資料庫,並整合為能夠回答包含私有資訊的聊天機器人,實現效益更高的部署便利性、最佳效能和價值,並且落實在本地端進行AI推論以降低資安風險,強化企業的生成式AI應用。

檢索增強生成(Retrieval Augmented Generation,RAG)能夠讓現有LLM「讀取」新資料庫的資訊,達到快速追加新資料的效果。

Intel攜手眾多合作夥伴建立適合企業AI的開放平台。

RAG協助回答即時資訊

Pat Gelsinger也在Vision 24大會演說上進行RAG的實際展示,展現RAG能夠協助使用者爬梳資訊,由資料庫中的文件檔案找出具有參考價值的回答。

Vision 24大會演說進行的RAG實際展示,展示平台為執行於Gaudi 2加速器上的Llama 2 70B模型。(可參考重播影片的3:30開始段落)

當被詢問到Vision 24大會中RAG段落的資訊時,左方的純Llama 2 70B模型回應不知道資訊,然後列出RAG的解釋。右方的Llama 2 70B模型搭配RAG則能在資料庫中找到演說資料,並列出資料來源的參考檔案。

將畫面放大看,搭配RAG的情況下能夠回答演說的日期、時間、地點等資訊。

接下來詢問RAG搭配Gaudi 2加速器與Xeon處理器能帶來的TCO效益,純Llama 2 70B模型回應相當冗長,但資訊並不是十分實用。Pat Gelsinger開玩笑說跟他的一位叔叔一樣,講了半天但是沒有重點。

搭配RAG則是清楚回應能夠提供1.5倍相對於NVIDIA H100平台的TCO優勢。

接下才測試輸入提示詞對回答造成的影響,先輸入你有AI軟體市場成長的預估資料嗎(Do you have forecast data for AI software market revenue growth?)。

接下來將問題原文的資料(data)改為資訊(inforamtion),純Llama 2 70B模型的2次回答南轅北轍,而搭配RAG則回答相同,能夠降低不同提示詞所造成的回答偏差。

有興趣瞭解更多資訊的讀者,可以到Intel官方網站觀看Vision 24大會演說的精華片段,以及更多技術展示。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則