MiniMax 國內首個 MoE 大語言模型上線 擁有處理複雜任務能力

MiniMax 國內首個 MoE 大語言模型上線 擁有處理複雜任務能力

【本站科技1月16日報道】今日,MiniMax宣佈國內首個MoE大語言模型abab6上線,經過了半個月的內測和部分客戶反饋,該模型在MoE結構下,擁有處理複雜任務的能力,並在單位時間內提升了訓練效率。相較於之前版本abab5.5,在處理更復雜和對模型輸出有更精細要求的場景中做出了改進。

精靈寶可夢 第4季 超級願望(寶可夢 超級願望) 田尻智

據介紹,自2023年4月發佈開放平臺以來,MiniMax已服務近千家客戶,包括金山辦公、小紅書、騰訊、小米和閱文等多家互聯網公司。MiniMax開放平臺平均單日token處理量達數百億。

杨幂单身4年寂寞了 松口认「期待爱情又嫌麻烦」

寶貝,要不夠你的甜 小說

據瞭解,MiniMax表示abab5.5與先進模型GPT-4相比仍有差距,主要表現在處理更復雜場景時可能違反用戶要求的輸出格式或發生錯誤。爲解決此問題,MiniMax自6月份開始研發MoE模型abab6,參數規模更大,有望在複雜任務下取得更好效果。

此外,擴大參數規模可能帶來推理速度降低和訓練時間延長的問題,爲保證abab6的運算速度,MiniMax採用MoE結構,將模型參數劃分爲多組“專家”,每次推理只有一部分專家參與計算。這一結構使abab6在處理複雜任務時更爲高效,目前是國內首個千億參數以上的基於MoE結構的大語言模型。(江淼)

竹联帮互轰北市警推11天扫黑 基层叹:没完没了

本文系本站科技原創報道,更多新聞資訊和深度解析,關注我們。

茅山捉鬼人 小說

3生肖度劫后有大福 晚年运会很好

《韩股》韩股挫1.8% 韩元贬创新低

汐止NEXT!「星野之森」优付住近南港