歐洲雲服務企業 OVH 涉足 AI 模型,開源發佈 Olala mini 7A1B
IT之家 11 月 17 日消息,歐洲雲服務企業 OVHcloud 當地時間今日宣佈推出其首個 AI 模型家族 Olala,同時公佈了該系列的首個成員 Olala mini 7A1B。Olala mini 7A1B 採用結合了 Differential-TPA 和 Mamba-3 的混合注意力機制,總參數 70 億、激活參數 10 億,使用 BF16 數據格式。該模型將以 Apache 2.0 許可開源發佈在 Hugging Face 上。其可在 8GB 顯存的 GPU 上運行,在 RTX A4500 上可實現 160 TPS 的詞元吞吐量,僅 CPU 平臺也能實現 50 TPS。OVH 表示,Olala mini 7A1B 在三臺歐洲公共超級計算機上利用 NVIDIA 的 GH200、A100、H100 訓練而成,總開銷達到 700 萬歐元(IT之家注:現匯率約合 5,142.8 萬元人民幣)。Olala mini 7A1B 模型初始版本上下文長度爲 32K,預計今年底推出的 1.1 版本將擴展至 128K 上下文並具備更好的數學能力。OVH 後續將持續開發 AI 模型,Olala 2.0 的參數規模將>100B。
Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →