我們獲悉，阿里巴巴達摩院已正式開源深度語言模型體系AliceMind。
歷經三年研發，AliceMind從通用語言模型StructBERT的基礎上，拓展到多語言、生成式、多模態、結構化、知識驅動等領域，能力全面;先后登頂GLUE等六大AI權威榜單，6月還入選了2021世界人工智能大會最高獎SAIL獎TOP30榜單。
達摩院相關負責人表示，希望通過開源來降低業界研究和創新應用的門檻，助推語言AI進入大工業時代。
自然語言處理(NLP)被譽為AI皇冠上的明珠，傳統NLP模型制作復雜，耗時耗力，且用途單一，難以復用，猶如手工作坊。但近幾年興起的預訓練語言模型，正在改變局面，有望讓語言AI走向入可規模化復制的工業時代。如果用煉鋼來類比，以前要獲得一個可用的NLP應用模型，要從鐵礦石開始煉鋼，周期長，費用高，產量低;但現在有了開源的預訓練語言模型，相當于有了現成的粗鋼，只需要把粗鋼煉成所需的特定鋼材，效率大為提升。
據介紹，達摩院深度語言模型體系AliceMind，包括通用語言模型StructBERT、多語言VECO、生成式PALM、多模態StructVBERT、結構化StructuralLM、知識驅動LatticeBERT、機器閱讀理解UED、超大模型PLUG等，此次大部分已開源。(https://github.com/alibaba/AliceMind)
AliceMind先后登頂了GLUE Benchmark、多語言XTREME在內的六大權威AI榜單，上周再次登頂的多模態權威榜單VQA Challenge 2021，類似看圖問答，給定一張圖像和關于圖像的自然語言問題，AI需要提供準確的自然語言答案。
AliceMind戰勝了微軟、Facebook等幾十家國際頂尖團隊，將紀錄從去年第一名的76.36%顯著提升到79.78%，接近人類水平(80.78%)。
霸榜背后，是AliceMind持續創新和進化。達摩院團隊在BERT基礎上提出優化模型StructBERT，2020年多次在NLP頂級賽事GLUE Benchmark上奪冠。該模型通過在句子和詞級別引入兩個新的目標函數，好比給AI裝上“語法識別器”，在面對語法錯亂時，AI依然能準確理解并給出正確回應，大大提高機器對語言的整體理解力。而此次在VQA Challenge 2021登頂的多模態模型StrucVBERT，融合了通用模型StructBERT和結構化模型StructuralLM，同時引入文本和圖像模態，利用更高效的視覺特征和創新的注意力機制在統一的多模態語義空間進行聯合建模。
據了解，AliceMind掌握語言超過100種，具有閱讀、寫作、翻譯、問答、搜索、摘要生成、對話等多種能力，目前已成為阿里的語言技術底座，日均調用量超過50億次，活躍場景超過200個，已在跨境電商、客服、廣告等數十個核心業務應用落地。在阿里之外，AliceMind廣泛運用于醫療、能源、金融等多個行業。其中，浙江電網公司以AliceMind為底座為員工構建智能化運維平臺，應用于變壓器檢修、供電搶修等業務，已經開始在國家電網公司統一推廣。
阿里達摩院深度語言模型團隊負責人黃松芳表示，“預訓練語言模型已成為NLP領域的基石和原材料，AliceMind開源將降低NLP領域研究和應用創新的門檻，助推行業從手工業時代走向大工業時代。”
