12月7日,人工智能自然語言處理領域的頂級國際會議 EMNLP 2022 在阿布扎比開幕。EMNLP 聚焦于自然語言處理技術在各個應用場景的學術研究,尤其重視自然語言處理的實證研究。該會議曾推動了預訓練語言模型、文本挖掘、對話系統、機器翻譯等自然語言處理領域的核心創新,在學術和工業界都有巨大的影響力。此次會議上,由阿里云機器學習平臺 PAI 主導聯合阿里巴巴達摩院 NLP 團隊、華東師范大學高明教授團隊在小樣本學習方向的研究有3篇論文入選。

此次入選意味著阿里云機器學習平臺 PAI 自研的自然語言處理算法和框架達到了全球業界先進水平,獲得了國際學者的認可,展現了中國人工智能技術創新在國際上的競爭力。

小樣本學習論文簡述

預訓練語言模型規模的擴大,帶來這一類模型在自然語言理解等相關任務效果的不斷提升。然而,這些模型的參數空間比較大,如果在下游任務上直接對這些模型進行微調,為了達到較好的模型泛化性,需要較多的訓練數據。小樣本學習技術能充分利用預訓練過程中模型獲得的知識,在給定小訓練集上訓練得到精度較高的模型。本次阿里云機器學習平臺 PAI 共有 3 篇小樣本學習相關論文入選,簡述如下。

基于 Prompt-Tuning 的小樣本機器閱讀理解算法 KECP

傳統的機器閱讀理解任務通常需要大量的標注數據來微調模型(例如 BERT),這一任務通常需要采用序列標注或指針網絡的方法,獲得答案在給定文章的區間。然而,這種方法需要重頭開始學習 Preduction Head 的參數,在小樣本場景下容易過擬合。最近 Prompt-Tuning 相關方法的提出緩解了預訓練語言模型在低資源場景下的過擬合問題。受到這個啟發,我們將抽取式閱讀理解轉換為基于 BERT 的生成任務。我們提出的 KECP(Knowledge Enhanced Contrastive Prompt-tuning)模型綜合利用了模型表示的知識增強和對比學習技術,提升了小樣本學習場景下的機器閱讀理解準確度,模型架構如下圖。實驗結果可以證明,KECP 在一些常用的機器閱讀理解數據集上,在只有 16 個標注的訓練樣本情況下,取得了比先前提出的模型更好的精度。

基于 Span 和元學習的小樣本實體識別算法 SpanProto

命名實體識別是 NLP 領域中非常常見的任務,對于這一任務,預訓練語言模型的 Fine-tune 需要一定數量的語料來學習 Token 與 Label(例如人名、地名)之間的依賴關系。但是在實際應用中,標注數據資源比較稀缺,傳統的序列標注方法很難達到較好的效果,因為其需要解決實體識別中的標簽依賴(Label Depnedency)關系,同時也無法應對實體嵌套(Nested Entity)問題。因此,我們研究一種基于 Span 和元學習的小樣本實體識別技術 SpanProto,特別地,我們關注于解決 N-way K-shot 的實體識別場景。SpanProto 采用兩階段方法,即將實體識別任務分解為兩個階段,分別是 Span Extraction 和 Mention Classification,模型框架圖如下所示。

在 Span Extraction 模塊中,SpanProto 使用與類別無關的 Span 抽取器,抽取出可能的命名區間。在 Mention Classification 模塊中,SpanProto 采用 Prototypical Learning 給每個 Span 分配標簽;與此同時,我們考慮到命名實體識別的 False Positive 問題,即存在一些抽取的 Span 在當前 Episode 內沒有合適的類別可以分配的情況。為了驗證 SpanProto 算法的有效性,我們在 Few-NERD 這一標準評測數據集上進行了測試,效果證明 SpanProto 對精度提升明顯。

統一跨任務小樣本學習算法 UPT

基于提示微調(Prompt Tuning)的小樣本學習技術能充分利用預訓練過程中模型獲得的知識,在給定小訓練集上訓練得到精度較高的模型。然而,在小樣本學習場景下,訓練數據的有限性仍然對模型的準確度造成一定的制約。因此,如果可以在小樣本學習階段,有效利用其它跨任務的數據集,可以進一步提升模型的精度。跨任務小樣本學習算法 UPT(Unified Prompt Tuning)是一種統一的學習范式,可以將各種下游任務和預訓練任務統一成 POV(Prompt-Options-Verbalizer)的形式,使得模型可以學習利用Prompt 解決各種 NLP 任務,UPT 的任務構造形式如下所示。

無論是單句分類任務,還有雙句匹配任務,亦或是預訓練階段的自監督學習任務,UPT 可以將他們轉化成一種統一的范式進行學習。這種學習方式兼顧了經典的小樣本學習算法的優勢,又在學習過程中引入了“元學習”(Meta Learning)的思想,大大提升了模型對下游任務的泛化性,緩解了其在小樣本學習階段遇到的過擬合問題。當我們訓練得到這一 Meta Learner 之后,我們可以復用先前的算法,對 Meta Learner 進行 Few-shot Fine-tuning。我們在多個 GLUE 和 SuperGLUE 數據集上驗證了 UPT 的實驗效果,實驗結果表明,我們提出的自研算法 UPT 具有明顯精度提升。

EasyNLP 算法框架及算法應用

為了更好地服務開源社區,上述三個算法的源代碼即將貢獻在自然語言處理算法框架 EasyNLP 中,歡迎 NLP 從業人員和研究者使用。EasyNLP 是阿里云機器學習 PAI 團隊基于 PyTorch 開發的易用且豐富的中文 NLP 算法框架,支持常用的中文預訓練模型和大模型落地技術,并且提供了從訓練到部署的一站式 NLP 開發體驗。由于跨模態理解需求的不斷增加,EasyNLP 也將支持各種跨模態模型,特別是中文領域的跨模態模型,推向開源社區,希望能夠服務更多的 NLP 和多模態算法開發者和研究者,也希望和社區一起推動 NLP/多模態技術的發展和模型落地。機器學習平臺 PAI 面向企業客戶級開發者,提供輕量化、高性價比的云原生機器學習,涵蓋 PAI-DSW 交互式建模、PAI-Designer 可視化建模、PAI-DLC 分布式訓練到 PAI-EAS 模型在線部署的全流程。

阿里云機器學習平臺PAI論文入選 EMNLP 2022 列表

KECP: Knowledge-Enhanced Contrastive Prompting for Few-shot Extractive Question Answering

論文作者:王嘉寧、汪誠愚、譚傳奇、邱明輝、黃松芳、黃俊、高明

2.SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition

論文作者:王嘉寧、汪誠愚、邱明輝、石秋慧、王洪彬、黃俊、高明

3.Towards Unified Prompt Tuning for Few-shot Text Classification

論文作者:王嘉寧、汪誠愚、羅福莉、譚傳奇、邱明輝、楊非、石秋慧、黃松芳、高明

關鍵詞：