國際計算語言學年會(Annual Meeting of the Association for Computational Linguistics,簡稱ACL),自然語言處理領域的頂級學術會議、有NLP界奧斯卡之稱的ACL 2023 在加拿大多倫多揭曉了三篇”年度最佳“學術論文,其中有兩篇都有華人研究者的身影。
今年,除了最重磅的年度最佳論文由過去的一篇增至了三篇之外,ACL也大幅度增加了優秀論文的獎項設置和獲獎比例,頒發了四大單項獎、39篇杰出論文和12大細分領域的最佳論文等獎項。ACL組委會表示,今年獲獎論文達到了總提交論文數的1.5-2.5%。
作為對比,去年ACL所有獲獎論文加總僅有12篇,獲獎數量還不到今年五分之一,由此可見今年的ACL有多熱鬧!很多人甚至形容今年的ACL就像是AI圈的“火人節”,來自世界各地的AI研究者們都激情四溢,從7月9日開始,在加拿大多倫多進行著一場為期5天的AI狂歡派對。
值得注意的是,不僅是最佳論文,在此次的所有獲獎論文中,有華人學者參與和由華人團隊領導的研究幾乎占據了半壁江山。
華人研究者成為ACL的“中流砥柱”
在39個杰出論文中,全部都由華人研究者組成的研究團隊達到了六個,有華人參與的杰出論文占一半以上。這些研究者所來自的中國機構既有清華大學、復旦大學、南京理工大學等高校,也有華為、騰訊等大型企業。
在細分領域的主席獎中,來自清華大學和武漢大學的華人團隊摘得了“情感分析、文體分析和論點挖掘”領域的最佳論文,來自中科大、北京交通大學、微軟亞洲研究院的華人團隊摘得了“自然語言處理應用”領域的最佳論文。除了這兩個領域之外,其他4個的領域中也有華人研究者的身影。
在最佳演示論文獎中,由中科大、清華大學、智譜AI、財智科技的研究者組成的團隊斬獲了唯一一篇最佳論文獎項。最佳學生研究獎項中,來自中國的學術團隊也位列其中。而在四個特別單項獎中,有華人研究者身影的獎項達到了三個。
總體來看,無論是作為參與者還是研究領導者,華人研究者這次在ACL的存在感都特別強。
3篇年度最佳論文,分別都在研究什么?
本次獲獎的三篇年度最佳論文包括:
Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest
論文作者:Jack Hessel(艾倫人工智能研究所), Ana Marasovic(猶他大學), Jena D. Hwang(艾倫人工智能研究所), Lillian Lee(康奈爾大學), Jeff Da(華盛頓大學), Rowan Zellers(華盛頓大學), Robert Mankoff(Air Mail and Cartoon Collections) 和 Yejin Choi(華盛頓大學)
這篇論文主要探討了人工智能是否真正理解了幽默。研究者通過三個有關《紐約客》漫畫標題比賽的任務來挑戰AI模型,包括將笑話與漫畫配對、識別出贏得比賽的標題,以及解釋為什么贏得比賽的標題是有趣的。
研究團隊表示,這三個任務的復雜度是逐漸進階的,關鍵點在于測試AI對于圖像和標題之間復雜性的理解,以及對人類經驗和文化的模仿和應用。團隊在研究中使用了多模態和單一語言兩種模型進行測試,但最后研究發現,兩種類型的模型在所有三個任務上都存在困難。
例如,最好的多模態模型在匹配任務上的性能比人類低30個準確性點,即使提供了真實的視覺場景描述,人類編寫的解釋也在大于2/3的情況下優于機器編寫的。但同時團隊也指出,這個研究結果是在比較少的GPT-4模型下所得出的。
雖然這篇論文的作者分屬于不同機構,但總體來看這也是一篇由OpenAI強參與的研究,論文作者中 Jeff Da, Rowan Zellers 和 Yejin Choi 都在 OpenAI 工作。
What the DAAM: Interpreting Stable Diffusion Using Cross Attention
論文作者:Raphael Tang(康卡斯特應用AI團隊), Linqing Liu(倫敦大學學院), Akshat Pandey(康卡斯特應用AI團隊), Zhiying Jiang(滑鐵盧大學), Gefei Yang(康卡斯特應用AI團隊), Karun Kumar((康卡斯特應用AI團隊), Pontus Stenetorp(倫敦大學學院), Jimmy Lin(滑鐵盧大學) 和 Ferhan Ture(康卡斯特應用AI團隊)
這篇論文主要關注了大規模擴散神經網絡在文本到圖像生成中的應用,研究團隊認為雖然目前文本到圖像模型已經取得了重要的里程碑式成就,但從學術研究的角度人們對它們仍然缺乏深入認知和可解釋性分析。
為了解決這個問題,研究團隊基于最近很火的開源模型Stable Diffusion進行了文本-圖像歸因分析。他們提出了一種名為DAAM的方法,通過放大和聚合去噪子網絡中的交叉注意力單詞-像素得分,以生成像素級的歸因圖。
最后,他們使用DAAM研究了幾種語義現象,重點是特征糾纏,其中,他們發現共同詞素降低了生成質量,而描述性形容詞關注得過于廣泛。研究團隊表示,他們的研究是首次從視覺語言角度來解釋大型擴散模型,這可能為未來的研究開辟了新的道路。
該研究主要由全美最大有線電視、第二大互聯網服務提供商Comcast集團的AI研究團隊領導,在該研究團隊中,有一半以上的作者都是華人。
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
論文作者:Shangbin Feng(華盛頓大學), Chan Young Park(卡耐基梅隆大學), Yuhan Liu(西安交通大學) 和 Yulia Tsvetkov(華盛頓大學)
這篇論文主要研究了預訓練語言模型(LMs)中的政治偏見,及其對下游自然語言處理(NLP)模型公平性的影響。研究團隊開發了新的方法來測量在多樣化的數據源(如新聞、論壇、書籍、在線百科全書等)上預訓練的LMs中的政治偏見,其中特別關注了仇恨言論和誤信息檢測這兩個高風險的社會導向任務。
該研究的發現預訓練的語言模型確實存在政治傾向,不僅加強了語料庫中存在的極化,還將社會偏見傳播到了仇恨言論預測和誤信息檢測器中,論文討論了這些發現對NLP研究的重要影響,并提出未來的方向以減輕不公平性。
其中,根據公開信息顯示,這篇文章的第一作者Shangbin Feng本科就讀于西安交通大學,于去年開始在華盛頓大學攻讀博士學位,師從Yulia Tsvetkov。
NPL界的頂流大會,孕育無數AI新技術、新業態
ACL(Association of Computational Linguistics)起源于1962年,源自美國一個小而專注的學術組織,其宗旨是推動計算語言學的發展。在當時,計算機科學才剛剛起步,人工智能更是還處于嬰兒階段的學術概念,但ACL早在60多年前就已經預見了的科技的巨浪,今年已經是第61屆大會。
如今,在人工智能、特別是研究自然語言處理領域有四大頂級會議,分別是ACL、NAACL、EMNLP、COLING。而除了COLING 之外,其他三大會議均由ACL(Association of Computational Linguistics)主辦。
幾十年來,隨著技術的進步和AI研究的深入,ACL逐漸發展成為全球最重要的自然語言處理領域的學術會議。作為AI領域里的“奧斯卡獎”一般的存在,ACL可以說是所有自然語言處理領域研究者們所向往和奮斗的方向。
ACL會議每年都會產生大量的頂級研究論文,推動了自然語言處理技術的快速發展,這些新思想、新技術往往也會被業界快速應用和商業化。最重要的是,ACL培育了一代又一代的AI領袖和研究者,是全球AI領域最重要的人才池。
ACL大會的舉辦地點在每年都會變化,遍及北美、歐洲、亞洲等地,以盡可能吸引全球各地的研究者參與,每年的會議地點都由ACL的組織委員會提前選定并公布。今年的舉辦地則放在了AI研究前沿、有“深度學習之父”Geoffrey Hinton坐鎮的加拿大多倫多。
或許是受AI浪潮的影響,今年的大會氛圍尤其熱烈。全球各地的AI研究者們 前來“ 朝圣 ” 和分享、交流 ,谷歌、微軟 、亞馬遜、 IBM等大 型科技企業也都在 ACL上設置了展位,跟研究者們進行面對面交流。
知名的專家和研究者將進行一系列的主題演講,各國年輕的學者們也將對最新研究成果進行分享和研討,參會者能夠深入地參與特定主題。 此外,ACL還設置了企業展示和招聘環節連接學術界和工業界,促進AI技術的落地轉化。
9月18日,英國皇家工程院公布2024年院士增選結果,華人學者李燁、梁秋華、溫曉玲、趙旭東、景旭東、范良士入選。他們分別在石油工程、無線通信、水工程、火災及爆炸、可持續能源技術及化學工程領域有杰出貢獻......
2024年9月16日,美國斯坦福大學(StanfordUniversity)JohnP.A.Ioannidis教授團隊發布全球前2%頂尖科學家榜單(World'sTop2%Scientists......
9月3日,加拿大皇家學會公布2024年院士增選名單。今年共有104名科學院、藝術人文學院、社會科學學院的學者入選皇家學會院士。這些科學家因其杰出的學術、科學和藝術成就而被同行選舉。加拿大皇家學會(RS......
國際計算語言學年會(AnnualMeetingoftheAssociationforComputationalLinguistics,簡稱ACL),自然語言處理領域的頂級學術會議、有NLP界奧斯卡之稱......
國際計算語言學年會(AnnualMeetingoftheAssociationforComputationalLinguistics,簡稱ACL),自然語言處理領域的頂級學術會議、有NLP界奧斯卡之稱......
IEEE的全稱是美國電子電氣工程師學會(InstituteofElectricalandElectronicsEngineers),是國際性的電子技術與信息科學工程師的學會,IEEEFellow(IE......
請聽題:如何將蘋果平均一分為二,還能保證它長時間的新鮮?這是一個嚴肅的科學問題,已經困擾了人類數學家25年之久。根據常識,就是要保證果肉暴露在外面的面積最小,也就是切片的面積最小。如果跨越到更高的維度......
據路透社華盛頓2月19日報道,美國司法部近日擴大1月的一份起訴內容,指控斯坦福大學研究員SongChen(音)簽證欺詐、阻撓司法、毀滅文件和虛假陳述,隱瞞其軍人身份。起訴書稱宋自稱研究腦部疾病的神經科......
日前,美國艾爾弗·斯隆基金會公布了2021年斯隆研究獎(SloanResearchFellowships)獲獎名單,128位杰出青年科學家獲獎。其中,共有18位華人學者獲獎,涵蓋清華大學(6人)、北京......
2018年11月1日,美國時任司法部部長杰夫?塞申斯(JeffSessions)宣布提出由司法部牽頭、聯邦調查局(FBI)等多個部門共同參與的“中國行動計劃”(ChinaInitiative),稱要從......