人工智能簡(jiǎn)介之NLP

AI（Artificial Intelligence，人工智能）技術(shù)的發(fā)展源於20世紀(jì)50年代科學(xué)家對(duì)機(jī)器模擬人類智能的探索。近年來，得益於信息技術(shù)、計(jì)算機(jī)硬件和算法的進(jìn)步，AI已從早期符號(hào)處理髮展至機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，廣泛應(yīng)用於醫(yī)療、交通等領(lǐng)域，極大推動(dòng)了社會(huì)進(jìn)步。隨著ChatGPT聊天機(jī)器人的驚艷亮相，AI技術(shù)在NLP（Natural Language Processing，自然語言處理）方面取得了突破性的進(jìn)展，讓人們看到了AI在理解和生成人類語言方面的巨大潛力，現(xiàn)在，讓我們共同開啟NLP探索之旅。

什麼是

NLP？

自然語言是人類在日常生活中自然演化出的語言系統(tǒng)，用以表達(dá)人的思維和交流，二進(jìn)制代碼是計(jì)算機(jī)能夠直接處理的語言，編程語言和通信協(xié)議這類人工語言也能被計(jì)算機(jī)高效處理。NLP旨在跨越自然語言與人工語言之間的巨大差異，探索實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效交流的理論與方法，是計(jì)算機(jī)科學(xué)領(lǐng)域和人工智能領(lǐng)域的重要研究方向之一。

NLP任務(wù)

有哪些分類？

NLP 任務(wù)	含義	子任務(wù)
詞法 分析	對(duì)自然語言進(jìn)行詞彙層面的分析，是NLP基礎(chǔ)性工作	分詞、新詞發(fā)現(xiàn)、形態(tài)分析、詞性標(biāo)註、拼寫校正
句子 分析	對(duì)自然語言進(jìn)行句子層面的分析，包括句法分析和其他句子級(jí)別的分析任務(wù)	組塊分析、超級(jí)標(biāo)籤標(biāo)註、成分句法分析、依存句法分析、語言模型、語種識(shí)別、句子邊界檢測(cè)
語義 分析	對(duì)給定文本進(jìn)行分析和理解，形成能夠表達(dá)語義的形式化表示或分布式表示	詞義消歧、語義角色標(biāo)註、抽象語義表示分析、一階謂詞邏輯演算、框架語義分析、詞彙/句子/段落的向量化表示
信息 抽取	從無結(jié)構(gòu)文本中抽取結(jié)構(gòu)化的信息	命名實(shí)體識(shí)別、實(shí)體消歧、術(shù)語抽取、共指消解、關(guān)係抽取、事件抽取、情感分析、意圖識(shí)別、槽位填充
頂層 任務(wù)	直接面向普通用戶，提供自然語言處理產(chǎn)品服務(wù)的系統(tǒng)級(jí)任務(wù)，會(huì)用到多個(gè)層面的自然語言處理技術(shù)	機(jī)器翻譯、文本摘要、閱讀理解、自動(dòng)文章分級(jí)、問答系統(tǒng)、對(duì)話系統(tǒng)、智能生成系統(tǒng)

其中，語言模型（Language Model，LM）目標(biāo)就是建模自然語言的概率分布。詞彙表V上的語言模型可以形式化地構(gòu)建為詞序列作為一個(gè)句子出現(xiàn)的概率，但是這樣的計(jì)算複雜度太大，可通過將聯(lián)合概率轉(zhuǎn)換為條件概率的乘積，最大化下一個(gè)詞出現(xiàn)的條件概率來建立語言模型。

NLP的發(fā)展歷程

是什麼？

1.早期探索（1950s-1970s）：

NLP的早期研究主要基於規(guī)則，例如ELIZA，這些系統(tǒng)通過模擬對(duì)話來模擬人類交流，但規(guī)則的覆蓋度有限，難以處理複雜的語言現(xiàn)象。

2.統(tǒng)計(jì)學(xué)習(xí)方法（1980s-1990s）：

隨著計(jì)算能力的提升，統(tǒng)計(jì)學(xué)習(xí)方法開始流行，如隱馬爾可夫模型（HMM）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），在處理序列數(shù)據(jù)和捕捉時(shí)間依賴關(guān)係方面展現(xiàn)了強(qiáng)大能力。

3.深度學(xué)習(xí)時(shí)代（2010s-2017）：

深度學(xué)習(xí)的出現(xiàn)為NLP帶來了革命性的變化，以編碼器-解碼器（Encoder-Decoder）、門控循環(huán)單元（GRU）、ELMO（Embeddings from Language Models）為代表的技術(shù)，使得模型具備了處理多義詞、同義詞等複雜語言特性，捕獲句子複雜依賴關(guān)係的能力，但面對(duì)下游任務(wù)時(shí)仍然需要遷移訓(xùn)練。

4.大模型時(shí)代（2017-至今）：

在2017年，谷歌提出了Transformer模型，這一模型徹底改變了NLP的研究方法。Transformer採(cǎi)用自注意力機(jī)制來處理序列數(shù)據(jù)，既實(shí)現(xiàn)了並行計(jì)算，從而大幅提高了模型的訓(xùn)練速度；又極大擴(kuò)展了模型容量，需要海量的文本數(shù)據(jù)做訓(xùn)練。最終，大語言模型能夠以自然語言的形式接收並高質(zhì)量地回答各種下游任務(wù)，其中以BERT系列、GPT系列和LLAMA系列等大模型為典型代表。

主要

應(yīng)用

按照實(shí)現(xiàn)方式不同，可以把傳統(tǒng)NLP落地應(yīng)用分為對(duì)話機(jī)器人（語音語義問答）、閱讀理解、智能搜索和機(jī)器翻譯四種。大模型的出現(xiàn)和普及極大地?cái)U(kuò)展了NLP的應(yīng)用範(fàn)圍，推動(dòng)了許多創(chuàng)新領(lǐng)域的發(fā)展，如高質(zhì)量文本創(chuàng)作、多輪流暢交互、多模態(tài)交互、輔助科研、專業(yè)情感和心理分析、輔助編程、個(gè)性化學(xué)習(xí)等。

目前，各個(gè)行業(yè)的垂直領(lǐng)域大模型已在業(yè)務(wù)中逐漸嶄露頭角，並呈現(xiàn)出迅速發(fā)展的勢(shì)頭，握奇憑藉著深厚的行業(yè)和技術(shù)積累，順應(yīng)時(shí)代發(fā)展趨勢(shì)，正在加緊開發(fā)密碼大模型、智能卡大模型、物聯(lián)網(wǎng)大模型等相關(guān)應(yīng)用，與重點(diǎn)科研院所合作共同研究基礎(chǔ)模型問題，探索大模型時(shí)代數(shù)字信任構(gòu)建的新形態(tài)。