自然語言處理

第二章自然語言處理

影像分類辨識,可說是深度學習最基本的功夫它所延伸出來的影像分割及物件偵測等,結合傳統的圖形識別(Pattern Recognition)技術,在電腦視覺領域上大放異采

它充當機器人的雙眼時,展現出來的識別功能,讓人刮目相看如果再引入增強式學習,就是炙手可熱的無人駕駛和無人搬運了。在這個階段,和智慧影像處理相關的科技新知,成了很多鎂光燈的焦點所在

但值此同時,另一支潛力績優股,卻正在悄然潛行它日後綻放的光芒,掩蓋了所有其它人工智慧同儕,它就是「自然語言處理」(NLP,Natural Language Processing)

自然語言處理也是用深度學習神經網路,但屬於RNN(Recurrent Neural Network)架構。RNN我們稱之為循環神經網路,是使用同一組的神經層在不同時間一序列的不同輸出如下圖所示

圖2-1. RNN循環神經網路構造

上圖左邊是RNN的基本構造,右邊展開後,可以看到在時間序列上,上一次的輸出,也會是下一次的部份輸入。這種結構具有記憶的功能所以對文句這種字詞間有前後關聯的資訊,在處理上就比較有利。

這種RNN結構只有短期記憶功能,所以後來逐步將長期記憶也加進去,隨之也考慮文字輸入、輸出長度應該會不同,甚至輸出和輸入字詞間也會有不同程度的關聯………

最後,乾脆揚棄這種無法平行處理大量數據的時間序列,改採可以建立大型語言模型的變形金剛–Transformer,進而讓自然語言生成的GPT橫空出世從此,人工智慧真正進入風起雲湧的時代了

圖2-2. 變形金剛來了

Leave a Comment

Your email address will not be published. Required fields are marked *

Shopping Cart