Blog6

2-1：編碼器與解碼器 在RNN早期階段，它常被使用在翻譯上，在某個時序輸入一個詞，就可以在同一時序得到相對應的輸出，這跟早期翻譯的模式很接近。 尤其是用英文來翻譯法文或西班牙文，這種一進一出的架構，對語系相近的文字很有利。但如果是翻譯中文和英文，問題就比較多了。 中文句子不像英文，可以利用句子當中的空格，把單字分開為各個詞彙。中文句子每個字都是並排靠攏在一起，例如像「我打遍天下無敵手」，其實包括了「我」、「打遍天下」、「無敵手」這三個詞彙。所以中翻英輸出和輸入長度常常是不一樣的。 類似這種情況，在文章摘要和文字創作都會出現。所以，序列對序列(Sequence to Sequence，Seq2Seq)，這種架構就自然而然的被推出來了。這種架構包含一個編碼器和一個解碼器，容許輸入和輸出長度不同，如下圖所示。 圖2-1-1. 編碼器與解碼器構造。 上圖上是在訓練階段，解碼器輸出必須和標記值比對，以回饋修正模型權重值；上圖下則是在預測階段，用「文字接龍」的方式，逐一輸出整個句子或段落。 目前的文字生成，除了摘要和創作，還包括製表、繪圖甚至寫程式，但設法提升傳統翻譯精準度，在自然語言模型發展過程中，實在有很基本的貢獻。 一般人學習英文，常常感覺英文單字背了又忘、忘了又背，原因在於盎格魯、薩克遜是日耳曼人分支，且法國諾曼第威廉公爵，也曾在11世紀跨海統治過英倫，把法文詞彙帶進英文當中，英文字彙因而是德語加上法語的總和，所以英文難學是必然的。但在AI鋪天蓋地席捲而來之際，把英語學好，總是會比別人多佔一些優勢。 圖2-1-2. 威廉公爵的領地諾曼地(Normandy)，是二戰盟軍反攻的主戰場。

第二章：自然語言處理 影像分類辨識，可說是深度學習最基本的功夫，它所延伸出來的影像分割及物件偵測等，結合傳統的圖形識別(Pattern Recognition)技術，在電腦視覺領域上大放異采。 用它充當機器人的雙眼時，展現出來的識別功能，讓人刮目相看。如果再引入增強式學習，就是炙手可熱的無人駕駛和無人搬運了。在這個階段，和智慧影像處理相關的科技新知，成了很多鎂光燈的焦點所在。 但值此同時，另一支潛力績優股，卻正在悄然潛行。它日後綻放的光芒，掩蓋了所有其它的人工智慧同儕，它就是「自然語言處理」(NLP，Natural Language Processing)。 自然語言處理，也是採用深度學習神經網路，但屬於RNN(Recurrent Neural Network)架構。RNN我們稱之為循環神經網路，是使用同一組的神經層，在不同時間做一序列的不同輸出，如下圖所示。 圖2-1. RNN循環神經網路構造。 上圖左邊是RNN的基本構造，右邊展開後，可以看到在時間序列上，上一次的輸出，也會是下一次的部份輸入。這種結構具有記憶的功能，所以對文句這種字詞間有前後關聯的資訊，在處理上就比較有利。 這種RNN結構只有短期記憶功能，所以後來逐步將長期記憶也加進去，隨之也考慮文字輸入、輸出長度應該會不同，甚至輸出和輸入字詞間也會有不同程度的關聯………。 最後，乾脆揚棄這種無法平行處理大量數據的時間序列，改採可以建立大型語言模型的變形金剛–Transformer，進而讓自然語言生成的GPT橫空出世。從此，人工智慧真正進入風起雲湧的時代了。 圖2-2. 變形金剛來了！