Author name: 楊慶忠

第一章：人工神經網路 人工智慧的深度學習(deep learning)，也叫做深度神經網路，是從人工神經網路(Artificial Neural Network)發展而來的。它是一種模仿動物大腦結構與功能的數學模型或計算模式，我們先看一下大腦神經元是如何傳遞訊息的。 下圖上的神經元細胞接受到左方訊號後，會將訊號處理後再傳遞給右方的神經元細胞。接受訊號是使用較靠近細胞核(nucleus)的樹突(dendrite)；傳遞訊號則是使用軸突末端(axon terminals)，它和另外神經元的樹突，會形成所謂突觸(synapse)的接觸點，來進行電子或化學反應。不論接受或傳遞訊號，都可來自或經由一個以上的神經元。 我們可以用上圖下再把概念精簡類比一下。一個神經元細胞可當作一個節點，當來自其他神經元的訊號，進入節點經過處理後，可以把訊息再傳遞給其他節點。一個節點的訊號可來自多個節點，並把訊號傳遞給其他多個節點，這個概念可擴充成神經網路的初步雛形如下圖： 上圖上是一個簡易的神經網路結構，每個圓圈當作一個節點，縱向垂直排列的多個節點形成一個神經層，在此只有三個神經層，由左至右分別是輸入層、隱藏層、輸出層。 在這裡可以和幼兒的腦細胞發育做一個比較。嬰兒從出生到兩歲，神經元數量基本沒有變化，大腦在胎兒剛出生時，就配備了基本所有神經元，只是後來建立了很多突觸以連接其他神經元。這兩年當中，大腦每秒就產生700個突觸連接如下圖所示： 上面這種比較完整的神經元結構圖，就可以用下面的深度神經網路來模擬。其輸入層和輸出層當中的隱藏層數目，以及任一個神經層的節點數，都可做增減，來改變相鄰神經層中間權重矩陣的大小。 兩兩相鄰神經層中間交叉重疊的線條，就代表這些權重矩陣。一般而言，權重矩陣的元素越多，預測的準度也會越高，但同時也必須輸入更多的資料來訓練模型。

2-5.女性程式員開始露臉 先前提過的哈柏(Hopper)女士，她是以海軍上尉的身分，協助當時的海軍少校艾肯，在哈佛大學編寫馬克一號使用手冊。 她也是馬克一號主要的程式設計人員，雖然那時候還是使用打孔紙帶輸入程式碼，但馬克一號在哈柏的努力下，可說是當時最適合輸入電腦程式的計算機。 https://mobile-learning-testing.com/wp-content/uploads/2024/06/ComtoAmeri5.mp4 在此之外，有六個默默付出的娘子軍，在摩爾學院被選入ENIAC團隊，這六人變成男性工程師的程式設計夥伴，她們後來也逐漸理解，程式設計的重要性，可能不亞於電子電路的設計。  從愛達到哈柏女士到ENIAC這六人組，明白顯示出，天性細膩堅忍且恪守工作倫理的女生，其實很適合從事程式設計的相關工作。 圖2-5-1. ENIAC兩位女性程式設計員，Jennings(左)、Bilas(右)。

2-4.馮諾伊曼和艾柯特 ENIAC使用了1萬8千隻真空管，難度極高，幸賴艾柯特的年輕工程師團隊克服萬難，終於在1945年11月大功告成。它可在一秒鐘完成五千次加減運算，比馬克一號快了一百多倍。 但它有幾個問題。它是十進位而非二進位，儲存容量太小、使用太多真空管、改變程式太耗時間…………….。 圖2-4-1.馮諾伊曼在普林斯頓高等研究院所建立的計算機實驗室。 普林斯頓教授馮諾伊曼，在這緊要關頭適時登上舞台，他把下一代開發的機型命名為「EDVAC」。EDVAC有幾個特色，第一，它是使用二進位；第二，它把指令和資料共同儲存在內部記憶體上。 第二點相當重要，如果記憶體可同時儲存程式的指令和計算的數值，那就不用每次都要機械式地從外部輸入卡片，這將大大地提升處理速度和儲存空間。 這個原始想法應該是來自摩爾學院，但馮諾伊曼大力強調這項特色，似乎變成他才是主要貢獻者。二戰後馮諾伊曼回學校去了，當時的普林斯頓大師雲集，愛因斯坦和楊振寧都是校內成員。 https://mobile-learning-testing.com/wp-content/uploads/2024/06/ComtoAmeri04a.mp4

2-3.莫渠利和高士譚 為了因應二戰電子技術人力需求，摩爾學院在1941年暑假開辦電子學課程，其中一位約翰霍普金斯大學物理學博士班畢業，在爾賽納斯學院擔任講師的莫渠利，是結業生中表現最傑出的，獲得留在摩爾學院擔任助理教授的機會。 莫渠利曾造訪愛荷華州立大學「被遺忘的電腦之父」–阿塔那索夫，學到一些概念。他一直對製作真空管式計算機很感到興趣，本身也具深厚的計算理論基礎。 在摩爾學院內，莫渠利結識了優秀的電子工程師艾柯特，他是碩士班畢業生，兩人對電子式計算機的願景，都有強烈的熱忱。 莫渠利在1942年8月，提出一份備忘錄，標題為《高速真空管在計算上的應用》，但並沒有受到賓州大學的重視。 但這份備忘錄卻引起了一位軍官的注意，他是芝加哥大學數學博士班畢業的高士譚中尉，在二戰期間，負責聯絡摩爾學院有關女性計算員的各項事宜。 莫渠利和高士譚的理論背景，以及目睹女性計算員被數值大海淹沒的窘境，都讓他們瞭解新型計算機的建造是勢在必行。 所以在高士譚的協助下，莫渠利將計畫名稱修訂為「電子數值積分器與計算機」(ENIAC)，在1943年4月9日正式拍板定案。

2-2.賓州大學摩爾學院 馬克一號做一次乘法計算，就需要花費6秒鐘的時間，即便是在1943年，都不是讓人滿意的速度，接下來要開發新型計算機，一定要想辦法提升運算效率。 馬克一號使用到電磁鐵式的繼電器，被歸類為機械式的計算機，要想加快運算速度，一定要改用電子電路，也就是應該使用真空管來取代繼電器。真空管是當時極重要的電子元件，具有放大和整流的功能，類似現在的電晶體。 https://mobile-learning-testing.com/wp-content/uploads/2024/06/ComtoAmeri02a.mp4 計算機電子化的重責大任，是落在賓州大學身上。它的電機學院是由Alfred Fitler Moore所捐贈，所以也稱之為摩爾學院。賓州大學是著名學府，其華頓商學院目前在全美排行數一數二。 賓州大學位於費城，離東北方普林斯頓大學約一個小時路程，離西南方美國陸軍的「彈道研究實驗室」，鐵路相連不到一小時車程。 圖2-2.賓州大學早期校園

2-1.哈佛大學艾肯教授 艾肯於1937年，在哈佛大學物理系唸博士班時，必須求解真空管的非線性微分方程式，他不得不向系上尋求支援，請求幫忙建造一台數位計算機。 系上對這個提議不置可否且無力支持，但艾肯鍥而不捨，他轉而將計畫向各方兜售，最終獲得IBM公司的青睞，在IBM頂尖工程師的協助下，建造出真正可以運作計算的電腦。 圖2-1-1.哈佛馬克一號 這部電腦取名為「馬克一號」(Mark Ⅰ)。它的運算速度並不快，每秒鐘只能做三次加法或減法，並不是採取二進位，而且體積龐大，稱不上是很先進的成果。但馬克一號的意義在於，它是電腦時代的圖騰，是第一台可以實際操作的全自動計算機。 當時負責打孔卡片程式輸入的是哈柏女士，哈柏有一次執行程式時發生問題，但詳細檢查之後，確認程式碼本身並無邏輯錯誤，後來維修工程師從一部繼電器的縫隙中，抓出一隻卡在裡面的肇禍飛蛾，從此，修改程式碼的錯誤就俗稱為「debug」(抓蟲)。  https://mobile-learning-testing.com/wp-content/uploads/2024/06/CominAmeri01.mp4

第二章：計算機到美國 在巴貝奇和愛達那段期間，法國人柯爾瑪，也在1820年發明了加減計算機–Arithmometer。這部機器傳入美國並經改良後，在兩次大戰期間，竟然銷售了幾百萬台。 美國人自來就勇於嘗試各類新開發的辦公室裝置，例如像打字機、收銀機、加算機等。 因此在1890年的人口普查招標中，評審委員會一致同意，引用卡片打孔技術的霍勒里思電動列表系統，贏得該次人口普查的標案。 霍勒里思後來成立列表機器公司，提供資料統計分析服務。該公司之後被CTR收購，最終變成IBM國際商務機器公司。

1-5.艾達女士的演算法 艾達女士(1815~1852)有一個赫赫有名的父親，就是家喻戶曉的英國詩人拜倫男爵。 她母親安娜貝拉有不錯的數學天份，在和拜倫離婚後，為了不讓艾達沿襲她父親浪漫不羈的天性，聘請了家庭教師來加強她數學和科學的訓練。 但艾達同時遺傳了父母兩方的基因，以至於特別鍾情於所謂「詩意的科學」(poetical science)，就是像計算機這種需要結合演算法，合乎邏輯、結構優美的科學。 巴貝奇的分析機從未真正運作過，但他所提的概念，例如數值儲存和算術運算分開，使用不同卡片輸入來執行不同運算等，讓分析機在概念上類似現代的電腦。 艾達是在社交場合認識巴貝奇，她能理解分析機的潛力，也協助翻譯義大利人描述分析機的論文，還加進了篇幅更長的「譯者評注」。 在1843年所寫的「譯者評注」中，艾達為後世留下兩個主要貢獻，也讓她因此名垂青史。 圖1-5-1.艾達女士圖像 其一，艾達認為，分析機不僅能做數值運算，還能做邏輯運算(例如比較判斷等)，甚至，還可以處理音樂、影像等可供算術或邏輯運算的內容。 其二，她提出了現代電腦中「演算法」的概念，並以白努利數列舉例說明。 白努利數列是很複雜的無限數列，不好理解。我們可以用比較簡單的例子來認識何謂「演算法」。 例如我們知道直角三角形一邊為3, 一邊為4, 欲求其斜邊大小。 這個題目我們可引用畢氏定理「斜邊平方為兩直角邊之平方和」。所以先求3平方以及4平方之和後，再開根號得5。 在這個例子中，「先各求兩直角邊平方，將其相加後，再開根號」，即為本題之「演算法」。因為它是可以寫成程式，以計算出任何直角三角形的斜邊值。 另一個例子是從1加到10，1+2+3+4+5+6+7+8+9+10= ?。 我們用手算這題目，當然可以告訴自己，應該要一個一個慢慢加。但電腦並不懂什麼叫做「一個一個慢慢加」，你必須要教它如何進行「一個一個慢慢加」的程序。 你必須告訴它，「從1開始，每次加上一個比現有數字多1的數字，一直累加到10為止。」 上述過程，可以寫成迴圈(loop)程式碼，所以也是一種演算法。 簡單地講，「演算法」就是解答問題的步驟程序，並且可轉換成程式碼。「演算法」不一定要求出正確解，也可以只求出近似解︒ 愛達當年已經提出「次常式」的概念，也會使用遞迴的技巧，後世為表彰她的貢獻，美國國防部開發的程式語言Ada，就是以她來命名。 圖1-5-2.艾達的白努利數演算法

1-4.巴貝奇的分析機 巴貝奇出生於1791年，是倫敦一位富有銀行家的兒子。在就讀劍橋大學三一學院時，他的早年學長︐偉大的牛頓︐，其輝煌的學術成就產生一些後遺症，導致英國的數學水平落後於歐洲大陸，原因是他的微積分點運算符號晦澀難懂。巴貝奇曾和好友們組織社團，提倡使用萊布尼茲簡明易學的微積分符號。 他在1822年寫公開信給皇家學會會長戴維，建議政府應支持他開發差分機，以因應大航海時代和工業革命大量的計算製表需求。所以從1823年起，英國政府開始長期提供經費製造「差分機」。 差分機是使用機械裝置(主要是齒輪和軸承)，來進行對數、三角函數計算，甚至可以求得微分方程的近似解。 之所以叫做「差分」，是因為它可以將複雜的函數計算，簡化為大量的加、減計算，由機器來執行。 圖1-4-1.巴貝奇的差分機 巴貝奇的差分機除了計算功能之外，還預期可將計算結果列表輸出，如此便可大幅減少因人工抄寫造成的製表錯誤。 但差分機的機械困難度，遠超過事先所估計，巴貝奇畫了幾百張設計圖，始終沒有正式產品做出來。 更糟的是，到了1834年，巴貝奇居然向英國政府要求，希望增加撥款，讓他建造功能更強大的「分析機」。自此，政府信心喪失殆盡，決定中止撥款。巴貝奇接下來終其一生，只能運用自己的財力，來支應分析機的設計和製造。 分析機，其設計是更接近後來的計算機，它採用雅卡爾織布機的概念，不但使用卡片輸入，而且不同的卡片輸入可以做不同的計算，可說是一部具廣泛功能的機器，但複雜度更甚於差分機，當然，最終還是沒有製造出來。 巴貝奇傾盡家財、耗盡心力，終究一無所獲。他晚年時，在科學界影響力日漸式微，甚至被視為與現實脫節的奇怪老人。   圖1-4-2.巴貝奇的分析機

1-3.雅卡爾織布機 早期織布機的操作方式，是靠人工用鉤子挑起選定的直向經紗，再用桿子把橫向的緯紗推到它下面，來進行編織圖案的動作。 1725年法國工人魯修為便於重複編織圖樣，在織布機套上穿孔紙帶；他的夥伴則在1726年改良設計，將紙帶換成相互串連的穿孔卡片。 以此機器為基礎，1801年法國人雅卡爾發明提花織布機。這種新型織布機，是利用卡片中所設定孔洞的位置排列，來決定所須啟動的鉤子和推動的桿子。 這部織布機變更連串的卡片來編織不同圖案時，無需更動機械設計，這是可程式化機器的里程碑。 圖1-3-1.雅卡爾織布機的運作 圖1-3-2.利用雅卡爾織布機所編織出的雅卡爾本人肖像