Author name: 楊慶忠

3-6：AI版本打磚塊遊戲 前一單元，我們使用Q-learning演算法進行2維遊戲，讓球在3個牆面1個地板及拍子間移動，令拍子可不斷地回擊到球而得到分數，讓球儘量的不碰撞地板上來延續回合。這一單元，我們將其擴充為為完整的打磚塊遊戲。 我們在原先的架構上，只再加上磚塊的部份，所以整個演算法的邏輯，仍舊是維持原有的狀態及動作。它的策略很簡單，只要拍子不斷的回擊到球，就有機會把磚塊全部打光。所以在球打到拍子的時候，我們給予一個很大的正reward，球打到地板的時候，給予一個很大的負reward。 https://mobile-learning-testing.com/wp-content/uploads/2025/01/reinpon4.mp4 強化式學習，在未來智慧機器人及無人駕駛產業興盛之後，很有機會成為人工智慧的顯學。這些產品的光機電控制元件背後，驅動硬體運作的軟體演算法，必然是和強化式學習相關的。要跨入這一領域，必須要有一定的學理基礎，和足夠的程式設計能力。 對初學者來講，想要把開發的演算法，找到機器人或電動車來套用測試，談何容易。變通的方式，就是將類似的演算邏輯，使用電腦遊戲來實踐，這不但經濟實惠，還可以很快看到訓練成果。當然，除了Python程式設計技巧，還需要熟悉諸如pygame的遊戲模組。 圖3-6-1：智慧機器人和無人駕駛產業，正蓄勢待發。

2-7：Google Colab之應用 使用Python進行深度學習常可發現，只要訓練模型稍大一點，不含GPU的個人電腦就跑不太起來，GPU對今日的人工智慧工程師來說，已是非使用不可的基本元件了。 這時候，可考慮採用Google雲端硬碟所免費提供的資源，我稱之為「窮人的GPU」，雖然其使用的額度越來越受限制，但在一定範圍內還不會花到使用者一毛錢。 所以，您可先到自己的google雲端硬碟處，按下左上方的「新增」，然後移動游標至選單「更多」上面，這時會自動出現另一選單，你再點選其最下方的「連結更多應用程式」，然後在頁面的搜尋處，輸入「Colaboratory」搜尋，這時會出現Colaboratory的頁面，直接點選其「連接」按鈕，就可以新增其功能了。 這時候，再次到自己的google雲端硬碟處，一樣按下左上方的「新增」，然後同樣移動游標至選單「更多」上面，這時在另一選單的「連結更多應用程式」選項上端，你應該可以看得到了「Google Colaboratory」這一項，請點選它以建立一份新的筆記本（就是Python程式檔）。 也不要忘記，從筆記本功能表的「編輯」裡面的「筆記本設定」，點選「GPU」這一項，你將會發現，有無點選GPU，運算速度相差五倍以上。 你所開啟的新程式，是被放在虛擬空間中處理，如果要存取資料或檔案，記得要展開左邊的「drive」資料夾，從選項中複製絕對路徑至程式碼中。 在Google Colab上執行程式，主要是用於模型訓練階段，因為它需要把訓練資料多次輸入模型內，反覆求得最適權重，相當耗費運算資源及時間，而GPU可大幅縮短這訓練的時間。 訓練完畢後，接下來就是要做預測的工作了。這個階段，並不需要太多運算資源，也花費不了多少時間，因此可以把所訓練得到的權重從雲端下載，直接在個人電腦上進行預測即可。下圖是將雲端下載的權重放置於個人電腦的組態檔中，再配合OpenCV模組做預測的輸出畫面。 上圖是使用YOLOv4物件偵測技術，對外科手術器械進行智慧辨識。在雲端階段先上傳標記圖片資料集去訓練模型，而後再下載其權重對未知的圖片做框選分類及計數。 下圖則是市面上已出現的類似架構，但被應用在麵包店結帳系統。它可針對好幾款不同數量的麵包進行總價計算，在顧客擁擠時或無人商店中，有助於加快結帳速度及減少人為錯誤。

3-5：AI版本個人乒乓球遊戲 前一單元運用Q-learning演算法，進行所謂1維半的遊戲，讓兩個有時間差的乒乓球，在上下牆面及還擊拍子間來回動作。我們稱之為一維半，是因為兩個球在行進時有固定時間差，而且都是做直線運動，所以還不能算是二維遊戲。 這個單元，我們進入到二維運動的初步狀態，讓球在四個牆面及還擊拍子間來回動作。遊戲的計分，同樣都是拍子有回擊到球就得一分，否則該回合就結束。遊戲設計的重點，仍然是要決定代理人(agent)有哪些狀態(state)和動作(action)，然後再把這些狀態和動作，放進Q-table陣列各軸當中。 https://mobile-learning-testing.com/wp-content/uploads/2025/01/reinpon3.mp4 上圖的二維遊戲是AI打磚塊遊戲的初步，看起來像是個人版本的AI打乒乓球遊戲，或者像是自己一個人玩的壁球遊戲。 這種初步遊戲，可以幫忙先確定所使用的Q-learning，在磚塊還沒建構之前，在二維空間的演算是否行得通。若然確實可行，後續部份就可以再把磚塊放到裡面去了。

2-8：比較級與最高級 形容詞比較級的句型，一般人都可以琅琅上口，例如He is younger than me.。這種口語化的表達，也可以把受格me改回成主格 I，但假使要嚴格講究文法，正確句型應該是He is younger than I am.，或者像He has fewer friends than I do. ，但日常會話都習慣省略be動詞或助動詞，然後把主格改受格。 如果要表示比較程度差異大，可用much來修飾，例如He is much younger than me.，如果差異程度較小，則用a little來修飾，像He is a little younger than me.。或者要表示具體數據的差異，可把它寫成如He is five years younger than me.。 要注意的是more這個字的用法，它放在長音節的形容詞前面，是當作副詞來形成比較級，如more expensive、more beautiful。但它本身就可以當作形容詞比較級來用，它同時是many(可數)和much(不可數)的比較級”比較多”的意思，所以除了說His friends are more than mine.，你也可以說His money is more than mine。 最高級形容詞，前面通常要加the，後面會加in、of，用來做限定範圍之內的比較，例如He is the richest

2-7：介系詞與介副詞 先前提到的「完全不及物動詞」，照理它後面是不應該放置受詞的，但事實上，只要附接一些介系詞，不少完全不及物動詞還是可以連結受詞。例如He laughed. 、He laughed at me.，前句的laugh不須加受詞，後句的laugh附上介系詞at之後就可以加受詞me了。 類似的例子還有 listen to、wait for、look at等等，其加上介系詞後還保有原來的意思。但有時候，會衍生出新的解釋，例如look after表照顧，look into有調查的意思，count on則有仰賴的意思。 如果完全不及物動詞接了介系詞後，還是不放置受詞，我們就稱這種介系詞為介副詞，因為它的功能在於修飾動詞，角色如同副詞一般。例如 I prefer to take a rest rather than stay up，up在此是當副詞用，修飾完全不及物動詞stay，解釋成”熬夜”的意思。 以此類推，「及物動詞」後面應該也可以放介副詞，但跟前述稍有不同的是，它放了介副詞，還是可以連結受詞。例如Please turn on the light.， 當中turn是及物動詞，on是用來修飾它表開啟的狀態，是個介副詞，後接名詞the light。如果將句子改成Please turn the light on. ，就更好理解及物動詞中的介副詞功能。 同樣地，「及物動詞」後面也是可以放介系詞，只是句型結構要調整一下，比如像The victim accused him of murder.，其中accuse是及物動詞，後面接受詞him，然後再接介系詞of及另一受詞murder。類似的句型，還有像The landlord exempted peasants from heavy duties. 圖2-7-2. turn down，有”音量調小”和”拒絕”的意思。 我們常用的動詞go，究竟是及物動詞還是不及物動詞呢？go shopping、go

2-6：句型與補語 以前高中上英文課時，只要聽到老師講到「不完全不及物動詞」、「受詞補語」這些東西，就趕緊讓腦筋切換到休眠模式，以免傷及腦細胞。因為我們發現，即使聽不懂這些拗口的名詞，也不會妨礙對課文內容的理解。 及至年長，不免對老師的諄諄教誨感到歉意，但多少也有點抱怨，那種大範圍系統性的觀念，難道不能講得口語化一些，非得讓懵懵懂懂的青澀少年，聽得一頭霧水暈頭轉向？ 英文分成五大句型，還運用到主詞補語、受詞補語等來解釋，應該是外國學者和教育界人士，經過長時間思考和討論的智慧結晶。目前大家英文都學到一定的歲月了，現在再回過頭來複習一下，說不定可收溫故知新、水到渠成之效。 要弄懂甚麼是「不完全不及物動詞」、「完全及物動詞」這一些，先要釐清甚麼是「及物動詞」，甚麼又是「不及物動詞」。 「完全不及物動詞」的句型是最簡單的，句子內只要有主詞和動詞就可以了，例如John cries.、Mary fainted.，哭泣cry、昏倒faint，這些動作都是自己做就可以，不需要有施予動作的對象，所以稱之為完全不及物動詞。 「不完全不及物動詞」，它是不及物動詞，但後面可以接名詞，這名詞並不是當作受詞用來承接動作，而是用來補充說明主詞，所以稱之為主詞補語，主詞補語在此就等同於主詞本身。例如John becomes a good student. 主詞補語是a good student，等同於主詞John，而不完全不及物動詞become，主要用來連結John和a good student兩者關係，稱為連綴動詞(linking verb)。 「完全及物動詞」的句型也很簡單，只要有主詞和動詞和受詞就可以了，例如 I like jogging.、He drives a bus.，這些句子都有主詞、動詞、受詞，是典型的完全及物動詞。 「不完全及物動詞」的句型，也是有主詞、動詞、受詞，但是語焉不詳，必須對受詞再做補充說明，語意才會完整。例如 I heard Jane. 、I let my hair.，都使用到不完全及物動詞，只是還不清楚其完整意思，但若加上分詞片語當作受詞補語，就可表示受詞主動或被動在進行一些動作，如 I heard Jane singing a song. I let my hair cut in the barbershop. 主詞(受詞)補語如果是形容詞，表示補語在呈現主詞(受詞)的樣貌或狀態，例如This apple tastes sweet. He made me crazy. 。受詞補語也可以是原形動詞或不定詞片語，甚至介系詞片語，例如

3-4：Q-learning 增強式學習裡面，有一個很基本的技巧，叫做Q-learning。Q是Quality的意思，指在某種狀態下，採取某個行動的價值，或者說在幾個可供選擇的行動中，各個行動品質的量化評估。 Q-learning的演練例子當中，除了先前提過的迷宮遊戲之外，Open AI公司所提供的Gym Cart-Pole，「木棒平衡滑車」遊戲 ，是被引用次數相當多典型範例，它訓練滑車左右快速移動，來讓繞軸轉動的木棒可以維持平衡。 上圖的實驗是不容易複製的，除了程式設計之外，還要有精準的機械控制模組來協作，一般人是沒辦法模仿的。 所以變通的方式，就是純粹用電腦動畫遊戲來模擬看看。但模擬過程的計算還真不好處理，因為木棒的軌跡，除了移動還有轉動，要做得維妙維肖，除了程式語言，還要有力學的演算技巧。只是一般設計程式的人，往往連「角速度乘以曲率半徑等於線性速度」，這樣的物理基礎都沒有，所以設計出來的動畫遊戲，就如下圖這般形似而神異了。 Cart-Pole這個訓練遊戲的重點，是在決定整個環境(environment)有哪些狀態(state)，代理人(agent)有哪些動作(action)。只不過它的四個狀態中，木棒角度和角速度就會難倒很多人，嚴格來講，這個練習並不適合讓初學者來嘗試。 值得慶幸的是它的代理人動作倒還很簡單，就是滑車在某個位置時，要決定下一步是朝左移一格、朝右移一格或靜止不動這三種。我們把這三種動作維持不變，場景改成類似個人版的乒乓球遊戲，狀態就可大幅簡化成三個物體的位置，如此，初學者就可以很清楚，在套用Q-learning的時候，Q-table的四軸陣列，應該要如何建立起來了。 https://mobile-learning-testing.com/wp-content/uploads/2024/12/pon.mp4 上圖的訓練遊戲，它的reward值，在球接觸到拍子的狀態，應該是一個大的正數，在球接觸到地板的狀態，應該是一個大的負數，其他的狀態，給予 -1的reward即可。它可據此算出各個狀態的最適行動Q值，來決定下一步應該採取的行動。 這整個場景像是一維半(1.5D)的乒乓球遊戲，因為兩個球都只能在垂直方向移動，如果可以讓一個球在二維平面(2D)上持續移動，那就是個人乒乓遊戲的AI版本了。

2-6：串列、陣列與張量 我們前面的單元，有提到串列(list)搭配迴圈的計算，所使用到的是一維串列。串列也可以是二維、三維或更高維，在統計分析和繪製圖表經常會接觸到，它的功能就類似別種語言的陣列。 但它在某些方面卻有迥然不同的運算方式，即以最簡單的加法而言，它的結果也出乎一般初學者的預料。比如我們把兩個一維串列(向量)相加，[1,2,3]+[4,5,6]，竟然會得到[1,2,3,4,5,6]。 這樣的運算是有它的用意的。第一，它可以把分次得到的資料整理在一起；第二，它可以擁有記憶的功能。 下圖是我們先前提到的循環神經網路RNN，在右邊展開的三個時序圖中，我們可以看到，前面時序處理過的訊息，會和最新輸入的訊息結合在一起後，再做下一步的處理。這兩個訊息結合在一起，使用的就是類似這種串列加法的連接運算(concatenate)，這種運算可以把新舊記憶連結起來。 如果堅持一定要使用線性代數的計算方式，就要使用到Python裡面運算功能強大的套件模組–Numpy，Numerical python。它的核心是使用C語言來開發的，很適合快速處理大量資料。 下圖第5行先匯入numpy模組並簡化其命名為np，第6、7行利用np的array函式，將串列轉換成陣列，經過加總後再輸出，就可以得到一般線性代數計算的結果。 但numpy的功能遠不止於這些，它在數學觀念上的轉變，和程式碼裡面符號的處理，是有相當程度的躍升了。 早在Matlab最活耀的時代，它已經把矩陣的符號轉換成適合程式碼輸入的形式。例如一個最簡單的3×3影像矩陣，將其灰階值表示成[25  33  120;18  95  212;130  77  255]，這種矩陣表示方式可稱之為二維陣列。很顯然的，這樣的數據要輸入程式碼中是沒有問題的。相較之下，傳統的矩陣符號，是不太適合寫成程式碼的， 圖2-6-4. 傳統的矩陣表示方式，把數據夾在兩個大型中括弧內，並不適合寫成程式碼。 到了numpy的階段，它把上式二維陣列，再進一步轉換，寫成更精準的模樣，這就是所謂的ndarray(n-dimensional array)，[[25  33  120]  [18  95  212]  [130  77  255]]。 這種寫法，極具擴充性，我們可以把它擴充成四維陣列，[[[[25]  [33]  [120]]  [[18]  [95]  [212]]  [[130]  [77]  [255]]]]。增加的外層維度(藍色)意思是說，除了這張影像，還可以再置入其他影像；增加的內層維度(橘色)意思是說，裡面的灰階值，可以從單一灰階值，擴充成紅綠藍三種灰階值。 嚴格來講，這邊的維度應該叫做軸度(axis)。在numpy裡面，維度(dimension)，指的是向量裡面元素的個數。經常聽到的名詞「降維」(dimensionality reduction)，其實是減少元素個數，來提取特徵。 最後，必須提到上圖TensorBoard中張量(tensor)的概念。tensor在很多方面都類似ndarray，但它是專為深度學習而設計，可運行在GPU上面，而ndarray比較常使用到CPU。 Google的深度學習框架(framework)，叫做TensorFlow，數據在上一神經層運算完畢後，再進入到下一神經層處理，好像張量在流動一樣。 在實務工作上，TensorFlow常是深度學習工程師必備工具，但它跨入門檻不低，所以在學術研究上，很多人喜歡用臉書公司開發的技術Pytorch來發表論文。

2-5：資料處理視覺化 我們在分析資料的時候，如果數據整理的結果能用圖形表示，不但可以讓一般讀者快速抓住問題重點，也可以讓有經驗的人看出其中的技術細節。 早期這方面的相關軟體，最具代表性的就是Matlab，Matrix Laboratory。它第一版是用FORTRAN編寫，著重在矩陣向量的運算，第二版改以C語言開發，加入了資料圖形視覺化的功能。 時至今日，由於大數據和人工智慧的需求，Python裡面Matplotlib.pyplot繪圖模組，結合其Pandas資料處理能力，和Numpy的陣列運算功能，形成一套很有效率的深度學習組合。 上圖上第2行匯入繪圖模組並改命名為plt，第3行讀入csv檔案後，在第4行取其中”CPM”欄位值和”CTR”欄位值，分設為x座標和y座標，繪製出上圖中之2D散佈圖。可以看得出來，搭配第1行匯入的pandas模組，整欄資料的取用計算變得非常簡便。 下圖是取用所有6個欄位的資料值，繪製出3D散佈圖。這3D圖不僅能顯示3個座標軸，還可引用另外3個變數，顯示出總共6種不同資料訊息。 第15行中，除了x,y,z等3軸座標外，還用顏色來分類”CLASS”這個欄位，而且使用數據點的大小，來顯示”ROAS”這個欄位值的多寡。甚至，還可以把”公司名”這個欄位內容，用第16、17行的敘述直接標記在數據點旁邊。 如果只比較繪圖精美的程度，Matlab因為發展既久，明顯勝過Matplotlib，但兩者處理的對象和數學的觀念，並不完全一致。 Matlab的Matrix(矩陣)，主要針對科學工程可以量測的物理量，如時間、位置、頻率、強度等，做變化趨勢的計算，而Matplotlib很多是在做數據分佈的統計分析。 兩者在數學上的觀念差異，從使用的符號也可看得出來。Matlab所強調的矩陣著重在2、3維變數，很難擴充至4維以上；但Matplotlib卻很容易從陣列(Numpy Array)的操作，視需要增減它的維度。 模組搭配Python程式語言運作，在實務上比較佔優勢。Matlab因為是C語言的API，不是直接撰寫C/C++語言，在影像視訊類的第一線工作場所，有時不為基層主管所喜。 圖2-5-3. Matlab的繪圖顯示相當精美。 前面提到的FORTRAN語言，那是五年級前段班生的共同記憶。當時個人電腦並不普遍，電腦實習課都需要輸入程式至大型主機，進行分批次處理作業，再靜待編譯結果。所以不時可看到電腦教室終端機前，一群人在那裏慌慌張張、手忙腳亂，在有限時間壓力下，匆匆輸入錯誤指令。但這夢魘不會馬上終止，你還必須過一個禮拜等報表出來之後，再繼續輸入指令、然後繼續錯誤…….。 聽說早期的情況還更慘，學生是用卡片打孔方式輸入程式，有時卡片打錯了，還會有人用膠帶把打錯的孔貼起來，實行「掩耳盜鈴」政策，讓計算機老師相當頭疼，不知道該不該責備這些天真浪漫的學生。 圖2-5-4. 整張卡片代表一個指令敘述，每一行代表一個字元，最多可輸入80個字元。黑色的小框，是被打孔的位置。 圖2-5-5. 1963年，一部IBM打孔機電腦，用牛車搬運至台北羅斯福路，一路穩步向前，被戲稱為”mobile computing”的先驅。

2-4：資料處理模組 我們最熟悉的試算表軟體，大概非Excel莫屬了。這個軟體，火紅到有人光憑上傳教學影片至Youtube，教導各種日常活用Excel的場景，就可以獲利上百萬美元、賺進第一桶金，簡直讓人大呼不可思議。 Excel的各項設計，讓人工處理二維表單，變得視覺化又直覺化，可以快速正確得到數值運算的結果，為使用者節省大量時間成本。 隨著大數據時代的來臨，微軟也開始多方促銷開發既久的VBA，Visual Basic Applications，用來輔助Excel程式能力之不足。但囿於試算表先天框架所限，資料必須在儲存格、表格、視窗、檔案各種物件間轉換，讓VBA程式寫起來總算差強人意。 圖2-4-1. Excel試算表裡面，附有VBA程式設計的功能。 值此同時，越來越多人使用的Python，其資料處理模組Pandas，Python and data analysis，則以快速處理大量數據的能力，攫獲學界和業界的青睞。這個模組，可將外部的csv資料檔案，讀取至程式碼裡面，再以其內建的處理函式，運算各項統計數據。 下圖是簡短程式執行第1~4行的結果，第5~8行先用註解行略過。第1行匯入pandas模組，給予簡易名稱pd；第2行使用pd的read_csv類別，輸入ads3.csv資料檔，建立二維表格資料物件df；第3行將df內容全部輸出；第4行只輸出df的兩個欄位”Coms”和”CPM”。資料有8筆，由0編號至7。 下圖則是完整程式執行第5~8行的結果，第1~4行用註解行略過。第5行是用mean( )指令，求取”CPM”欄位的平均值；第6行是用std( )指令，求取”CPM”欄位的標準差；第7行搜尋”ROAS”欄位值為5的所有紀錄；第8行則是依”ROAS”的大小，將全部紀錄做排序。 平均值、標準差、搜尋、排序，是資料統計分析最基本的運算，在pandas裡面，都可以用簡單的指令快速處理。所以有人就把pandas，比喻為Python裡面的Excel。 在DOS作業系統時代，銷量最大的試算表Lotus 1-2-3，幾乎壟斷了IBM相容電腦市場，後來IBM乾脆花天價買下此產品，引發各界議論。但如前文提到的，微軟參與蘋果麥金塔的開發，取得圖形化介面的先機，讓Excel得以蠶食視窗作業系統市場，最終迫使IBM Lotus 1-2-3於2013年停產。 個人電腦試算表原本就存在有強勁的市場需求，早在蘋果電腦Apple 2推出時，上面就搭售廣受歡迎的VisiCalc，在記憶體有限的年代，它充分利用每一位元之精妙，宛若在雕琢藝術珍品一般。但市場競爭太激烈，這個產品風光了五、六年，在摩爾定律奏效之後，就被Lotus 1-2-3大幅超越了。 圖2-4-4. VisiCalc在Apple 2螢幕上的編輯畫面，它是品項數目乘以單價加總後再課稅的運算。