Bash 迴圈計數後又變 0:把 while read 從管線移出來
Bash 的 while read 迴圈明明累加了兩筆,外面卻還是 0?用輸入重導向與程序替換保留計數,並處理檔尾沒有換行的情況。
Bash前段指令失敗卻回傳0:用pipefail檢查管線
一段檢查或處理資料的指令,用豎線接到下一段後,前段明明失敗,整條管線卻回傳0。若你用這個結果決定是否繼續備份、部署或匯入,可能漏掉前面的錯誤。Bash一般以管線最後一段的退出狀態作為整體結果;啟用pipefail後,才會把前段的非零狀態納入判斷。 先重現:前段失敗,最後一段仍成功 以下用false刻意回傳1、true回傳0,方便觀察規則,不會處理檔案。請存成.sh檔並用bash 檔名.sh執行;範例使用Bash,不能假設所有以sh執行的環境都有相同選項。 #!/usr/bin/env bash set +o pipefail false | true rc=$? printf 'pipeline status=%s\n' "$rc" # pipeline status=0 set -o pipefail false | true rc=$? printf 'pipeline status=%s\n' "$rc" # pipeline status=1 第一組關閉pipefail,管線狀態取自最後的true,所以是0。第二組啟用後,前段false的1成為整條管線的狀態。若所有段落都回傳0,啟用pipefail後的整體結果仍是0。 rc=$?要緊接管線。若先執行echo或另一條指令,$?就會變成那條指令的狀態;上面的printf是在保存rc之後才顯示結果。 多段都失敗時,取最右側的非零狀態 #!/usr/bin/env bash set -o pipefail (exit 7) | (exit 3) | true rc=$? printf 'pipeline status=%s\n' "$rc" # pipeline status=3 結果是3,不是7,也不是最後一段true的0。pipefail取管線位置最右側、且退出狀態非零的那一段;不是取最大的數字,也不是取最後完成執行的程序。括號裡的exit只結束該子shell,不會直接結束外層腳本。 取得失敗狀態後,還要決定下一步 pipefail本身不等於「出錯立即停止」。前面的第二組範例中,管線回傳1後,printf仍會執行。若這個步驟失敗就必須停止,請明確寫出分支,並保留原來的狀態。 #!/usr/bin/env bash set -o pipefail if false | true; then printf '檢查完成,繼續下一步\n' else rc=$? printf '管線未通過,status=%s\n' "$rc" >&2 exit "$rc"...
Linux shell變數在子程序不見:assignment與export
在終端設了變數,接著啟動腳本卻讀不到,常見原因是你只做了shell變數賦值,沒有把它放進子程序的環境。assignment與export各有作用:前者讓目前shell保存一個值,後者把該變數標記為輸出,讓後續啟動的程序收到它。先分清誰設定、誰讀取,比反覆把值寫進不同設定檔更容易找到問題。 目前shell有值,子shell未必有 以下案例使用專屬變數WN_SAMPLE,避免改動PATH或其他既有設定。先unset清掉這個名字,建立目前shell的值,再啟動新的bash讀取。子shell的參數展開用單引號包住,確保它在子shell裡執行;若改用雙引號,外層shell可能先把值展開,輸出看似成功,實際並沒有證明子程序收到了環境變數。 unset WN_SAMPLE WN_SAMPLE=parent printf "parent-before=%s\n" "$WN_SAMPLE" bash -c 'printf "unexported-child=%s\n" "${WN_SAMPLE-unset}"' 在Ubuntu 24.04、GNU Bash 5.2.21的自有隔離案例中,目前shell輸出parent-before=parent,子shell輸出unexported-child=unset。這裡unset是取不到變數時由展開語法提供的文字,不是子shell真的建立了名為unset的值。新的bash沒有拿到尚未export的WN_SAMPLE,因此兩個結果可以同時成立。 export讓後續子程序收到環境值 export WN_SAMPLE bash -c 'printf "exported-child=%s\n" "$WN_SAMPLE"' 這次子shell輸出exported-child=parent,因為WN_SAMPLE已被標記輸出。你也可以用export WN_SAMPLE=parent一次設定並輸出,但不要把兩種寫法的差異誤認為字串值的差異。關鍵是export屬性,而不是變數剛好叫什麼名字。已經輸出的變數再賦新值,後續程序會收到新的值;已經啟動的程序則不是這次操作的接收對象。 程序啟動時收到一份環境,而不是持續連到父shell變數的共享欄位。父shell之後改值,不能因此推論先前啟動的服務已更新。若網站程式讀的是啟動時的環境,修改終端中的值與正式服務讀到的新值之間還有自己的啟動流程。本案例只啟動短生命週期的bash,沒有改服務設定、重啟程序或測試正式站。 子程序改值,不會回寫父shell bash -c 'WN_SAMPLE=child; printf "child-changed=%s\n" "$WN_SAMPLE"' printf "parent-after=%s\n" "$WN_SAMPLE" 隔離案例的輸出分別是child-changed=child、parent-after=parent。子shell可以改自己的變數,但它的修改不會回流成父shell的新值。export也不會改變這個方向:它負責提供啟動環境,不是雙向同步機制。如果腳本需要把計算結果交回呼叫者,必須另用輸出、檔案或你設計的通訊方式,而不是只在子shell裡賦值。 同樣地,子程序收到的環境不代表它會再次把所有新變數傳給更下一層程序。若在子shell裡建立了另一個未輸出的變數,仍需分清該子shell自己的變數與它輸出的環境。排查多層腳本時,每一層都看誰啟動誰、值在哪裡設定,以及該名字是否被export,不要把最外層設定成功當成所有層都一定收到。 只給一個指令的暫時值 WN_SAMPLE=temporary bash -c 'printf "one-command-child=%s\n" "$WN_SAMPLE"' printf "parent-final=%s\n" "$WN_SAMPLE" 這次one-command-child=temporary,但parent-final仍是parent。放在外部指令前面的賦值,可供該次指令使用,不必把父shell原值永久改成temporary。這很適合只想測一次程式對某個設定的反應。注意這裡接的是外部bash指令;shell特殊內建、函式或其他語法的環境與賦值規則不應一概套用。本篇只驗證所列的外部指令形式。 如果值含空白,仍要正確引用,例如WN_SAMPLE="two words" bash -c後面的指令。引用控制shell如何把文字分成參數,export控制變數是否進入環境,兩者處理不同問題。收到值卻因未引用而分裂成多個參數,與完全沒有收到環境值,是兩種不同故障。先印出限定變數的實際值與參數,再決定要修哪一層。 在真正啟動程式的位置檢查 互動終端、排程與服務可能由不同程序啟動。你在某個終端export成功,只能證明該shell之後啟動的子程序能收到值,不能保證另一個排程或服務也繼承同一份環境。先找出實際啟動鏈,再在自己的測試程序中讀取需要的名字。不要為了排查一個變數就把整份環境公開貼出,因為其他名字可能包含與本問題無關的資料。 Bash啟動檔也與登入、互動等模式有關。腳本用bash -c啟動與你開終端後手動操作不完全相同;不能假設某個互動啟動檔一定會被所有程序讀取。本篇用乾淨的專屬變數加明確賦值,讓結果來自assignment與export,而不是依賴使用者既有啟動檔。若自己的環境出現不同結果,先看是否有啟動檔或程式內部再次設定同名值。 不要把執行腳本與source混成同一件事 執行一支腳本通常由另一個shell程序處理,腳本裡改變自己的變數,不能直接改回呼叫它的父shell。Bash的source或點指令則是在目前shell環境中讀取檔案,作用範圍不同。若為了讓值留下來而把原本執行腳本改成source,檔案中的其他命令也會在目前shell生效,不能只把它當成export的另一種寫法。應先確認檔案就是設計成可被讀入的設定,再選擇這種方式。本例沒有讀入其他檔案,也沒有用source改父shell。 也要分清空字串與未設定。${WN_SAMPLE-unset}只有變數未設定時才用替代文字;若變數存在但值是空字串,輸出仍是空。另一種帶冒號的展開形式會把空值也納入替代條件,兩者不能在排查時隨意交換。若你的程式把空字串視為有效設定,就應保留這個差別。本案例先unset再賦非空字串,讓未輸出與已輸出的結果更容易辨認,沒有把所有空值處理策略套給應用程式。 最後,export清單只是目前shell的狀態。另開一個與它沒有父子啟動關係的終端,不會自動得到你剛剛修改的值。若需要長期固定設定,要放到實際啟動程序使用的設定來源,再按該環境的程序管理方式生效。這一步超出單次shell實驗的範圍;先確認傳遞機制,才決定適合自己的設定位置。 用小案例確認傳遞方向 完整案例按順序得到五個關鍵結果:未輸出的子shell取不到值、export後收到parent、子shell改成child、父shell仍保留parent、單次指令收到temporary而父shell最後仍是parent。所有操作在本地無網路隔離容器完成,容器已退出,沒有改系統全域設定。本案例版本是Bash 5.2.21,參考Bash文件來自官方5.2.37發行包;補丁版本不同已分開記錄。 遇到「腳本讀不到設定」時,可以先用這組小測試驗證你的啟動方式,再回到實際腳本。保留同一個專屬名字、明確的unset與限定輸出,容易看出值在哪一層消失。確定程序真的收到值後,才查程式是否使用另一個名字、是否有自己的預設值,或是否在啟動後把它覆蓋。這樣不必靠反覆修改全域設定檔猜原因。 參考資料GNU Bash 5.2.37官方發行包:Bash手冊POSIX:Shell Command LanguageLinux man-pages:environ,man7上游出版鏡像Linux man-pages:execve,man7上游出版鏡像POSIX:env
Linux檔名含空白就找不到:shell變數為何要加引號
上傳檔案明明存在,shell腳本卻說找不到。檔名叫site notes.txt,變數也印出正確路徑;真正送進命令時,空白把它拆成兩個參數。對一個已存好的檔案路徑,使用雙引號包住變數展開,才能讓整段值保持一個參數。 這個問題會出現在備份、匯入、圖片處理與部署腳本。不能要求所有使用者永遠不用空白檔名,也不宜靠刪掉空白讓錯誤暫時消失。先查命令收到幾個參數,再決定怎麼引用,較容易找出真正的展開問題。 變數值正確,不表示參數邊界正確 建立一個新的示範目錄,放入含空白的檔名,再把完整路徑存到變數。賦值這一行用單引號保存字面值;之後讀變數時,用雙引號讓變數展開但保留整段值。 mkdir -p /tmp/quote-demo printf 'one file\n' > '/tmp/quote-demo/site notes.txt' path='/tmp/quote-demo/site notes.txt' cat "$path" 這個目錄與檔案只供示範。執行前確認你自己的測試路徑沒有需要保留的內容,不要把正式檔案搬到這裡再覆寫。範例只是讀取資料,不處理檔名清理或重新命名。 寫成cat $path時,shell不是先把變數變成一個不可分割的路徑。一般未引用的變數展開,還可能經過分詞與檔名展開;預設分詞分隔包含空白、Tab與換行。命令因此收到/tmp/quote-demo/site與notes.txt,而不是原本那個檔名。 直接印出參數個數,比看echo更清楚 show() { printf 'argc=%s\n' "$#" printf '<%s>\n' "$@" } show $path show "$path" 在隔離Ubuntu 24.04、Bash 5.2.21的實跑,未引用得到argc=2,兩行分別是路徑前半與notes.txt;引用後得到argc=1,整個含空白的路徑在同一對尖括號中。這個小函式只查看參數,不修改檔案。 echo印出的外觀可能讓兩者很像:兩個參數之間也會用空白分隔,於是你看到的字串和原路徑相同。排查參數問題時,應印出個數與每項邊界,而不是只核對一整行文字。字串內容相同,傳入方式仍可能不同。 同一組案例中,cat $path回傳1,標準錯誤指出拆開後的路徑不存在;cat "$path"印出one file並回傳0。這證明差異發生在命令參數,而不是檔案讀取權限或原檔案已遺失。 雙引號和單引號有不同用途 雙引號中的$path仍會展開成變數值,但一般不再進行這個值的分詞與檔名展開。單引號中的$path則是字面的美元符號與名稱,不會讀變數。所以cat '$path'不會打開變數指向的檔案,而是嘗試找一個叫$path的檔名。 賦值時需要保存固定文字,可以用單引號;要把變數的值傳進命令,通常用雙引號。兩者不是誰比較安全就一律取代另一種,而是依你希望哪些字元被解釋來選。含單引號的字面內容則還需按shell引用規則處理,不要把任意外部文字直接貼進單引號模板。 這篇處理的是Bash命令列展開。PHP、Python或其他程式用參數陣列直接啟動程式時,不一定再經過shell分詞;相反地,把資料拼成一整段shell命令又會引入解釋規則。先確認呼叫途徑,不能只看到同一個路徑就假設引用方法相同。 星號也可能把一個值變成多個檔名 除了空白,變數裡的星號也需要想清楚。若pattern保存*.txt,未引用展開可能依當前目錄找到多個文字檔;引用後則把字面*.txt傳給程式。這不是哪一種結果永遠正確,而是你應知道自己要傳一個模式還是多個路徑。 pattern='*.txt' show $pattern show "$pattern" 本例在新的示範目錄只放a.txt與b.txt,未引用得到兩個檔名,引用得到一項*.txt。這個比較是在Bash預設行為下觀察,不把它推成每個shell選項、每個當前目錄都相同。若沒有匹配或開啟其他展開選項,結果應按你的環境另核。 當你已取得一個真實路徑,通常不希望它因星號、問號或空白再次變成搜尋模式。保持雙引號引用可以把資料當成一個參數;若目的真的是批次匹配,則應清楚設計模式來源與要處理的路徑,避免把使用者檔名誤當成規則。 多個路徑不要塞進一個空白字串 如果原本要處理兩個檔案,把兩條路徑用空白黏成files變數,再故意不引用去拆開,遇到任一檔名自帶空白就失去邊界。Bash中可使用陣列保存每個路徑,傳入時採用引用的陣列展開;這和一個路徑變數是不同需求。 files=('/tmp/quote-demo/site notes.txt' '/tmp/other.txt') show "${files[@]}" 這裡的第二個檔案不用存在,show只是展示兩項參數。真正讀取前仍要檢查來源與處理錯誤。陣列寫法是Bash功能,不應直接照抄到要求POSIX sh的腳本;選定執行shell後,再使用它支援的資料結構。 空值也有參數是否存在的差別 如果path是空字串,未引用展開可能完全沒有傳入參數;引用後則傳入一個內容為空的參數。本例另跑show確認,前者個數為零,後者為一。兩者對程式可能有不同含意,所以加引號不是替空值補出一個有效路徑,而是保持原本的資料邊界。需要拒絕空路徑時,應在呼叫前明確檢查,不能靠展開時剛好消失來處理。 引用保住邊界,其他條件仍要核對 加引號不會修復不存在的檔案、沒有讀取權限或錯誤的工作目錄。相對路徑還是依目前目錄解析;如果變數內容已經寫錯,它只會完整傳入那個錯誤值。先用這個最小比較確認分詞,再分別查檔案存在、權限與目錄。 檔名若以減號開頭,引用也不會自動取消程式的選項解釋。支援雙減號分隔的命令可按手冊使用--,或採清楚的路徑形式;不同程式是否接受這個分隔要核對,不能把shell引號當成所有選項問題的通用解法。 也不要改用eval讓路徑「重新解釋一次」。資料如果又被當成命令文字處理,會引入另一輪展開,反而更難保住原始邊界。對讀取一個檔案的需求,直接把引用的變數傳給cat就足夠,不需要增加命令字串層。 把空白檔名和含模式字元的值保存為測試資料,核對每個參數都符合預期,再接回真正的工具。若腳本可由多個入口呼叫,還要把相同檢查放在實際執行環境確認。這個案例只驗Bash本地參數與讀檔,不表示備份或部署已完成。 參考資料 GNU Bash 5.2官方發行包:展開與引用手冊POSIX:shell引用與分詞Bash上游manpage(man7鏡像)Linux:execve參數陣列POSIX:cat的檔案運算元
Linux grep沒找到就讓腳本中斷:分清退出碼1與2
部署檢查腳本要從紀錄找出ready,找到了就繼續,沒有找到就回報仍在等待。你加了set -e,希望命令出錯時停下來,卻發現紀錄沒有那一行,整支腳本就結束。檔案其實存在,grep也正常讀完;問題是把「沒有匹配」和「讀取失敗」當成了同一件事。 GNU grep通常用三種退出狀態表達結果:0代表選到了行,1代表沒有選到行,2代表發生錯誤。腳本若需要區分等待狀態和故障,就要讀這個狀態,不能只用有沒有輸出判斷。 先分清正常的沒有找到與真正錯誤 建立一個只有ready的檔案,再搜尋兩個詞和一個不存在的檔案。以下是小型示範檔案,不要把測試路徑換成正式紀錄後直接覆寫。 printf 'ready\n' > /tmp/status.log set +e grep 'ready' /tmp/status.log printf 'match=%s\n' "$?" grep 'missing' /tmp/status.log printf 'no_match=%s\n' "$?" grep 'ready' /tmp/missing-file printf 'file_error=%s\n' "$?" 在隔離Ubuntu 24.04、GNU grep 3.11與Bash 5.2.21中,三次狀態依序是0、1、2。第一個搜尋還印出ready;第二個沒有標準輸出;第三個把檔案不存在的訊息寫到標準錯誤。這裡的set +e只為了讓示範完整跑完,不是建議關掉整支正式腳本的錯誤處理。 退出碼和搜尋內容是兩個不同資料。若你用命令替換收集行,空字串不一定足以說明原因;找不到檔案也可能得到空的標準輸出。先記錄退出碼,再決定內容如何使用,錯誤訊息則應保留給維護者。 把可能沒有匹配的搜尋放進條件式 set -e的行為有上下文限制,不是每個非零結果都會立即退出。放在if測試位置的命令可以由你接手判斷,這正適合grep可能正常找不到的情況。先選一般grep,保留本例清楚的三種結果。 if grep 'ready' /tmp/status.log; then echo '已找到ready' else rc=$? case "$rc" in 1) echo '尚未找到ready' ;; *) printf '搜尋失敗:%s\n' "$rc" >&2 exit "$rc" ;; esac fi else第一行立即保存$?,因為它表示剛才grep的退出狀態。如果先echo一段提示,再讀$?,拿到的可能是echo成功的0。這種錯誤很隱蔽:維護者看得到失敗訊息,判斷分支卻以為前一個搜尋成功。 這裡把1視為業務上的「尚未出現」,其他非零值則向上回報。GNU版本的一般錯誤常是2,其他grep實作可能使用大於2的值,因此不要把未知的非零碼也塞進沒有找到。若你的流程規定找不到ready本身就是失敗,仍可以自行exit 1;那是流程規則,並非grep損壞。 不要用反向判斷後的狀態冒充原始結果 if ! grep看起來更短,卻會把命令成功與失敗反轉。如果進入這個分支後才讀$?,讀到的是反轉後的條件狀態,不能再用它分辨原始的1和2。需要保留錯誤分類時,使用上面的正向if與else保存原始狀態比較直接。 另一種常見寫法是grep後面接|| true,目的是讓set -e不要停。它同時吞掉「正常沒有匹配」和「無法讀取檔案」,下游只看到成功。當搜尋只是可有可無的顯示資訊,這可能是刻意選擇;但部署、備份或健康檢查若需要可靠分支,就不應把所有非零狀態都改成0。 本例另跑一支set -e腳本,直接搜尋missing後再echo after。結果退出1,after沒有執行;改成if測試後則印出conditional=1與continued。這個實跑只比較獨立命令與if位置,不推廣為所有函式、子shell或管線的完整規則。 只要布林結果時才考慮quiet模式...
