健壮 Shell 脚本编写指南

Shell 编程是一个很大的范畴，通常是指用一门 Shell（比如：zsh、bash） 外加各种命令（比如：grep、awk）来编写。 POSIX shell 算是一个标准，但功能相对简陋，Bash 历史最为悠久，应用最广泛，因此很大程度上 Shell 编程就是写 Bash 脚本。不同 Shell 的对比可以参考：Unix Shells: Bash, Fish, Ksh, Tcsh, Zsh。

本文会以 POSIX 标准为基础，同时涵盖 Bash 中常用的功能。一门 Shell 通常会提供以下功能，后文也会就这几方面展开叙述：

• 变量
• 流程控制，比如：if、while、for 等
• 函数
• 内置命令，比如： cd 、 [ 、 : 等

需要说明一点，Shell 编程对空格的处理十分敏感，代码相同，但空格不同，意义就不一样！后面在介绍时也会不断强调这一点。

变量是任何一门语言中最基本、最实用的基本组件，很难想象一个没有变量的语言会是怎样，Shell 中定义变量的语法如下：

1var=value

这里有两点需要注意：

• 等号左右两侧没有空格，否则就会被视为命令调用，这一点对初学者来说十分迷惑，但仔细想想其实是合理的，否则解释器怎么知道用户的意图呢？
• 变量类型只有 string，可以用后面提到的 ((exp)) 这种语法对变量进行四则运算

使用一个变量的语法是 $var ，推荐的写法是 "${var}" 用双引号包起来可以保证变量里即使有空格，也不会为视为两个参数，加花括号是为了防止歧义，比如：

1user=john
2touch "/tmp/$user_file"

上面例子意图是创建 /tmp/john_file 这个文件，但是实际上 user_file 整体会被识别成变量名，因此会出现不符合预期的行为， 改用 touch "/tmp/${user}_file" 就可以消除歧义了。

在实际使用时，经常会有给变量赋默认值的情况，比如当 CC 没有指定时，设置为 gcc，可用下面这种语法：

1CC=${CC:-gcc}

此外，在交互式脚本中，可以使用 read 这个 Bash 内置函数来让用户输入变量的值：

1echo "What's your name?"
2read my_name
3echo "Hello ${my_name}"

除了用户定义的变量，Shell 中有大量内置变量，下面是一些常见的：

1foo="a b"
2touch $foo

1# 索引数组声明方式
2declare -a indexed=(hello world)
3# 关联数组声明方式，bash 4 开始支持
4# declare -A associative=([hello]=1 [world]=2)
5
6echo "First element is" ${indexed[0]}
7for i in ${indexed[@]}; do
8  echo "$i"
9done

1First element is hello
2hello
3world

1if test-commands
2then
3  consequent-commands;
4[elif more-test-commands; then
5  more-consequents;]
6[else alternate-consequents;]
7fi

如果 test-commands 的返回值是 0，表示 true，接着执行后面的 consequent-commands; ，否则进行后面的判断。

除了判断一个命令的返回值，POSIX shell 还提供了一个特殊的内置命令： test ，它后面可以跟一组条件表达式，用于常规逻辑的判断， 比如两个变量是否相等。 test 命令还有个等价的命令，即 [ 。只是用 [ 时，最后一个参数必须是 ] 表示判断语句的结束， 而且这种写法更为常见，但我们需要意识到 [ 是个内置命令。

上面 if 的语法虽然看起来简单，但还是想强调三点：

1. if 语句最后有个 fi ，表示结束
2. then 必须在单独的一行，如果想和 if 放一起，可以用隔离符（比如：分号，换行是另一种常见的隔离符）将它们分开： if [ .. ]; then 。后面可以看到，这条隔离规则适用于所有复杂的表达式。

3. 使用 [ condition ] 进行判断时，两边必须要有空格。这里可以做个实验：

   1if ["${foo}" = "bar" ]
   2then
   3  echo "bar"
   4else
   5  echo "not bar"
   6fi

   1bash: line 1: [: =: unary operator expected
   2not bar

   为了弄清楚上面的错误，我们可以使用 bash -vx if.sh 对脚本进行调试：

   1+ '[' = bar ']'
   2if.sh: line 1: [: =: unary operator expected

   可以看到当 foo 这个变量没有定义时，会展开成 [ = bar ] ，很明显这是语法错误，因为 = 是个二元运算符， 这里报错可以解读为：在 [ 后期望跟一个一元操作符。而且这里如果写成了 [ ${foo} = "bar" ] 也是错误， 因为它和上面展开是等价的！必须是 [ "${foo}" = "bar" ] 才正确。

   下面是 POSIX test 命令中支持的一些条件表达式，其中需要着重注意的是：

   字符串比较用的是 = ，数字比较用的是 -eq

1while test-commands; do consequent-commands; done
2
3for name [ [in [words …] ] ; ] do commands; done

使用示例：

1for i in 1 2 3
2do
3  echo "Looping ... number $i"
4done

1Looping ... number 1
2Looping ... number 2
3Looping ... number 3

1x=3
2while [ $x -gt 0 ]
3do
4  echo "Looping ... number $x"
5  x=$(($x-1))
6done

1Looping ... number 3
2Looping ... number 2
3Looping ... number 1

上面这个例子中用到了算数表达式 $((expression)) 。

1foo="a:b:c:d"
2old_ifs="$IFS"
3IFS=":"
4for x in ${foo}
5do
6  echo "$x"
7done
8IFS="${old_ifs}"

1a
2b
3c
4d

这个例子中，通过修改 IFS 来达到对字符串进行分割的效果。需要注意的是， for 语句不能写成 for x in "${foo}" ， 因为这时就不会对其进行分割了。

1for (( expr1 ; expr2 ; expr3 )) ; do commands ; done

1for (( i=0;i<3;i++ ))
2do
3  echo "Looping ... i is set to $i"
4done

1Looping ... i is set to 0
2Looping ... i is set to 1
3Looping ... i is set to 2

函数定义的语法如下：

1# POSIX 标准
2fname () compound-command [ redirections ]
3# 或 GNU Bash 扩展
4function fname [()] compound-command [ redirections ]

compound-command 可以是上面提到的各种流程控制命令，比如 if、while、for 等，比如：

 1my_function()
 2if [ ${1} -gt 10 ]
 3then
 4  echo "Large than 10"
 5else
 6  echo "Not large than 10"
 7fi
 8
 9my_function 100
10my_function 1

1Large than 10
2Not large than 10

也可以是后面介绍的分组命令。函数最后一条命令的返回值为整体的返回值，返回值只能是数字，0 表示正常返回。 也可以用 return 来提前返回。和其他语言不同的是，shell 中的函数没有作用域的概念，如下例：

1x=1
2function my_func() {
3  x=2
4  echo "x is $x inside func"
5}
6
7my_func
8echo "x is $x outside func"

1x is 2 inside func
2x is 2 outside func

可以看到，函数里面可以直接修改外部的变量，如果要避免这种行为，可以使用 local 这个 Bash 内置函数来表示声明内部变量：

1x=1
2function my_func() {
3  local x=2
4  echo "x is $x inside func"
5}
6
7my_func
8echo "x is $x outside func"

1x is 2 inside func
2x is 1 outside func

1# 在一个新的子 shell 环境中执行这组命令
2( compound-list )
3
4# 在当前 shell 环境中执行这组命令
5{ compound-list ; }

 1x=1
 2
 3(
 4  echo "x is ${x} in group command 1"
 5  y=2
 6)
 7
 8# 这里用换行符分割末尾的 }
 9{
10  echo "x is ${x} in group command 2"
11  z=3
12}
13
14echo "x = ${x}, y = ${y}, z=${z}"

1x is 1 in group command 1
2x is 1 in group command 2
3x = 1, y = , z=3

为了简化多行文本的书写，shell 支持一种称为 here-document 的写法，语法如下：

1[n]<<word
2    here-document
3delimiter

n 是可选的，默认是 stdin，后面的 word 到 delimiter 之间的内容会被写入到指定文件句柄中去。需要注意，里面的内容会进行变量名的替换，如果需要保证原样输出，可以在 word 中加上单引号。如下：

1cat <<EOF
2Home dir is $HOME
3EOF
4
5cat <<'EOF'
6Home dir is $HOME
7EOF

1Home dir is /Users/jiacai
2Home dir is $HOME

上面示例用了 EOF 作为分隔符，这是一般的约定，当然其他分隔符也是可以的。另一点需要注意，结尾的 EOF 前面不能有任何其他字符，可能有对齐的需要，可以用 <<- ，这时它会把前置的 TAB 键去掉。

内置命令包含在 shell 本身中。当内置命令的名称作为简单命令（参见简单命令）的第一个单词时，shell 会直接执行该命令，而不会调用其他程序。内置命令可以实现外部命令无法实现的功能。最常见内置命令是 cd ，它会改变 shell 的当前工作目录（CWD），这个功能是无法通过外部命令来实现的。其他常见命令：

1echo "Before exec"
2exec ls -l
3echo "After exec"  # 这行不会被执行

 1# 用只读的方式打开 readfile，并且句柄为 3
 2exec 3< readfile
 3
 4# 用可写的方式打开 writefile，并且句柄为 4
 5exec 4> writefile
 6
 7# 复制句柄 0 到句柄 5
 8exec 5<&0
 9
10# 关闭句柄 3
11exec 3<&-

 1# 同时创建三个文件
 2touch /tmp/t{1,2,3}.txt
 3
 4# 输出当前目录下所有文件，等价于 ls
 5# echo *
 6
 7# 命令替换，将命令的输出赋值给变量，会删除尾部换行符。下面两种方式等价，一般推荐用后者，它是 POSIX 标准
 8foo="`whoami`"
 9foo="$(whoami)"
10
11# 命令替换支持嵌套，很明显，第一种写法更易读
12echo $(echo hello $(echo word))
13echo `echo hello \`echo word\``
14
15# 获取变量长度
16foo="hello world"
17echo ${#foo}
18
19# 字符串截断 ${parameter:offset:length}
20echo ${foo:0:5}
21
22# 字符串替换 ${parameter/pattern/string} 只会替换第一个
23echo ${foo/o/a}
24# 两个斜线表示替换全部
25echo ${foo//o/a}

1hello word
2hello word
311
4hello
5hella world
6hella warld

更多 Shell 参数替换命令可以参考：Shell Parameter Expansion

鉴于写一个健壮的 Shell 脚本十分困难，因此网络上不断有人分享 Shell 编写的心得，下面这个模板就是一个不错的经验之谈：

1#!/usr/bin/env bash
2set -Eeuo pipefail
3trap cleanup SIGINT SIGTERM ERR EXIT
4cleanup() {
5  trap - SIGINT SIGTERM ERR EXIT
6  # script cleanup here
7}
8
9script_dir=$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd -P)

1. 首先这里用 set 这个内置命令设置了 shell 的属性，以 - 开头表示开启以下属性：

   • e ，POSIX 标准。任何命令失败时，立刻退出，就像执行了 exit 一样，失败时会产生一个 ERR 信号供 trap 捕捉。

   • o pipefail ，Bash 提供。在执行 pipeline 时， e 只会保证第一条命令失败后，后面的 pipeline 不会执行，但 shell 脚本会继续执行，这个选项就可以解决这个问题：

     1set -e
     2foo | echo "a"
     3echo "bar"

     1line 2: foo: command not found
     2a
     3bar

     可以看到 bar 还是输出了。加上 -o pipefail 后就不会了：

     1set -eo pipefail
     2foo | echo "a"
     3echo "bar"

     1bash: line 2: foo: command not found
     2a

   • u ，POSIX 标准。对未定义变量展开时，立刻退出。

   • -E ，Bash 提供。可以保证在某些复杂命令出现错误时，trap 可以捕捉到 ERR 信号。

      1set -euo pipefail
      2
      3trap "echo ERR trap fired!" ERR
      4
      5myfunc()
      6{
      7  # 'foo' is a non-existing command
      8  foo
      9}
     10
     11myfunc
     12echo "bar"

     1bash: line 8: foo: command not found

     这里可以看到， -e 已经阻止 shell 继续执行，但是 trap 并没有捕捉到错误信号，加上 -E 就可以避免这个问题：

      1set -Eeuo pipefail
      2
      3trap "echo ERR trap fired!" ERR
      4
      5myfunc()
      6{
      7  # 'foo' is a non-existing command
      8  foo
      9}
     10
     11myfunc
     12echo "bar"

     1bash: line 8: foo: command not found
     2ERR trap fired!

2. cleanup 里面的 trap - SIGINT SIGTERM ERR EXIT 表示后面指定信号的行为重置为 shell 启动时的值，这样可以防止 cleanup 因接受到多个信号，而被重复调用多次。
3. 最后的 script_dir 表示脚本所在位置，这样不论用什么方式调用它，都可以获得正确的绝对路径。

此外，还可以利用 ShellCheck 这个静态检查工具来帮助我们发现代码中的潜在问题，每个错误都对应一个专门的 WIKI 页面来解释。Google 的 Shell Style Guide 也是个不错的参考资料。

Emacs 用户的话，可以利用 auto-insert 来自动插入这个模板。

通过整理这篇文章，笔者自己对 shell 这门古老语言有了不少新的认识，之前经常看到写文章说推荐 XX 用法，不要用 YY 用法， 也没去深究，导致每次用都忘记了，遇到问题再去 Google，浪费了不少时间，想要真正的偷懒，还是要做到『知其然、知其所以然』， 不然肯定会重复的犯同样的错误！

最后，GitHub 上不乏一些用 Bash 实现的“大型”项目，看完本文的读者可以进一步学习，毕竟实战出真知！

• gh2o/bash_tls: A minimal TLS 1.2 client implementation in a pure Bash script
• p8952/bocker: Docker implemented in around 100 lines of bash

在 V2EX 上讨论 💬

• The Shell Scripting Tutorial
• Bash command groups: Why do curly braces require a semicolon?
• Why semicolon NOT required in these cases?
• Command Grouping (Bash Reference Manual)
• Do parentheses really put the command in a subshell?
• Command Substitution (Bash Reference Manual)
• ShellCheck: A static analysis tool for shell scripts | Hacker News
• Minimal safe Bash script template
• Safer bash scripts with 'set -euxo pipefail'