Linux【2】-管理文件-4-选取命令(grep)

linux 阅读量：次

grep 命令的由来可以追溯到 UNIX 诞生的早期，在 UNIX 系统中，搜索的模式（patterns）被称为正则表达式（regular expressions），为了要彻底搜索一个文件，有的用户在要搜索的字符串前加上前缀 global（全面的），一旦找到相匹配的内容，用户就像将其输出（print）到屏幕上，而将这一系列的操作整合到一起就是 global regular expressions print，而这也就是 grep 命令的全称。

一、基本简介

grep 命令是用来在每一个文件或中（或特定输出上）搜索特定的模式，当使用 grep 时，包含指定字符模式的每一行内容，都会被打印（显示）到屏幕上，但是使用 grep 命令并不改变文件中的内容。

[root@www ~]# grep [-acinv] [--color=auto] '搜寻字符串' filename

选项与参数：

-a ：将 binary 档案以 text 档案的方式搜寻数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！
-l	列出带有匹配行的文件名。
-w	把表达式当做一个完整的单字符来搜寻，忽略那些部分匹配的行。
--color=auto ：可以将找到的关键词部分加上颜色的显示喔！

Linux 系统中有很多很有名的搜索类命令，例如 find 命令、locate 命令、sed 命令，但还有三位兄弟是不得不提的，它们在搜索界的地位举足轻重，那就是 grep、egrep、fgrep 三兄弟。

为什么称它们为搜索三兄弟呢？大家看看下面的家谱就一目了然了。

                  grep
                   /    \
    (选项)   (-E)   (-F)
                   /        \
                   egrep     fgrep

从上面的关系图可以看出，egrep 和 fgrep 都可以通过 grep 加上不同选项来实现，真是“打断胳膊连着筋”，血脉相亲的一家人啊。它们三兄弟，各有特点，如表 1 所示。

表1 各自特点

命 令	是否支持正则	支持的正则类型
grep	√	基本正则表达式
egrep	√	扩展正则表达式
fgrep	×

二、用法详解

2.1 入门招式

grep 是能力最全面的，下面我们就先来学习 grep，围绕 /etc/passwd 文件来讲解 grep 的作用。

[root@roclinux ~]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
(中间省略数十行)
apache:x:48:48:Apache:/var/www:/sbin/nologin
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash
尝试搜索包含leo字符串的行：

[root@roclinux ~]# grep --color "leo" /etc/passwd
leo:x:503:503::/home/leo:/bin/bash

注意上面的–color选项，它的作用是高亮我们查找的字符串，这里，leo 字符串变成了红色字体。

2.2 grep 的反查技能

下面来搜索不包含 leo 字符串的行。

# 使用-v选项
[root@roclinux ~]# grep -v "leo" /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
(中间省略数十行)
apache:x:48:48:Apache:/var/www:/sbin/nologin
test:x:502:502::/home/test:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

我们使用-v选项实现了反查效果，可以看到，含有 leo 的行都没有展示出来。

2.3 在 last 的输出讯息中，只要有 root 就取出，并且仅取第一栏

[root@www ~]# last | grep 'root' |cut -d ' ' -f1
# 在取出 root 之后，利用上个指令 cut 的处理，就能够仅取得第一栏啰！

2.4 grep 展示行号和统计行数

有时，我们希望 grep 不仅能搜索到字符串，还能展示出它们位于文件的第几行，这时我们可以使用-n选项来实现这个效果。

来看看包含 leo 的行位于文件的第几行。

# 使用选项 n
[root@roclinux ~]# grep -n leo /etc/passwd
29:leo:x:503:503::/home/leo:/bin/bash

大家注意观察输出内容的开头部分，leo 前的内容表示的就是行位置信息，原来是在第 29 行呀！

另外一些时候，我们希望 grep 不要输出搜索到的行的内容，而是简单地告诉我们到底搜索到了多少行就好了，试试-c选项吧。

# 使用-c选项
[root@roclinux ~]# grep -c leo /etc/passwd
1

输出很简单，这表示含有 leo 的行只有 1 行。

2.5 grep 能环顾四周

我想搜索包含 leo 的行，但 grep 在输出时，最好能把 leo 所在行的上面或下面相邻的行也都展示出来。

我们来看看 grep 是如何做到的。

[root@roclinux ~]# grep -A 1 leo passwd
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

上面示例中的-A选项，是 After 的缩写，表示除了展示匹配行之外，还要展示出匹配行下面的若干行。而示例中的 -A 1 则表示还展示匹配行下面一行的内容。

[root@roclinux ~]# grep -B 1 leo passwd
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash

上面示例中的-B选项，是 Before 的缩写，表示除了展示匹配行之外，还要展示出匹配行上面的若干行。而示例中的 -B 1 则表示还展示匹配行上面一行的内容。

[root@roclinux ~]# grep -C 1 leo passwd
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

上面示例中使用了-C选项，它是-A和-B选项的合体，表示除了展示匹配行之外，还要展示出匹配行上面和下面各若干行。而示例中的 -C 1 则表示还展示匹配行上面一行和下面一行的内容。

2.6 让 grep 不要区分大小写

在搜索过程中，我们有时候希望不要区分字母的大小写，这样做可以提高搜索命中的概率，而-i选项则可以帮我们这个忙。

[root@roclinux ~]# grep -i "LEO" passwd
leo:x:503:503::/home/leo:/bin/bash

看到了吧，即便我们把要搜索的字符串指定为全部大写的 LEO，仍然可以顺利地搜索到全部小写的 leo。

2.7 grep 处理多文件

grep 命令可以一次搜索很多个文件，最常使用的一个场景就是：从大量的文件中找出含有特定字符的文件。下面我们来试验一下。

# 当前目录下有三个文件
[roc@roclinux ~]$ ll
total 12
-rw-rw-r-- 1 roc roc 58 Mar 15 17:47 1.txt
-rw-rw-r-- 1 roc roc 59 Mar 15 17:51 2.txt
-rw-rw-r-- 1 roc roc 58 Mar 15 17:52 3.txt
 
# 1.txt文件的内容如下
[roc@roclinux ~]$ cat 1.txt
this first file
this file contain some import infomation.
 
# 2.txt文件的内容如下
[roc@roclinux ~]$ cat 2.txt
this second file
this file contain some import infomation.
 
# 3.txt文件的内容如下
[roc@roclinux ~]$ cat 3.txt
this third file
this file contain some import infomation.

我们的搜索需求是，找出内容中含有first单词的文件都有哪些。我们希望得到的是一个文件列表。

# 使用-l选项
[roc@roclinux ~]$ grep -l "first" *.txt
1.txt

原来只有 1.txt 文件中包含有 first 单词。如果我想找出不含 first 单词的文件都有哪些，该如何操作呢？

[roc@roclinux ~]$ grep -L "first" *.txt
2.txt
3.txt

反向操作就要用反向选项，只需把 -l 变成 -L 即可。

2.8 grep 也正则

上面讲解的内容，更多的是以普通字符串作为搜索对象的，接下来的内容里，我们会更多地设置一些复杂的搜索需求，让大家体会到正则的好处与威力。

我们希望搜索/etc/passwd文件中开头是 leo 的行：

# ^表示行首
[root@roclinux ~]# grep '^leo' /etc/passwd
leo:x:503:503::/home/leo:/bin/bash

看到了吧，我们使用“^leo”表达了“开头是 leo 的行”，而 grep 也心领神会，帮我们找到了所求。

那如果我们希望搜索 /etc/passwd 文件中行尾是 bash 的行呢？

# $ 表示行尾
[root@roclinux ~]# grep 'bash$' /etc/passwd
root:x:0:0:root:/root:/bin/bash
cloud-user:x:500:500::/home/cloud-user:/bin/bash
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash
使用“bash$”即可，你会发现正则表达式其实并不难。

grep命令能够在一个或多个文件中，搜索某一特定的字符模式（也就是正则表达式），此模式可以是单一的字符、字符串、单词或句子。

正则表达式是描述一组字符串的一个模式，正则表达式的构成模仿了数学表达式，通过使用操作符将较小的表达式组合成一个新的表达式。正则表达式可以是一些纯文本文字，也可以是用来产生模式的一些特殊字符。为了进一步定义一个搜索模式，grep 命令支持如表 1 所示的这几种正则表达式的元字符（也就是通配符）。

表 1 正则表达式的通配符

通配符 功能
c* 将匹配 0 个（即空白）或多个字符 c（c 为任一字符）。
. 将匹配任何一个字符，且只能是一个字符。
[xyz] 匹配方括号中的任意一个字符。
[^xyz] 匹配除方括号中字符外的所有字符。
^ 锁定行的开头。
$ 锁定行的结尾。需要注意的是，在基本正则表达式中，如通配符 *、+、{、

测试文件test.tmp：

12atcg34
12atgg34
12atag34
12ctcg34
12atcgaaaa34

提取

[sam@g03 result4]$ grep -n '12[atcg]\{4\}34' test.tmp
1:12atcg34
2:12atgg34
3:12atag34
4:12ctcg34

其中-n 代表显示行号； [atcg] 代表tcg中任选一个； \{4\} 代表前面的字符重复4次

grep 是个很棒的指令喔！他支持的语法实在是太多了～用在正规表示法里头， 能够处理的数据实在是多的很～不过，我们这里先不谈正规表示法

世界上的正则表达式种类繁多且复杂，面对这样的状况，POSIX 将正则表达式进行了标准化，并把实现方法分为了两大类：

  • 基本正则表达式（BRE）
  • 扩展正则表达式（ERE）

两者的区别，更多的是元字符的区别。

在基本正则表达式（BRE）中，只承认“^”、“$”、“.”、“[”、“]”、“*”这些是元字符，所有其他的字符都被识别为普通字符。

而在扩展正则表达式（ERE）中，则在BRE的基础上增加了“（”、“）”、“{”、“}”、“？”和“+”、“|”等元字符。

最后要特别说明的一点，只有在用反斜杠进行转义的情况下，字符“（”、“）”、“{”和“}”才会在扩展正则表达式（ERE）中被当作元字符处理，而在基本正则表达式（ERE）中，任何元字符前面加上反斜杠反而会使其被当作普通字符来处理。这样的设计，有些奇葩，同学们一定要记清楚哦。

2.9 有关“词”的知识

我们希望搜索含有 bin 这个词的行，按照原来我们学到的知识，一定会这样来搜索：

[root@roclinux ~]# grep bin /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
(此处省略数十行)
apache:x:48:48:Apache:/var/www:/sbin/nologin
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

但是，你会发现，这样的搜索结果有一个问题，那就是连 sbin 这样的词也会被搜索出来，而我们并不想看到这样的结果。这个问题，算是一个比较难的问题了，需要我们了解“词”的定义，以及知道正则表达式中如何表示一个“词”。

首先，正则表达式中的“词（word）”，一般是由字母、数字和下划线所组成的，且词与词之间通常使用空格、制表符或换行符分隔。举个例子，“I love you.”中的“love”就是一个“词”，但“My gloves are red.”中的“love”就不能称作一个“词”。

在正则表达式中，我们通常用尖括号表示一个“词”，比如能够匹配“I love you.”，但不能匹配“My gloves are red.”。

下面我们通过示例学习这个知识点：

#我们尝试匹配bin这个“词”
[root@roclinux ~]# grep '\<bin\>' /etc/passwd --color
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
cloud-user:x:500:500::/home/cloud-user:/bin/bash
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

我们通过使用\<和\>来准确匹配到了 bin 这个词，而 sbin 却被挡在了门外。

其实，上面的方法还是有些复杂了，grep 中还有一个更加简单的方法来实现对“词”的搜索：

# 使用-w选项来搜索一个词
[root@roclinux ~]# grep -w 'bin' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
cloud-user:x:500:500::/home/cloud-user:/bin/bash
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

2.10 grep 的多条件查找

如果我想查找以 root 为行首的或以 bash 为行尾的行，那应该怎么查找呢？这时就要有请我们的二师兄 egrep 来帮忙了。

[root@roclinux ~]# egrep '^root|bash$' passwd
root:x:0:0:root:/root:/bin/bash
cloud-user:x:500:500::/home/cloud-user:/bin/bash
test:x:502:502::/home/test:/bin/bash
leo:x:503:503::/home/leo:/bin/bash
roc:x:504:504::/home/roc:/bin/bash

我们通过 egrep 命令实现了两个条件的搜索，其中“|”符号表示“或”，连接了两个搜索条件。

同样的搜索需求，grep 就没有办法满足（除非使用-E选项）：

[root@roclinux ~]# grep '^root|bash$' passwd

这就是 grep 和 egrep的区别了，grep 的正则表达式是基本正则表达式，而 egrep 的正则表达式是扩展正则表达式，这两种表达式是有区别的，下面我们就一起来看看它们的区别。

“或”的选取

#方法一
grep 'usrquota\|grpquota' /etc/fstab ###单引号

#方法二：并列使用多个 -e参数可以实现或条件
netstat -an | grep -e EST -e WAIT

#方法三
netstat -an | grep -E  "ESTABLISHED|WAIT" 双引号

2.11 三师弟 fgrep 最朴素

grep 和 egrep 都支持正则表达式，但 fgrep 却完全不支持正则表达式。

#匹配到了好多行
[root@roclinux ~]# grep -c '^root' /etc/passwd
6688
 
#一行都没有匹配到
[root@roclinux ~]# fgrep -c '^root' /etc/passwd
0

这个示例证明了 fgrep 的确不支持正则表达式。那 fgrep 还有用武之地么？答案是肯定的。

当我们搜索时，假如搜索字符串中包含了不少特殊字符，而这些特殊字符恰好又是正则表达式预留的字符，比如说“^”、“$”等，这时，我们就可以使用 fgrep 来避免烦琐的转义了，因为我们心里知道，在 fgrep 的眼里，没有特殊字符，都是普通字符。我们来看下面的示例。

#我们的roc.txt文件中有几个^和$
[roc@roclinux ~]$ cat roc.txt
^this third file
^$this file contain some import infomation.
 
# grep会尝试去找开头为this的行, 但并未找到
[roc@roclinux ~]$ grep '^this' roc.txt
 
# fgrep会老老实实地去找^this字符串, 它找到了
[roc@roclinux ~]$ fgrep '^this' roc.txt
^this third file

三、其他案例

3.1 搜索某个文件夹下所有文件

方法一：（测试成功）

grep 'queue.sh' ./ -Rn

其他方法：（未测试）

find 文件目录 -name ‘*.*' -exec grep 'xxx' {} + -n

find 文件目录 -name '*.*' | xargs grep 'xxx' -n

grep 'XXX' `find 文件目录 -name '*.*'`

3.2 包含tab键

grep -P '1-H-82-\t1\t' ./rawid_to_img

3.3 首尾完全匹配

grep -r "\bSTRING\b"

3.4 针对文件夹内部分文件进行grep

ls * |head |xargs -t -i grep 'SVKVS' {}

3.5 提取二进制文件

grep "xxx" a.log

报错:

Binary file a.log matches

原因：

grep认为a.log是二进制文件

解决方法：

grep -a "xxx" a.log

即，让二进制文件等价于文本文件

注：zgrep遇到同类问题时，解决方法是一样的

参考资料

药企，独角兽，苏州。团队长期招人，感兴趣的都可以发邮件聊聊：tiehan@sina.cn
个人公众号，比较懒，很少更新，可以在上面提问题，如果回复不及时，可发邮件给我： tiehan@sina.cn