引言

正则表达式在几乎所有语言中都可以使用,无论是前端的JavaScript、还是后端的Java、c#。他们都提供相应的接口/函数支持正则表达式。但很神奇的是:无论在学校选择哪一门计算机语言,都没有关于正则表达式的课程供你修读,在你学会正则之前,你只能看着那些正则大师们,写了仅仅一行外星文似的字符串,替代了你数十行大篇幅的if-else代码来做的一系列数据校验

以前我对于正则表达式一直是浅尝辄止,只是简单了解一些基本规则和性质,但对它的认识并不系统。今天我系统研究了正则表达式的知识体系,对它有了新的认识。下面我就与大家分享我的正则表达式学习历程。

Regular expression is a group of characters or symbols which is used to find a specific pattern from a text.
正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找出满足你想要的格式的句子.

最近两天在刷GitHub时遇到了一个名为learn-regex的项目,是一个有关正则表达式的不错的新手入门教程,这份教程拥有中文版汉化材料,很方便我们阅读与学习,此外,这个项目之所以能获得2万星的高赞,还有一个重要的原因就是它提供了配套的在线练习平台,每一个案例都可以在练习平台中输入,这个平台直观地展示了正则表达式的匹配方式。我根据这份教程和其它材料,简单研究了正则表达式。并在这里对我的学习笔记进行记录,并将我的学习心得与大家进行分享。下面的这篇博客是我在learn-regex项目文档上结合其它材料进行批注和适当修改后产生的。下面为我们就将开始正式探索正则表达式了。研究正则表达式,首先应该了解其内涵,一个正则表达式是在一个主体字符串中从左到右匹配字符串时的一种样式.例如”Regular expression”是一个完整的句子, 但我们常使用缩写的术语”regex”或”regexp”.正则表达式可以用来替换文本中的字符串,验证形式,提取字符串等等.

先看一个引例:想象这样一个场景——你正在写一个应用, 你想设定一个用户命名的规则, 让用户名包含字符,数字,下划线和连字符,以及限制字符的个数,好让名字看起来没那么丑.
我们使用以下正则表达式来验证一个用户名,那么这个正则表达式可以接受 john_doe, jo-hn_doe, john12_as,但不匹配Jo, 因为它包含了大写的字母而且太短了.通过这个案例,我们对正则表达式有了一个直观的认识。下面我们一起进行进一步地深入探索。

Regular expression

regex101平台介绍

为了提升学习效果,我们有必要对本项目自带的这一在线平台进行高效利用,以期达到事半功倍的效果。

例如:为了探索(c|g|p)ar是如何匹配The car is parked in the garage.这句话中的几个单词的,我们可以在平台上对应进行输入:

img

我们可以直观地看到以c、g、p开头并且紧跟ar的单词都能很正则表达式匹配。网页的右侧还会给出相应的解释:

img是不是比枯燥的文字解释要生动很多呢?我们可以在平台上输入一系列字符串,以达到更好的练习效果,也能更好地理解正则表达式每一个规则的含义。下面我们就从基本匹配规则开始,一起来研究正则表达式吧!

Regex的基本匹配规则

正则表达式其实就是在执行搜索时的格式, 它由一些字母和数字组合而成。例如正则表达式123匹配字符串123. 它逐个字符的与输入的正则表达式做比较。这样的说法也许比较抽象和难于理解,下面有较为清晰地一组案例:

例如: 一个正则表达式 the, 它表示一个规则: 由字母t开始,接着是h,再接着是e.

"the" => The fat cat sat on the mat. 

这里值得指出的一点是,正则表达式是大小写敏感的, 所以The不会匹配the.

"The" => The fat cat sat on the mat.

Regex中的元字符

*正则表达式主要依赖于元字符. * 元字符不代表他们本身的字面意思, 他们都有特殊的含义. 一些元字符写在方括号中的时候有一些特殊的意思. 以下是一些元字符的介绍:

元字符 描述
. 句号匹配任意单个字符,除了换行符.
[ ] 字符种类. 匹配方括号内的任意字符.
[^ ] 否定的字符种类. 匹配除了方括号里的任意字符
* 匹配>=0个重复的在*号之前的字符.
+ 匹配>=1个重复的+号前的字符.
? 标记?之前的字符为可选.
{n,m} 匹配num个大括号之前的字符 (n <= num <= m).
(xyz) 字符集,匹配与 xyz 完全相等的字符串.
| 或运算符,匹配符号前或后的字符.
\ 转义字符,用于匹配一些保留的字符 `[ ] ( ) { } . * + ? ^ $ \
^ 从开始行开始匹配.开始标记
$ 从末端开始匹配.结束标记

现在将这个表格配合文章开头的引例进行对比,我们对正则表达式的理解就深入了一层。下面我们将分别探讨这些元字符的功能和使用。

点运算符.

.匹配任意单个字符, 但不匹配换行符.

例如, 表达式.ar匹配一个任意字符后面跟着是ar的字符串.

".ar" => The car parked in the garage.

字符集[ ]

方括号用来指定一个字符集. 在方括号中使用连字符来指定字符集的范围. 方括号中的字符集与顺序无关.

例如, 表达式[Tt]he 匹配 theThe.

"[Tt]he" => The car parked in the garage.

否定字符集

前文谈及在正则表达式中 ^ 是字符串开始标记, 但当它用在方括号最前面时, 表示对方括号中字符集取反.

例如, 表达式[^c]ar 匹配一个后面跟着ar的除了c的任意字符.

"[^c]ar" => The car parked in the garage.

重复次数

在重复次数后加上元字符 +, * or ? , 可以指定匹配子模式的次数.

元字符*

*号匹配 在*之前的字符出现大于等于0次.

例如, 表达式 a* 匹配以0或更多个a开头的字符, 因为有0个这个条件, 其实也就匹配了所有的字符. 表达式[a-z]* 匹配一个行中所有以小写字母开头的字符串.

"[a-z]*" => The car parked in the garage #21.

前已述及,.字符可以匹配任意字符,那么不难得知,*字符和.字符搭配可以匹配所有的字符.*.

*和表示匹配空格的符号\s连起来用, 如表达式\s*cat\s*匹配0或更多个空格开头和0或更多个空格结尾的cat字符串.

"\s*cat\s*" => The fat cat sat on the concatenation.

元字符+

+号匹配+号之前的字符出现** >=1 次.**
例如表达式c.+t 匹配以首字母c开头以t结尾,中间跟着任意个字符的字符串.

"c.+t" => The fat cat sat on the mat.

元字符?

元字符 ? 标记意为在符号前面的字符为可选, 即出现 0 或 1 次.
例如, 表达式 [T]?he 匹配字符串 heThe.

"[T]he" => The car is parked in the garage.
"[T]?he" => The car is parked in the garage.

元字符{}

正则表达式中 {} 用来描述一个或一组字符可以重复出现的次数范围.

例如, 表达式 [0-9]{2,3} 匹配最少 2 位最多 3 位 0~9 的数字.

"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.

在上面的案例中,若省略掉第二个参数,那么得到的[0-9]{2,} 表示匹配至少两位 0~9 的数字.

"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.

如果省略掉第二个参数和逗号,则表示重复固定的次数.针对上个案例,我们可以得到 [0-9]{3},它匹配3位数字

"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.

(...) 特征标群

特征标群是一组写在 (...) 中的子模式.

这句定义比较难于理解,下面我们结合案例分析就容易明白了:之前我们讨论的 {} 可表示前面一个字符出现指定次数. 但如果在 {} 前加入特征标群则表示整个标群内的字符重复 N 次. 例如, 表达式 (ab)* 匹配连续出现 0 或更多个 ab.

通俗的说,特征标群的括号就相当于相当于数学课上()的作用,也就是让括号内的部分成为了一个整体参与运算。

我们还可以在 () 中用或字符 | 表示或. 例如, (c|g|p)ar 匹配 cargarpar.

"(c|g|p)ar" => The car is parked in the garage.

| 或运算符

或运算符就表示或, 用作判断条件.

例如 (T|t)he|car 匹配 (T|t)hecar.也就是匹配the,Thecar

"(T|t)he|car" => The car is parked in the garage.

转义字符

反斜线 \ 在表达式中用于转码紧跟其后的字符. 用于指定 { } [ ] / \ + * . $ ^ | ? 这些特殊字符. 如果想要匹配这些特殊字符则要在其前面加上反斜线 \.

这里的转义字符与C语言中的用法类似。

例如 . 是用来匹配除换行符外的所有字符的. 如果想要匹配句子中的 . 则要写成 \. 以下这个例子 \.?是选择性匹配.

"(f|c|m)at\.?" => The fat cat sat on the mat.

锚点符号

在正则表达式中, 锚点用于匹配指定开头或结尾的字符串—— ^ 指定开头, $ 指定结尾.

^

^ 用来检查匹配的字符串是否在所匹配字符串的开头.

例如, 在 abc 中使用表达式 ^a 会得到结果 a. 但如果使用 ^b 将匹配不到任何结果. 因为在字符串 abc 中并不是以 b 开头.

例如, ^(T|t)he 匹配以 Thethe 开头的字符串.

"(T|t)he" => The car is parked in the garage.
"^(T|t)he" => The car is parked in the garage.

不难看出,这里第二个案例中the并没有被匹配,可以通过这一组对比直观的认识到^符号的匹配效果。

$

$ 号用来匹配字符是否为字符串末尾。

例如, (at\.)$ 匹配以 at. 结尾的字符串.

"(at\.)" => The fat cat. sat. on the mat.
"(at\.)$" => The fat cat. sat. on the mat.

由转义字符构成的简写字符集

正则表达式提供一些常用的字符集简写如下,理解方式与C语言中类似,特将表格列在下方,不再赘述其含义与用法。

简写 描述
. 除换行符外的所有字符
\w 匹配所有字母数字, 等同于 [a-zA-Z0-9_]
\W 匹配所有非字母数字, 即符号, 等同于: [^\w]
\d 匹配数字: [0-9]
\D 匹配非数字: [^\d]
\s 匹配所有空格字符, 等同于: [\t\n\f\r\p{Z}]
\S 匹配所有非空格字符: [^\s]
\f 匹配一个换页符
\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符
\v 匹配一个垂直制表符
\p 匹配 CR/LF (等同于 \r\n),用来匹配 DOS 行终止符

零宽度断言(前后预查)

先行断言和后发断言都属于非捕获簇(不捕获文本 ,也不针对组合计进行计数).其中先行断言用于判断所匹配的格式是否在另一个确定的格式之前, 匹配结果不包含该确定格式(仅作为约束).

这段定义依然文理艰深,晦涩难懂。下面我们结合具体案例进行分析:若想获得所有在 $ 符号后的数字, 我们可以使用正后发断言 (?<=\$)[0-9\.]*.
这个表达式匹配 $ 开头, 之后跟着 0,1,2,3,4,5,6,7,8,9,. 这些字符出现大于等于 0 次的字符串.

现将零宽度断言列举如下,下面我们将逐一介绍。

符号 描述
?= 正先行断言-存在
?! 负先行断言-排除
?<= 正后发断言-存在
?<! 负后发断言-排除

?=... 正先行断言

?=... 正先行断言, 表示第一部分表达式之后必须跟着 ?=...定义的表达式,其返回结果只包含满足匹配条件的第一部分表达式.值得指出的是,定义一个正先行断言要使用 (). 在括号内部使用一个问号和等号: (?=...). 还应当注意:正先行断言的内容写在括号中的等号后面.

例如, 表达式 (T|t)he(?=\sfat) 匹配 Thethe, 在括号中我们又定义了正先行断言 (?=\sfat) ,即 Thethe 后面紧跟着 (空格)fat.

"(T|t)he(?=\sfat)" => The fat cat sat on the mat.

?!... 负先行断言

负先行断言 ?! 用于筛选所有匹配结果, 筛选条件为 其后不跟随着断言中定义的格式.
正先行断言 定义和 负先行断言 一样, 区别就是 = 替换成 ! 也就是 (?!...).

表达式 (T|t)he(?!\sfat) 匹配 Thethe, 且其后不跟着 (空格)fat.

"(T|t)he(?!\sfat)" => The fat cat sat on the mat.

?<= ... 正后发断言

正后发断言 记作(?<=...) 用于筛选所有匹配结果, 筛选条件为 其前跟随着断言中定义的格式.
例如, 表达式 (?<=(T|t)he\s)(fat|mat) 匹配 fatmat, 且其前跟着 Thethe.

"(?<=(t|t)he\s)(fat|mat)" => The fat cat sat on the mat.

?<!... 负后发断言

负后发断言 记作 (?<!...) 用于筛选所有匹配结果, 筛选条件为 其前不跟随着断言中定义的格式.
例如, 表达式 (?<!(T|t)he\s)(cat) 匹配 cat, 且其前不跟着 Thethe.

"(?<!(T|t)he\s)(cat)" => The cat sat on cat.

标志

标志也叫模式修正符, 因为它可以用来修改表达式的搜索结果.
这些标志可以任意的组合使用, 它也是整个正则表达式的一部分.下面我们将分别介绍这些标志

标志 描述
i 忽略大小写.
g 全局搜索.
m 多行的: 锚点元字符 ^ $ 工作范围在每行的起始.

注意,使用标志时,要用/ /将标志与前文隔开使用,在下面的案例中我们将很好的体验到这一点。

忽略大小写 (Case Insensitive)

修饰语 i 用于忽略大小写.
例如, 表达式 /The/gi 表示在全局搜索 The, 在后面的 i 将其条件修改为忽略大小写, 则变成搜索 不区分大小写的字母the , g 表示全局搜索.

"The" => The fat cat sat on the mat.
"/The/gi" => The fat cat sat on the mat.

修饰符 g 常用于执行一个全局搜索匹配, 即(不仅仅返回第一个匹配的, 而是返回全部).
例如, 表达式 /.(at)/g 表示搜索 任意字符(除了换行) + at, 并返回全部结果.

"/.(at)/" => The fat cat sat on the mat.
"/.(at)/g" => The fat cat sat on the mat.

多行修饰符 (Multiline)

多行修饰符 m 常用于执行一个多行匹配.

像之前介绍的 (^,$) 用于检查格式是否是在待检测字符串的开头或结尾. 但我们如果想要它在每行的开头和结尾生效, 我们需要用到多行修饰符 m.

例如, 表达式 /at(.)?$/gm 表示小写字符 a 后跟小写字符 t , 末尾可选除换行符外任意字符. 根据 m 修饰符, 现在表达式匹配每行的结尾.

也就是说,在不加入多行修饰符的情况下,多行字符的末尾默认是整个字符串结尾,而加入修饰符后,每一行末尾都被视为一个行尾

"/.at(.)?$/" => The fat
                cat sat
                on the mat.
"/.at(.)?$/gm" => The fat
                  cat sat
                  on the mat.

贪婪匹配与惰性匹配 (Greedy vs lazy matching)

正则表达式默认采用贪婪匹配模式,在该模式下意味着会匹配尽可能长的子串。我们可以使用 ? 将贪婪匹配模式转化为惰性匹配模式。

关于贪婪匹配和惰性匹配,相信下面的这组案例将会很好的让我们理解二者区别。

"/(.*at)/" => The fat cat sat on the mat. 
"/(.*?at)/" => The fat cat sat on the mat. 

正则表达式的应用

在知乎的正则表达式有关话题下,我看到有人提及正则表达式十分精妙,但也有一些说正则表达式在实际编程中应用并不广泛。但其实,借助正则表达式,我们完全可以做到很多事情——可以完成各种复杂格式字符串格式校验(如手机号、身份证号、文件名称、地址名称、邮箱号码等),还在网络爬虫,数据清洗等很多领域有着独特的应用。受篇幅所限,在本文中我们将不再详细展开介绍,有兴趣的朋友们可以自行深入研究。有机会的话,我将在未来继续分享正则表达式在实际编程环境下的一系列应用。