Python与sed,grep文本查找效率对比小测

乐清SEO_开发应用_linux_ 乐清SEO2021-04-09 转载自:

Gnu awk作者在FreeBSD邮件列表中回答”“,提到了用到了Boyer-Moore算法,虽然不知道是什么,但感觉很厉害的样子~我猜想有多快呢? 

所以想比较下下python,与grep: 

测试文本:20w行,21M大 

python普通正则匹配: 
 

复制代码

代码如下:


#!/usr/bin/python3 
import re 
f=open('/tmp/test.txt') 
for line in f: 
match=re.findall('^This.*want',line) 
if match != []: 
print(match)



结果:

Python与sed,grep文本查找效率对比小测

试下编译的正则试试: 
 

复制代码

代码如下:


#!/usr/bin/python3 
import re 
f=open('/tmp/test.txt') 
re_obj=re.compile('^This.*want') 
for line in f: 
match=re_obj.findall(line) 
if match != []: 
print(match) 



结果快了1倍:

Python与sed,grep文本查找效率对比小测


试试sed:

Python与sed,grep文本查找效率对比小测

快了1个数量级! 

最后试试grep:

Python与sed,grep文本查找效率对比小测


果然grep是查找最专业的!