linux awk删除文本重复行需要注意强制类型转换的

乐清SEO_开发应用_linux_ 乐清SEO2021-04-09 转载自:

希望IP地址前三段相同的多余重复行。测试文本如下：

# cat 1.txt
2.1.10.1
2.1.10.2
2.11.0.1
2.11.0.2

如果数组下标不加引号，在这个特殊的情况下会被强制转换为数字，最终导致统计失败：

#  'BEGIN{FS=OFS="."}{if(!a[$1.$2.$3]++)print}' 1.txt
2.1.10.1

# awk -F '.' '{a[$1.$2.$3]++;}END{for(i in a)print i"  "a[i]}' 1.txt
2110  4

数组下标加上引号之后，一切恢复正常：

# awk 'BEGIN{FS=OFS="."}{if(!a[$1"."$2"."$3]++)print}' 1.txt
2.1.10.1
2.11.0.1

# awk -F '.' '{a[$1"."$2"."$3]++;}END{for(i in a)print i"  "a[i]}' 1.txt
2.11.0  2
2.1.10  2

扩展阅读：