sed命令

sed命令

一些例子
sed
sed 's/Tolstoy/Camus/' filename        #just change the first one
sed 's/Tolstoy/Camus/g' filename       #change all
sed 's/Tolstoy/Camus/2' filename       #change the second one
sed -n '3,5p' filename                 #print from line 3 to 5
sed '/xixi/,/haha/ s/baz/quux/g' filename   #find lines containing xixi and haha 
					    #then replace baz with quux in these lines
sed '/used/! s/new/used/g' filename    #find lines not containing used
sed '/^#/d' filename | sort > filename.sorted	#find lines containg # at the beginning 
						#then delet

whwu@master:~/script> cat 3.txt
The computer is nice
aaaaaaaaaaaa competer
bananacom fafa The
whwu@master:~/script> sed 's/^/mkdir /' 3.txt    #在每行前加一个mkdir
mkdir The computer is nice
mkdir aaaaaaaaaaaa competer
mkdir bananacom fafa The
whwu@master:~/script> sed '/The/ s/^/mkdir /' 3.txt   #在含The的行前加一个mkdir
mkdir The computer is nice
aaaaaaaaaaaa competer
mkdir bananacom fafa The
whwu@master:~/script> sed '/^The/ s/^/mkdir /' 3.txt   #在行首含The的行前加一个mkdir
mkdir The computer is nice
aaaaaaaaaaaa competer
bananacom fafa The




sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处
理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文
件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；
简化对文件的反复操作；编写转换程序等。

命令格式
sed [options] 'command' file(s)

options
-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；
-f<script文件>或--file=<script文件>：以选项中指定的script文件来处理输入的文本文件；
-h或--help：显示帮助；
-n或--quiet或——silent：仅显示script处理后的结果；
-V或--version：显示版本信息


sed元字符集
^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。  
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
\(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。
\< 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。
x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

sed命令

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容，并替代当前模板块中的文本。
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file 写并追加模板块到file末尾。  
W file 写并追加模板块的第一行到file末尾。  
! 表示后面的命令对所有没有被选定的行发生作用。  
= 打印当前行号码。  
# 把注释扩展到下一个换行符以前。  





whwu@master:~/script> cat 3.txt
bookgoogle
baidu book
guge
sohu
i love shell book

whwu@master:~/script> sed -n 's/book/BOOK/p' 3.txt # -n选项和p命令一起使用表示只打印那些发生替换的行
BOOKgoogle
baidu BOOK
i love shell BOOK


whwu@master:~/script> sed 's/book/books/g' 3.txt #替换文件中每一个book


#######################不同定界符####################
whwu@master:~/script> sed -n '/whwu/ s//WWH/p' /etc/passwd
WWH:x:519:519::/home/whwu:/bin/bash
whwu@master:~/script> sed -n '\:whwu: s;;WWH;p' /etc/passwd
WWH:x:519:519::/home/whwu:/bin/bash
whwu@master:~/script> sed -n '\:whwu: s;;WWH;p' /etc/passwd   #转译符\
#####################################################


#######################匹配的范围#######################
whwu@master:~/script> echo Tolstoy is wordly | sed 's/T.*y/Camus/'  #sed匹配最长的字符
Camus
Tolstoy is wordly
whwu@master:~/script> echo Tolstoy is wordly | sed 's/T[[:alpha:]]*y/Camus/'  
Camus is wordly

whwu@master:~/script> echo abc | sed 's/b*/1/'  #b*匹配 空字符 1个b 或多个b 匹配第一个也就是空字符
1abc
whwu@master:~/script> echo abc | sed 's/b*/1/g'
1a1c1
whwu@master:~/script> echo abc | sed 's/d*/1/g'
1a1b1c1
##########################################################



######删除操作：d命令#######
whwu@master:~/script> cat 3.txt
bookgoogle


baidu book

guge
sohu



i love shell book

whwu@master:~/script> sed '/^$/d' 3.txt  #删除空行
bookgoogle
baidu book
guge
sohu

whwu@master:~/script> sed '2d' 3.txt    #删除第二行
whwu@master:~/script> sed '3,$d' 3.txt  #删除第三至最后一行
whwu@master:~/script> sed '$d' 3.txt    #删除最后一行
whwu@master:~/script> sed '/^book/d' 3.txt  #删除以book开始的行


######已匹配字符串标记&#######
whwu@master:~/script> cat 3.txt
book google
baidu book
guge
sohu
i love shell book

whwu@master:~/script> sed 's/\w\+/[&]/g' 3.txt         # 正则表达式 \w\+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词
[book] [google]
[baidu] [book]
[guge]
[sohu]
[i] [love] [shell] [book]

whwu@master:~/script> sed 's/^book/&ha ha/' 3.txt      # 所有以book开头的行都会被替换成它自已加ha ha
bookha ha google
baidu book
guge
sohu
i love shell book



######子串匹配标记\1#######
whwu@master:~/script> echo aaa BBB | sed 's/\([a-z]\)/\1     /'      #\(..\) 用于匹配子串，对于匹配到的第一个子串就标记为 \1， \([a-z]\)匹配第一个小写字母 
a     aa BBB
whwu@master:~/script> echo aaa BBB | sed 's/\([a-z]\) \([A-Z]\)/\2 \1/'     #\([a-z]\) \([A-Z]\)匹配a B,其中a的子串标记是\1,B的子串标记是\2
aaB aBB
whwu@master:~/script> echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'  #\([a-z]\+\) 匹配第一个由小写字母组成的单词
BBB aaa
whwu@master:~> echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'   #\(..\) 用于匹配子串，对于匹配到的第一个子串就标记为 \1，匹配的是数字7
this is 7 in a number


#######引用#######
sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号。
whwu@master:~> text=hello
whwu@master:~> echo hello world | sed "s/$text/HELLO/"
HELLO world

#######选定行的范围以及定位：,（逗号）########
whwu@master:~/script> cat 3.txt
book google
baidu book
guge
sohu apple
i lovae shell book apple

whwu@master:~/script> sed '/book/ s/a/A/g' 3.txt   #先定位含有book的行，再从这些行中将a替换为A
book google
bAidu book
guge
sohu apple
i lovAe shell book Apple

whwu@master:~/script> sed -n '3,/^s/p' 3.txt       #打印第三行到句首是s的行
guge
sohu apple


#######关于文件（r命令，w命令）#######
whwu@master:~/script> cat 1.txt
xixixi

whwu@master:~/script> cat 3.txt
book google
baidu book
guge
sohu apple
i lovae shell book apple

whwu@master:~/script> sed '/book/r 1.txt' 3.txt  #1.txt里的内容被读进来，显示在含book行的下面一行
book google
xixixi
baidu book
xixixi
guge
sohu apple
i lovae shell book apple
xixixi

whwu@master:~/script> sed '/book/w 1.txt' 3.txt  #在3.txt中包含book的行写入1.txt文件中
whwu@master:~/script> cat 1.txt
book google
baidu book
i lovae shell book apple


########追加行或插入行（a\以及i\)##########

whwu@master:~/script> cat 3.txt
book google
baidu book
guge
sohu apple
i lovae shell book apple
whwu@master:~/script> sed '/^book/a\this is a test line' 3.txt       # 将this is a test line加入到句首是book的行的下一行
book google
this is a test line
baidu book
guge
sohu apple
i lovae shell book apple

whwu@master:~/script> sed '2a\this is a test line' 3.txt             # 在3.txt文件第2行之后插入 this is a test line
book google
baidu book
this is a test line
guge
sohu apple
i lovae shell book apple

whwu@master:~/script> sed '/^book/i\this is a test line' 3.txt       # 将this is a test line加入到句首是book的行的上一行
this is a test line
book google
baidu book
guge
sohu apple
i lovae shell book apple

whwu@master:~/script> sed '4i\this is a test line' 3.txt	     # 在3.txt文件第4行之前插入 this is a test line
book google
baidu book
guge
this is a test line
sohu apple
i lovae shell book apple


########下一个：n命令##########
whwu@master:~/script> cat 3.txt
book google
baidu book
guge
sohu apple
i lovae shell book apple
whwu@master:~/script> sed '/sohu/{n; s/apple/pear/;}' 3.txt  # 如果sohu被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续
book google
baidu book
guge
sohu apple
i lovae shell book pear


#########变形：y命令##########
whwu@master:~/script> cat 3.txt
book google
baidu book
guogeo
sohu apple
i lovae shell book apple
whwu@master:~/script> sed '2,4y/o/O/' 3.txt  # y表示把一个字符翻译为另外的字符（但是不用于正则表达式），将把2~4行内所有abcde转变为大写
book google
baidu bOOk
guOgeO
sOhu apple
i lovae shell book apple

#########高阶应用#########
whwu@master:~/script> cat 4.txt
1
2
foo
3
4
5
foo
6
7
8

whwu@master:~/script> sed -n 'H;/foo/{h};${x;p}' 4.txt 
foo
6
7
8
H把每行的内容都追加进hold space，当匹配到foo时，h是拷贝进缓冲区，
那等于说是把之前追加的内容都清空了，用foo覆盖之前的所有内容，那匹
配到最后一个foo的时候肯定就覆盖了之前的所有追加的内容了，直到文件
最后，x交换出hold space里的内容，然后打印。

相关网页：http://czmmiao.iteye.com/blog/1899880 http://blog.chinaunix.net/uid-10540984-id-2894287.html

############在文件中移除包含某个单词的句子############
's/ [^.]*mobile phones[^.]*\.//g'