string - 在Python去掉标点符号字符串的最佳方式

看起来应该有一个比下面更简单的方法:


import string
s ="string. With. Punctuation?" # Sample string 
out = s.translate(string.maketrans("",""), string.punctuation)

有没有呢?

时间:

从效率的角度来看,你打不败translate() - 它在C中使用查找表执行原始字符串操作 - 你自己的C代码没有太多可能可以击败它。如果不担心速度,另一个选择是:


exclude = set(string.punctuation)
s = ''.join(ch for ch in s if ch not in exclude)

这比每个字符都要快,但是,不会像regex或string.translate那样的非纯python方法,正如你在下面的时间里看到,对于此类问题,在尽可能低的级别上进行操作会带来回报。

计时代码:


import re, string, timeit

s ="string. With. Punctuation"
exclude = set(string.punctuation)
table = string.maketrans("","")
regex = re.compile('[%s]' % re.escape(string.punctuation))

def test_set(s):
 return ''.join(ch for ch in s if ch not in exclude)

def test_re(s): # From Vinko's solution, with fix.
 return regex.sub('', s)

def test_trans(s):
 return s.translate(table, string.punctuation)

def test_repl(s): # From S.Lott's solution
 for c in string.punctuation:
 s=s.replace(c,"")
 return s

print"sets :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000)
print"regex :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000)
print"translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000)
print"replace :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000)

这给出了以下结果:


sets : 19.8566138744
regex : 6.86155414581
translate : 2.12455511093
replace : 28.4436721802


myString.translate(None, string.punctuation)

我通常用这样的东西:


>>> s ="string. With. Punctuation?" # Sample string
>>> import string
>>> for c in string.punctuation:
... s= s.replace(c,"")
...
>>> s
'string With Punctuation'


import re, string
s ="string. With. Punctuation?" # Sample string 
out = re.sub('[%s]' % re.escape(string.punctuation), '', s)

string.punctuation只是ascii, 更正确的(但是,也要慢得多)方法是使用unicodedata模块:!


# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with - «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s

正规表达式很简单,如果你知道的话。


import re
s ="string. With. Punctuation?"
s = re.sub(r'[^ws]','',s)

这也许不是最好的解决方案,但是,这是我做到的方法。


import string
f = lambda x: ''.join([i for i in x if i not in string.punctuation])

你的方法不能在python 3中工作,因为translate方法不再接受第二个参数,对于py3k解决方案,请尝试这个答案


import unicodedata
import sys

tbl = dict.fromkeys(i for i in range(sys.maxunicode)
 if unicodedata.category(chr(i)).startswith('P'))
def remove_punctuation(text):
 return text.translate(tbl)

使用正规表达式函数进行搜索和替换,如下所示这里,如果必须重复执行该操作,可以将正规表达式模式(你的标点)的编译副本保持一定的速度。

...