Remover caracteres unicode de arquivos de texto – sed, outros methods bash / shell

Como faço para remover caracteres unicode de um monte de arquivos de texto no terminal? Eu tentei isso, mas não funcionou:

sed 'g/\u'U+200E'//' -i *.txt 

Eu preciso remover esses unicodes dos arquivos de texto

 U+0091 - sort of weird "control" space U+0092 - same sort of weird "control" space A0 - non-space break U+200E - left to right mark 

Se você quiser remover apenas caracteres específicos e você tem python, você pode:

 CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")') sed 's/['"$CHARS"']//g' < /tmp/utf8_input.txt > /tmp/ascii_output.txt 

limpar todos os caracteres não-ascii do file.txt

 $ iconv -c -f utf-8 -t ascii file.txt $ strings file.txt 

Para a codificação utf-8 do unicode, você pode usar essa expressão regular para sed:

 sed 's/\xc2\x91\|\xc2\x92\|\xc2\xa0\|\xe2\x80\x8e//' 

Use iconv:

 iconv -f utf8 -t ascii//TRANSLIT < /tmp/utf8_input.txt > /tmp/ascii_output.txt 

Isso traduzirá caracteres como “Š” em “S” (os mais parecidos).

Converta arquivos Swift de utf-8 para ascii:

 for file in *.swift; do iconv -f utf-8 -t ascii "$file" > "$file".tmp mv -f "$file".tmp "$file" done 

Conclusão automática rápida não funciona no Xcode6-Beta