Articles of awk

Maneira mais rápida de encontrar linhas de um arquivo de outro arquivo maior no Bash

Eu tenho dois arquivos, file1.txt e file2.txt . file1.txt tem cerca de 14k linhas e file2.txt tem cerca de 2 bilhões. file1.txt tem um único campo f1 por linha enquanto o file2.txt possui 3 campos, f1 a f3 , delimitados por | . Eu quero encontrar todas as linhas de file2.txt onde f1 de file1.txt […]

Como mesclar dois arquivos usando o AWK?

O arquivo 1 tem 5 campos ABCDE, com o campo A é um valor inteiro Arquivo 2 tem 3 campos AFG O número de linhas no Arquivo 1 é muito maior que o do Arquivo 2 (20 ^ 6 a 5000) Todas as inputs de A no Arquivo 1 apareceram no campo A no Arquivo […]

Como posso embaralhar as linhas de um arquivo de texto na linha de comando do Unix ou em um script de shell?

Eu quero embaralhar as linhas de um arquivo de texto aleatoriamente e criar um novo arquivo. O arquivo pode ter vários milhares de linhas. Como posso fazer isso com cat , awk , cut , etc?

Usando o awk para imprimir todas as colunas do enésimo ao último

Essa linha funcionou até eu ter espaço em branco no segundo campo. svn status | grep ‘\!’ | gawk ‘{print $2;}’ > removedProjs Existe uma maneira de fazer o awk imprimir tudo em $ 2 ou mais? ($ 3, $ 4 .. até que não tenhamos mais colunas?) Eu suponho que devo acrescentar que estou […]

Como posso deletar linhas duplicadas em um arquivo no Unix?

Existe uma maneira de excluir linhas duplicadas em um arquivo no Unix? Eu posso fazer isso com os comandos sort -u e uniq , mas eu quero usar sed ou awk . Isso é possível?

Como mesclar todas as duas linhas em uma a partir da linha de comando?

Eu tenho um arquivo de texto com o seguinte formato. A primeira linha é a “CHAVE” e a segunda linha é a “VALOR”. KEY 4048:1736 string 3 KEY 0:1772 string 1 KEY 4192:1349 string 1 KEY 7329:2407 string 2 KEY 0:1774 string 1 Eu preciso do valor na mesma linha da chave. Então a saída […]

Como usar vários argumentos para o awk com um shebang (ou seja, #!)?

Eu gostaria de executar um script –re-interval com –re-interval usando um shebang. A abordagem “ingênua” de #!/usr/bin/gawk –re-interval -f … awk script goes here não funciona, já que o gawk é chamado com o primeiro argumento “–re-interval -f” (não dividido ao redor do espaço em branco), que ele não entende. Existe uma solução para isso? […]

Encontre e mate um processo em uma linha usando bash e regex

Muitas vezes preciso matar um processo durante a programação. A maneira que eu faço agora é: [~]$ ps aux | grep ‘python csp_build.py’ user 5124 1.0 0.3 214588 13852 pts/4 Sl+ 11:19 0:00 python csp_build.py user 5373 0.0 0.0 8096 960 pts/6 S+ 11:20 0:00 grep python csp_build.py [~]$ kill 5124 Como posso extrair o […]

Ferramenta de bash para obter a enésima linha de um arquivo

Existe uma maneira “canônica” de fazer isso? Eu tenho usado a head -n | tail -1 head -n | tail -1 que faz o truque, mas eu tenho me perguntado se há uma ferramenta Bash que especificamente extrai uma linha (ou um intervalo de linhas) de um arquivo. Por “canônico” quero dizer um programa cuja […]

Usando o awk para remover a marca de ordem de byte

Como seria um script awk (presumivelmente um one-liner) para remover uma BOM ? Especificação: imprimir todas as linhas após o primeiro ( NR > 1 ) para a primeira linha: Se começar com #FE #FF ou #FF #FE , remova-os e imprima o resto