Eliminar líneas en un archivo de texto que contengan una cadena específica

Hay muchas otras formas de eliminar líneas con una cadena específica además de sed:

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby (1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (bash 3.2 y posterior)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

Y por supuesto sed (imprimir la inversa es más rápido que la eliminación real):

sed -n '/pattern/!p' file

Puede usar sed para reemplazar las líneas en su lugar en un archivo. Sin embargo, parece ser mucho más lento que usar grep para el inverso en un segundo archivo y luego mover el segundo archivo sobre el original.

Por ejemplo

sed -i '/pattern/d' filename      

O

grep -v "pattern" filename > filename2; mv filename2 filename

El primer comando tarda 3 veces más en mi máquina de todos modos.

La manera fácil de hacerlo, con GNU sed:

sed --in-place '/some string here/d' yourfile

Usted puede considerar el uso ex (que es un editor estándar basado en comandos Unix):

ex +g/match/d -cwq file

Donde:

• + ejecuta el comando Ex dado (man ex), igual que -c que ejecuta wq (write and quit)
• g/match/d - Ex comando para eliminar líneas con match dado, ver: Potencia de g

El ejemplo anterior es un método compatible con POSIX para editar in situ un archivo según este post en Unix.SE y Especificaciones POSIX para ex.

La diferencia con sed es que:

sed es un Stream EDitor, no un editor de archivos.^BashFAQ

A menos que disfrute de código indescifrable, sobrecarga de E/S y algunos otros efectos secundarios negativos. Así que básicamente algunos parámetros (como in-place / -i) son extensiones de FreeBSD no estándar y pueden no estar disponibles en otros sistemas operativos.

Estaba luchando con esto en Mac. Además, necesitaba hacerlo usando reemplazo variable.

Así que usé:

sed -i '' "/$pattern/d" $file

Donde $file es el archivo donde se necesita la eliminación y $pattern es el patrón que se emparejará para la eliminación.

Elegí el '' de este comentario .

Lo que hay que tener en cuenta aquí es el uso de comillas dobles en "/$pattern/d". Variable no funciona cuando usamos comillas simples.

Para obtener un resultado similar a inplace con grep puede hacer esto:

echo "$(grep -v "pattern" filename)" >filename

He hecho una pequeña referencia con un archivo que contiene aproximadamente 345 000 líneas. El camino con grep parece ser alrededor de 15 veces más rápido que el método sed en este caso.

He intentado tanto con como sin la configuración LC_ALL=C, no parece cambiar los tiempos significativamente. La cadena de búsqueda (CDGA_00004.pdbqt.gz.tar) está en algún lugar en el medio del archivo.

Aquí están los comandos y los tiempos:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

SED:

• '/James\|John/d'
• -n '/James\|John/!p'

AWK:

• '!/James|John/'
• /James|John/ {next;} {print}

GREP:

• -v 'James\|John'

También puedes usar esto:

 grep -v 'pattern' filename

Aquí -v imprimirá solo que no sea su patrón (eso significa invertir coincidencia).

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

El primer comando edita el archivo(s) inplace (-i).

El segundo comando hace lo mismo, pero mantiene una copia o copia de seguridad de los archivos originales mediante la adición .bk a los nombres de archivo (.bk se puede cambiar a cualquier cosa).

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

En caso de que alguien quiera hacerlo para coincidencias exactas de cadenas, puede usar la bandera -w en grep - w para whole. Es decir, por ejemplo, si desea eliminar las líneas que tienen el número 11, pero mantener las líneas con el número 111:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

También funciona con la bandera -f si desea excluir varios patrones exactos a la vez. Si" lista negra "es un archivo con varios patrones en cada línea que desea eliminar de"archivo":

grep -w -v -f blacklist file