Cómo determinar la tabla de codificación de un archivo de texto

Abra el archivo con Notepad++ y verá en la esquina inferior derecha el nombre de la tabla de codificación. Y en el menú codificación puede cambiar la tabla de codificación y guardar el archivo.

No puede detectar de forma fiable la codificación de un archivo de texto - lo que puede hacer es conjetura educada buscando un carácter no ascii y tratando de determinar si es un combinación unicode que hace sens en los idiomas que está analizando.

Vea esta pregunta y la respuesta seleccionada. No hay manera segura de hacerlo. Como mucho, puedes descartar cosas. Es poco probable que obtenga falsos positivos en las codificaciones UTF, pero las codificaciones de 8 bits son difíciles, especialmente si no conoce el idioma de inicio. Ninguna herramienta por ahí actualmente maneja todas las codificaciones comunes de 8 bits de Macs, Windows, Unix, pero la respuesta seleccionada proporciona un enfoque algorítmico que debería funcionar adecuadamente para un cierto subconjunto de codificación.

En un archivo de texto no hay encabezado que guarde la codificación o algo así. Puede probar el comando linux / unix find que intenta adivinar la codificación:

file -i unreadablefile.txt

O en algunos sistemas

file -I unreadablefile.txt

Pero eso a menudo te da text/plain; charset=iso-8859-1 aunque el archivo es ilegible (glifos crípticos).

Esto es lo que hice para encontrar la codificación de archivo correcta para un archivo ilegible y luego traducirlo a utf8 was, después de instalar iconv. Primero probé todas las codificaciones, mostrando (grep) una línea que contenía la palabra www. (una dirección web):

for ENCODING in $(iconv -l); do echo -n "$ENCODING "; iconv -f $ENCODING -t utf-8 unreadablefile.txt 2>/dev/null| grep 'www'; done | less

Esta última línea de comandos muestra la codificación del archivo probado y luego la línea traducida/transcodificada.

Hubo algunas líneas que mostraron resultados legibles y consistentes (un idioma a la vez). Probé manualmente algunos de ellos, por ejemplo:

ENCODING=WINDOWS-936; iconv -f $ENCODING -t utf-8 unreadablefile.txt -o test_with_${ENCODING}.txt

En mi caso era una codificación de windows en chino, que ahora es legible (si sabes chino).