UnicodeDecodeError al leer un archivo CSV en Pandas con Python

La más simple de todas las soluciones:

• Abra el archivo csv en Sublime text editor.
• Guarde el archivo en formato utf-8.

En sublime, Haga clic en Archivo - > Guardar con codificación - > UTF-8

Entonces, puede leer su archivo como de costumbre:

import pandas as pd
data = pd.read_csv('file_name.csv', encoding='utf-8')

EDITAR 1:

Si hay muchos archivos, entonces puede omitir el paso sublime.

Simplemente lea el archivo usando

data = pd.read_csv('file_name.csv', encoding='utf-8')

Y los otros tipos de codificación diferentes son:

encoding = "cp1252"
encoding = "ISO-8859-1"

Pandas permite especificar la codificación, pero no permite ignorar errores para no reemplazar automáticamente los bytes ofensivos. Por lo tanto, no hay un método de un solo tamaño para todos, sino diferentes formas dependiendo del caso de uso real.

1. Conoce la codificación y no hay ningún error de codificación en el archivo. Genial: solo tienes que especificar la codificación:

   file_encoding = 'cp1252'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   pd.read_csv(input_file_and_path, ..., encoding=file_encoding)
   

2. No quieres que te molesten las preguntas de codificación, y solo quieres que ese maldito archivo se cargue, no importa si algunos campos de texto contienen basura. Ok, solo tienes que usar la codificación Latin1 porque acepta cualquier byte posible como entrada (y lo convierte al carácter unicode del mismo código):

   pd.read_csv(input_file_and_path, ..., encoding='latin1')
   

3. Usted sabe que la mayor parte del archivo está escrito con una codificación específica, pero también contiene errores de codificación. Un ejemplo del mundo real es un archivo UTF8 que ha sido editado con un editor no utf8 y que contiene algunas líneas con una codificación diferente. Pandas no tiene ninguna provisión para un procesamiento de errores especiales, pero la función Python open tiene (asumiendo Python3), y read_csv acepta un archivo como objeto. El parámetro de errores típicos a usar aquí son 'ignore' que simplemente suprime los bytes ofensivos o (mejor en mi humilde opinión) 'backslashreplace' que reemplaza los bytes ofensivos por la secuencia de escape con barra invertida de Python:

   file_encoding = 'utf8'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   input_fd = open(input_file_and_path, encoding=file_encoding, errors = 'backslashreplace')
   pd.read_csv(input_fd, ...)
   

Luché con esto un tiempo y pensé en publicar sobre esta pregunta, ya que es el primer resultado de búsqueda. Agregar la etiqueta encoding='iso-8859-1" a pandas read_csv no funcionó, ni ninguna otra codificación, siguió dando un UnicodeDecodeError.

Si está pasando un controlador de archivo a pd.read_csv (), necesita poner el atributo encoding= en el archivo abierto, no en read_csv. Obvio en retrospectiva, pero un error sutil para rastrear.