cuando importamos datos csv, ¿cómo eliminar " secuencia de bytes inválida en UTF-8"

Respondí a una pregunta similar que trata sobre la lectura de archivos externos en 1.9.2 con codificaciones no UTF-8. Creo que esa respuesta te ayudará mucho: Problema de codificación de caracteres en Rails v3 / Ruby 1.9.2

Tenga en cuenta que necesita conocer la codificación de origen para convertirlo de forma fiable. Hay bibliotecas como la que enlacé en mi otra respuesta que pueden ayudarte a determinar esto.

Además, si no está cargando los datos de un archivo, puede convertir la codificación de una cadena en 1.9.2 con bastante facilidad:

'string'.encode('UTF-8')

Sin embargo, es raro que esté construyendo una cadena en otra codificación, y es mejor convertirla en el momento en que se lee en su entorno si es posible.

Ruby 1.9 puede cambiar la codificación de cadenas con detección y reemplazo no válidos:

str = str.encode('UTF-8', :invalid => :replace)

Para cadenas inusuales como cadenas cargadas desde un archivo de codificación desconocida, es aconsejable usar #encode en lugar de una expresión regular, #gsub o #delete, porque todas necesitan que la cadena se analice-- pero si la cadena está rota, no se puede analizar, por lo que esos métodos fallan.

Si recibes un mensaje como este:

error ** from ASCII-8BIT to UTF-8

Entonces probablemente esté tratando de convertir una cadena binaria que ya está en UTF-8, y puedes forzar UTF-8:

str.force_encoding('UTF-8')

Si sabe que la cadena original no está en UTF-8 binario, o si la cadena de salida tiene caracteres ilegales, lea las transliteraciones de codificación Ruby.

CSV.parse(File.read('/path/to/csv').scrub)

Si está utilizando Rails , puede intentar arreglarlo con lo siguiente

'Your string with strange stuff #@~'.mb_chars.tidy_bytes

Elimina los caracteres utf-8 no válidos y los reemplaza con caracteres válidos. Más información: https://apidock.com/rails/String/mb_chars

Cargue el archivo CSV en la hoja de cálculo de Google Docs y vuelva a descargarlo como archivo CSV. Importación y voila! (Trabajó en mi caso)

Probablemente Google lo convierte al formato deseado..

Fuente: Excel a CSV con codificación UTF-8

Solo haz esto

anyobject.to_csv(:encoding => 'utf-8')

Como ha mencionado alguien más, scrub funciona bien para limpiar esto en Ruby 2.1+. Si tiene un archivo grande puede que no desee leer todo en memoria, por lo que puede usar scrub como este:

data = IO::read(file_path).scrub("")
CSV.parse(data, :col_sep => ',', :headers => true)  do |row|
   puts row
end