Eliminar las marcas diacríticas (â € ň大 ñ cuya ṇ?) de los caracteres Unicode

El núcleo java.el paquete de texto fue diseñado para abordar este caso de uso (cadenas coincidentes sin preocuparse por los diacríticos, el caso, etc.).

Configurar una Collator para ordenar en PRIMARY diferencias de caracteres. Con eso, crear un CollationKey para cada cadena. Si todo su código está en Java, puede usar el CollationKey directamente. Si necesita almacenar las claves en una base de datos u otro tipo de índice, puede convertirlo en una matriz de bytes.

Estas clases utilizan el Unicode standard case folding data para determinar qué caracteres son equivalentes, y soporta varias estrategias de descomposición .

Collator c = Collator.getInstance();
c.setStrength(Collator.PRIMARY);
Map<CollationKey, String> dictionary = new TreeMap<CollationKey, String>();
dictionary.put(c.getCollationKey("Björn"), "Björn");
...
CollationKey query = c.getCollationKey("bjorn");
System.out.println(dictionary.get(query)); // --> "Björn"

Tenga en cuenta que los colladores son específicos de la configuración regional. Esto se debe a que el" orden alfabético " es diferente entre los lugares (e incluso con el tiempo, como ha sido el caso con el español). La clase Collator le libera de tener que rastrear todas estas reglas y mantenerlas actualizadas.

Es parte de Apache Commons Lang a partir de ver. 3.1.

org.apache.commons.lang3.StringUtils.stripAccents("Añ");

Devuelve An

Puedes usar la clase Normalizer de java.text:

System.out.println(new String(Normalizer.normalize("ń ǹ ň ñ ṅ ņ ṇ ṋ", Normalizer.Form.NFKD).getBytes("ascii"), "ascii"));

Pero todavía hay trabajo por hacer, ya que Java hace cosas extrañas con caracteres Unicode inconvertibles (no los ignora, y no lanza una excepción). Pero creo que podrías usar eso como punto de partida.

Hay un borrador de informe sobre el plegado de caracteres en el sitio web de unicode que tiene una gran cantidad de material relevante. Ver específicamente la Sección 4.1. "Algoritmo de plegado".

Aquí hay una discusión e implementación de la eliminación de marcadores diacríticos usando Perl.

Estas preguntas SO existentes están relacionadas:

• Cómo convertir UTF-8 a US ASCII
• Cómo cambiar caracteres diacríticos a caracteres no diacríticos

Tenga en cuenta que no todas estas marcas son solo "marcas" en algún carácter "normal", que puede eliminar sin cambiar el significado.

En sueco, å ä y ö son verdaderos y propios caracteres de primera clase, no una "variante" de algún otro carácter. Suenan diferentes de todos los demás personajes, son diferentes y hacen que las palabras cambien de significado ("mätt "y" matt " son dos palabras diferentes).

Unicode tiene caracteres diátricos específicos (que son caracteres compuestos) y se puede convertir una cadena de modo que el carácter y las diátricas estén separados. Entonces, puedes simplemente quitar las diatrices de la cadena y básicamente estás hecho.

Para obtener más información sobre normalización, descomposiciones y equivalencia, consulte el estándar Unicode en la página de inicio Unicode.

Sin embargo, cómo se puede lograr esto depende del framework/OS/... estás trabajando. Si si estás usando. NET, puedes usar la cadena .Normalizar el método aceptando el sistema .Texto.NormalizationForm enumeration.

La forma más fácil (para mí) sería simplemente mantener una matriz de asignación dispersa que simplemente cambia sus puntos de código Unicode en cadenas visualizables.

Tales como:

start    = 0x00C0
size     = 23
mappings = {
    "A","A","A","A","A","A","AE","C",
    "E","E","E","E","I","I","I", "I",
    "D","N","O","O","O","O","O"
}
start    = 0x00D8
size     = 6
mappings = {
    "O","U","U","U","U","Y"
}
start    = 0x00E0
size     = 23
mappings = {
    "a","a","a","a","a","a","ae","c",
    "e","e","e","e","i","i","i", "i",
    "d","n","o","o","o","o","o"
}
start    = 0x00F8
size     = 6
mappings = {
    "o","u","u","u","u","y"
}
: : :

El uso de una matriz sparse le permitirá representar eficientemente reemplazos incluso cuando estén en secciones ampliamente espaciadas de la tabla Unicode. Los reemplazos de cadenas permitirán que secuencias arbitrarias reemplacen sus diacríticos (como el grafema æ convirtiéndose en ae).

Esto es un respuesta agnóstica del lenguaje por lo tanto, si tiene un lenguaje específico en mente, habrá mejores maneras (aunque es probable que todos desciendan a esto en los niveles más bajos de todos modos).

Algo a considerar: si usted va la ruta de tratar de obtener una sola "traducción" de cada palabra, es posible que se pierda algunas posibles alternativas.

Por ejemplo, en alemán, al reemplazar el "s-set", algunas personas podrían usar "B", mientras que otros podrían usar "ss". O bien, sustituyendo una o disimulada por "o " u"oe". Cualquier solución que se te ocurra, idealmente, creo que debería incluir ambas.

En Windows y.NET, simplemente convierto usando codificación de cadenas. De esa manera evito el mapeo manual y la codificación.

Intenta jugar con la codificación de cadenas.

En el caso del alemán no se quiere eliminar los diacríticos de los diéresis (ä, ö, ü). En su lugar, se reemplazan por una combinación de dos letras (ae, oe, ue) Por ejemplo, Björn debería escribirse como Bjoern (no Bjorn) para tener una pronunciación correcta.

Para eso, preferiría una asignación codificada, donde puede definir la regla de reemplazo individualmente para cada grupo de caracteres especiales.

Para referencia futura, aquí hay un método de extensión de C# que elimina los acentos.

public static class StringExtensions
{
    public static string RemoveDiacritics(this string str)
    {
        return new string(
            str.Normalize(NormalizationForm.FormD)
                .Where(c => CharUnicodeInfo.GetUnicodeCategory(c) != 
                            UnicodeCategory.NonSpacingMark)
                .ToArray());
    }
}
static void Main()
{
    var input = "ŃŅŇ ÀÁÂÃÄÅ ŢŤţť Ĥĥ àáâãäå ńņň";
    var output = input.RemoveDiacritics();
    Debug.Assert(output == "NNN AAAAAA TTtt Hh aaaaaa nnn");
}