tokenize

¿Cuál es la mejor manera de tokenizar/dividir una NSString en Objective-C?

Acabo de enterarme de la clase Scanner de Java y ahora me pregunto cómo se compara/compite con StringTokenizer y String.Divid ... enas, así que ¿por qué querría usar el Escáner para una Cadena? ¿Scanner solo pretende ser una ventanilla única para dividir?

Supongamos que tengo la cadena 1:2:3:4:5 y quiero obtener su último campo (5 en este caso). ¿Cómo hago eso usando Bash? He intentado cut, pero no se como especificar el último campo con -f.

Esta pregunta ya tiene una respuesta aquí: ¿Cómo iterar sobre las palabras de una cadena? [cerrado] ... o anterior código para que pueda obtener el siguiente resultado? Input :" abc,def,ghi " Salida: abc def ghi

Estoy buscando una definición clara de lo que son un "tokenizer", "parser" y "lexer" y cómo se relacionan entre sí (por ejemp ... o nunca habiendo pasado por una clase de compilador (EE major) me resulta difícil entender completamente lo que está pasando.

Quiero dividir cada línea de una tubería en espacios, y luego imprimir cada token en su propia línea. Me doy cuenta de que p ... piedad Line del objeto MatchInfo, de la siguiente manera: cat someFile | Select-String "keywordFoo" | %{$_.Line.Split(" ")}

Necesito escribir un procedimiento para normalizar un registro que tiene varios tokens concatenados por un char. Necesito obt ... o la cadena e insertando cada uno como un nuevo registro en una tabla. ¿Oracle tiene algo así como una función de "división"?

¿Cómo convierto una cadena separada por comas en una matriz? Tengo la entrada '1,2,3', y necesito convertirla en una matriz.

Estoy usando nltk, así que quiero crear mis propios textos personalizados al igual que los predeterminados en nltk.Books. Sin ... ." Qué método, python o de nltk me permite hacer esto. Y más importante, ¿cómo puedo subestimar los símbolos de puntuación?

Intentando acceder al texto analizado/tokenizado en mis documentos de ElasticSearch. Sé que puede usar la API Analyze para ... que devuelva el texto tokenizado en los resultados de búsqueda? He mirado a través de los documentos y no he encontré algo.

Tengo un nombre de archivo en un formato como: system-source-yyyymmdd.dat Me gustaría poder analizar los diferentes bits del nombre de archivo usando el "-" como delimitador.

Estoy pensando en el tokenizador aquí. Cada token llama a una función diferente dentro del analizador. Lo que es más eficiente: Un mapa de std::functions/boost::functions Una caja de cambio

No pude encontrar una solución perfecta, ya sea en Google o ES para la siguiente situación, espero que alguien podría ayudar ... r pensamiento es bienvenido, y no hay límite para las asignaciones, analizadores, o qué tipo de consulta a utilizar, gracias.