Para empezar, sería mejor entender the measure of information.

¿Cómo hacemos measure la información?

Cuando sucede algo poco probable, decimos que es una gran noticia. Además, cuando decimos algo predecible, no es realmente interesante. Así que para cuantificar esto interesting-ness, la función debe satisfacer

• si la probabilidad del evento es 1 (predecible), entonces la función da 0
• si la probabilidad del evento es cercana a 0, entonces la función debe dar alta número
• si la probabilidad 0.5 eventos sucede da one bit de información.

Una medida natural que satisface las restricciones es

I(X) = -log_2(p)

Donde p es la probabilidad del evento X. Y la unidad está en bit, el mismo bit que usa la computadora. 0 ó 1.

Ejemplo 1

Lanzamiento justo de la moneda:

¿Cuánta información podemos obtener de un lanzamiento de moneda?

Respuesta: -log(p) = -log(1/2) = 1 (bit)

Ejemplo 2

Si un meteorito golpea la Tierra mañana, p=2^{-22} entonces podemos obtener 22 bits de información.

Si el Sol sale mañana, p ~ 1 entonces es 0 bit de información.

Entropía

Así que si tomamos la expectativa en el interesting-ness de un evento Y, entonces es la entropía. es decir, la entropía es un valor esperado de lo interesante de un evento.

H(Y) = E[ I(Y)]

Más formalmente, la entropía es el número esperado de bits de un evento.

Ejemplo

Y = 1: ocurre un evento X con probabilidad p

Y = 0: un evento X no ocurre con probabilidad 1-p

H(Y) = E[I(Y)] = p I(Y==1) + (1-p) I(Y==0) 
     = - p log p - (1-p) log (1-p)

Log base 2 para todos los logs.

No puedo darte gráficos, pero tal vez pueda darte una explicación clara.

Supongamos que tenemos un canal de información, como una luz que parpadea una vez al día, ya sea roja o verde. ¿Cuánta información transmite? La primera conjetura podría ser un poco por día. Pero ¿qué pasa si añadimos azul, de modo que el remitente tiene tres opciones? Nos gustaría tener una medida de información que pueda manejar cosas que no sean potencias de dos, pero aún así ser aditiva (la forma en que se multiplica el número de posibles mensajes por dos añade un bit). Podríamos hacer esto tomando registro₂(número de mensajes posibles), pero resulta que hay una forma más general.

Supongamos que volvemos a rojo/verde, pero la bombilla roja se ha quemado (esto es de conocimiento común) por lo que la lámpara siempre debe parpadear en verde. El canal ahora es inútil, sabemos cuál será el próximo flash así que los flashes no transmiten información, ni noticias. Ahora reparamos el bulbo pero imponemos una regla que el bulbo rojo puede no parpadear dos veces seguidas. Cuando la lámpara parpadea en rojo, sabemos cuál será el próximo flash. Si intenta enviar un flujo de bits por este canal, encontrará que debe codificarlo con más flashes de los que tiene bits (50% más, de hecho). Y si quieres describir una secuencia de flashes, puedes hacerlo con menos bits. Lo mismo se aplica si cada destello es independiente (sin contexto), pero los destellos verdes son más comunes que los rojos: cuanto más sesgada sea la probabilidad, menos bits necesitará para describir el secuencia, y la menor información que contiene, todo el camino hasta el límite de todo verde, bombilla quemada.

Resulta que hay una manera de medir la cantidad de información en una señal, basada en las probabilidades de los diferentes símbolos. Si la probabilidad de recibir el símbolo x _i es p _i , entonces considere la cantidad

-log pi

Cuanto menor sea p _i, mayor será este valor. Si x_i se vuelve el doble de improbable, este valor aumenta en una cantidad fija (log (2)). Esto debería recordarte a agregar un poco a un mensaje.

Si no sabemos cuál será el símbolo (pero conocemos las probabilidades) entonces podemos calcular el promedio de este valor, cuánto obtendremos, sumando las diferentes posibilidades:

I = -Σ pi log(pi)

Este es el contenido de información en un flash.

Red bulb burnt out: pred = 0, pgreen=1, I = -(0 + 0)  = 0
Red and green equiprobable: pred = 1/2, pgreen = 1/2, I = -(2 * 1/2 * log(1/2)) = log(2)
Three colors, equiprobable: pi=1/3, I = -(3 * 1/3 * log(1/3)) = log(3)
Green and red, green twice as likely: pred=1/3, pgreen=2/3, I = -(1/3 log(1/3) + 2/3 log(2/3)) = log(3) - 2/3 log(2)

Este es el contenido de información, o entropía, del mensaje. Es máxima cuando los diferentes símbolos son equiprobables. Si eres físico utilizas el logaritmo natural, si eres un informático utilizas logaritmo₂ y conseguir pedacitos.

Realmente te recomiendo que leas sobre Teoría de la Información, métodos bayesianos y MaxEnt. El lugar para comenzar es este libro (disponible gratuitamente en línea) de David Mackay:

Http://www.inference.phy.cam.ac.uk/mackay/itila /

Esos métodos de inferencia son realmente mucho más generales que la minería de texto y realmente no puedo idear cómo uno aprendería a aplicar esto a la PNL sin aprender algunos de los conceptos básicos generales contenidos en este libro u otros libros introductorios sobre la máquina Aprendizaje y métodos bayesianos MaxEnt.

La conexión entre la entropía y la teoría de la probabilidad con el procesamiento y almacenamiento de la información es muy, muy profunda. Para dar una muestra de ello, hay un teorema debido a Shannon que establece que la cantidad máxima de información que puede pasar sin error a través de un canal de comunicación ruidoso es igual a la entropía del proceso de ruido. También hay un teorema que conecta cuánto se puede comprimir una pieza de datos para ocupar el mínimo posible memoria en su ordenador a la entropía del proceso que generó los datos.

No creo que sea realmente necesario que vayas a aprender sobre todos esos teoremas sobre la teoría de la comunicación, pero no es posible aprender esto sin aprender los conceptos básicos sobre qué es la entropía, cómo se calcula, cuál es su relación con la información y la inferencia, etc...

Cuando estaba implementando un algoritmo para calcular la entropía de una imagen encontré estos enlaces, ver aquí y aquí.

Este es el pseudo-código que usé, necesitarás adaptarlo para trabajar con texto en lugar de imágenes, pero los principios deben ser los mismos.

//Loop over image array elements and count occurrences of each possible
//pixel to pixel difference value. Store these values in prob_array
for j = 0, ysize-1 do $
    for i = 0, xsize-2 do begin
       diff = array(i+1,j) - array(i,j)
       if diff lt (array_size+1)/2 and diff gt -(array_size+1)/2 then begin
            prob_array(diff+(array_size-1)/2) = prob_array(diff+(array_size-1)/2) + 1
       endif
     endfor

//Convert values in prob_array to probabilities and compute entropy
n = total(prob_array)

entrop = 0
for i = 0, array_size-1 do begin
    prob_array(i) = prob_array(i)/n

    //Base 2 log of x is Ln(x)/Ln(2). Take Ln of array element
    //here and divide final sum by Ln(2)
    if prob_array(i) ne 0 then begin
        entrop = entrop - prob_array(i)*alog(prob_array(i))
    endif
endfor

entrop = entrop/alog(2)

Obtuve este código de alguna parte, pero no puedo desenterrar el enlace.

Informalmente

La entropía es la disponibilidad de información o conocimiento, la falta de información conduce a dificultades en la predicción del futuro que es alta entropía (predicción de la palabra siguiente en la minería de texto) y la disponibilidad de información/conocimiento nos ayudará a una predicción más realista del futuro (baja entropía).

La información relevante de cualquier tipo reducirá la entropía y nos ayuda a predecir un futuro más realista, que la información puede ser la palabra "carne" está presente en la frase o la palabra "la carne" no existe. Esto se llama Ganancia de Información

Formalmente

La entropía es la falta de orden de predicabilidad

Mientras está leyendo un libro sobre NLTK, sería interesante que lea sobre el módulo Clasificador MaxEnt http://www.nltk.org/api/nltk.classify.html#module-nltk.classify.maxent

Para la clasificación de minería de texto, los pasos podrían ser: preprocesamiento (tokenización, vaporización, selección de características con ganancia de Información ...), transformación a numérico (frecuencia o TF-IDF) (creo que este es el paso clave a entender cuando se usa texto como entrada a un algoritmo que solo acepta numérica) y luego clasificar con MaxEnt, seguro que esto es solo un ejemplo.