¿Por qué escalar funciones?

El escalado de características es un truco general aplicado a problemas de optimización (no solo SVM). El algoritmo de subrayado para resolver el problema de optimización de SVM es gradient descend. Andrew Ng tiene una gran explicación en sus videos de coursera aquí.

Ilustraré las ideas centrales aquí (tomo prestadas las diapositivas de Andrew). Supongamos que solo tiene dos parámetros y uno de los parámetros puede tomar un rango relativamente grande de valores. Entonces el contorno de la función de costo puede parecer muy alto y óvalos delgados (ver óvalos azules abajo). Sus gradientes (la trayectoria del gradiente se dibuja en rojo) podrían tomar mucho tiempo y ir y venir para encontrar la solución óptima.

En cambio, si ha escalado su entidad, el contorno de la función de costo podría parecer círculos; entonces el gradiente puede tomar un camino mucho más recto y lograr el punto óptimo mucho más rápido.

Solo pensamientos personales desde otra perspectiva.
1. ¿por qué la influencia del escalado de características?
Hay una palabra en la aplicación del algoritmo de aprendizaje automático, 'basura adentro, basura afuera'. Cuanto más real sea el reflejo de sus características, más precisión obtendrá su algoritmo. Esto también se aplica a la forma en que los algoritmos de aprendizaje automático tratan la relación entre las características. A diferencia del cerebro humano, cuando los algoritmos de aprendizaje automático hacen la clasificación, por ejemplo, todas las características se expresan y calculado por el mismo sistema de coordenadas, que en cierto sentido, establece una suposición a priori entre las características(no realmente reflejo de los datos en sí). Y también la naturaleza de la mayoría de los algoritmos es encontrar el porcentaje de peso más apropiado entre las características para ajustar los datos. Entonces, cuando la entrada de estos algoritmos es características sin escala, los datos a gran escala tienen más influencia en el peso. En realidad no es el reflejo de los datos en sí mismo.
2. por qué normalmente característica ¿el escalado mejora la precisión?
La práctica común en los algoritmos de aprendizaje automático no supervisados sobre la selección de hiper-parámetros(o hiper-hiper parámetros) (por ejemplo, el proceso hierachical Dirichlet, hLDA) es que no debe agregar ninguna suposición subjetiva personal sobre los datos. La mejor manera es asumir que tienen la probabilidad de igualdad para aparecer. Creo que se aplica aquí también. El escalado de características solo intente hacer la suposición de que todas las características tienen la igualdad oportunidad de influir en el peso, que más realmente refleja la información / conocimiento que usted sabe sobre los datos. Comúnmente también resultan en una mejor precisión.

Por cierto, sobre la invariante de transformación afín y convergen más rápido, hay un enlace de interés aquí en stats.stackexchange.com.

De lo que he aprendido del curso de Andrew Ng en coursera es que el escalado de características nos ayuda a lograr el gradiente decente más rápidamente,si los datos están más dispersos, eso significa que si tiene una desviación de standerd más alta, tomará relativamente más tiempo calcular el gradiente decente en comparación con la situación cuando escalamos nuestros datos a través del escalado de características

Podemos acelerar el descenso del gradiente teniendo cada uno de nuestros valores de entrada en aproximadamente el mismo rango. Esto se debe a que θ descenderá rápidamente en rangos pequeños y lentamente en rangos grandes, y así oscilará ineficientemente hasta el óptimo cuando las variables son muy desiguales. Esto es del curso Andrews NG Coursera.

Por lo tanto, se hace para hacer algo como estandarizar los datos. A veces los investigadores quieren saber si una observación específica es común o excepcional. expresar una puntuación en términos del número de desviaciones estándar se elimina de la media. Este número es lo que llamamos una puntuación z. Si recodificamos las puntuaciones originales en z-scores, decimos que estandarizamos una variable.

La Idea de escalar es eliminar cálculos de exess en una variable particular estandarizando toda la variable en una misma escala con esto tendemos a calcular la pendiente mucho más fácil ( y = mx + c) donde estamos normalizando el parámetro M para converger lo más rápido posible.

Sí si la normalización no está allí, contour será delgado, por lo tanto, con la normalización:

1. Los valores están dentro del rango
2. Acelera el cálculo de theta porque el número de cálculos requeridos será menor