Concatenación de vectores de características

En el aprendizaje automático (y no solo), es muy común ver la concatenación de diferentes vectores de características en uno solo de mayor dimensión que luego es procesado por alguna función. Por ejemplo, los vectores de características calculados para una imagen a diferentes escalas se concatenan para formar un vector de características de múltiples escalas que luego se procesa.

Sin embargo, combinar vectores por concatenación me parece de alguna manera artificial (simplemente los apilamos y luego usamos una función que opera en un espacio de mayor dimensión):

z = v w = [ v 1 , , v norte ] T [ w 1 , , w metro ] T = [ v 1 , , v norte , w 1 , , w norte ] T R norte + metro ,

F ( z ) : R norte + metro R k .

Primero, me gustaría preguntar si existe una definición formal de concatenación como un mapeo a un espacio de mayor dimensión (quizás en forma de multiplicación de matrices). ¿Qué se puede decir del espacio donde viven los vectores concatenados? En particular, si el segundo vector es fijo, los puntos representados por el primer vector se asignarán a un espacio de mayor dimensión, pero estarán confinados al subespacio R norte R norte + metro perpendicular al resto de los ejes norte + 1 , metro . Es como una incrustación múltiple.

Finalmente, me preguntaba si hay alternativas a la concatenación para una combinación efectiva de vectores de características.

Respuestas (2)

¿Existe una definición formal de concatenación como un mapeo a un espacio de mayor dimensión (quizás en forma de multiplicación de matrices)?

Formalmente, el mapeo mapearía un par de vectores en un vector de mayor dimensión, por lo que sería un mapeo

C : R norte × R metro R norte + metro

pero la matriz del mapeo, como siempre, depende de la base que use tanto en el dominio como en el codominio. La matriz, si elige los vectores base obvios, es simplemente la matriz identidad. En otras palabras, el mapeo es, con toda honestidad, bastante aburrido en lo que respecta a las matemáticas.

De hecho, los espacios vectoriales R norte × R metro y R norte + metro son tan similares que en álgebra lineal, por lo general se consideran como "el mismo" espacio. Esa es en realidad la razón de la notación. R k en general.

Si quiere ser estrictamente formal, puede definir A × \B × C como ( A × B ) × C , o puede definirlo como A × ( B × C ) . Y la pura verdad es que a nadie le importa qué definición uses, porque todos los resultados son perfectamente válidos usando cualquiera de las dos. Del mismo modo, puede definir R norte como

R 1 = R R k + 1 = R k × R

o como

R 1 = R R k + 1 = R × R k

y todo es lo mismo de ahí en adelante.


Finalmente, me preguntaba si hay alternativas a la concatenación para una combinación efectiva de vectores de características.

¿A qué te refieres con efectivo? Esta pregunta puede caer rápidamente fuera del alcance de las matemáticas, ya que "efectivo" a menudo se define por cuán útil es en el mundo real.

Aún así, es posible que desee buscar PCA (análisis de componentes principales) u otros métodos de reducción de dimensionalidad. Pero como dije, esta es más una pregunta para https://datascience.stackexchange.com/

¡Gracias por la respuesta! En el ejemplo que di con un segundo vector fijo, ¿hay algo interesante que se pueda decir? Para simplificar, si el primer vector es cualquier vector 2D y el segundo vector es un vector 1D fijo c, entonces la concatenación de ellos dará como resultado un vector 3D, pero efectivamente los puntos representados por tales vectores vivirán en el plano 2D z= C. En dimensiones superiores es difícil imaginar esto. Es similar al ejemplo de incrustar una esfera 2D en R^3.
@orbit Lo que está describiendo es entonces un mapeo afín, y su rango sería un hiperplano.

Por definición de la suma directa de dos espacios vectoriales, digamos R norte y R metro , la suma directa R norte R metro es el conjunto de elementos ( tu , v ) , dónde tu R norte y v R metro . Entonces puedes definir un isomorfismo a partir de R norte R metro R norte + metro por el mapa ( tu , v ) ( tu 1 , , tu norte , v 1 , , v metro ) . Las construcciones que parecen "obvias", como el simple apilamiento, a menudo se describen simplemente mediante isomorfismos. Estos son los mapas que te dicen cuando dos estructuras son iguales, a veces hasta notaciones obvias. Espero que esto ayude :)