La validación cruzada es la selección de características en la clasificación: aprendizaje automático, validación cruzada, selección de características

Estaba viendo esto vídeo desde el famoso curso Intro to Stat Learning sobre validación cruzada en la selección de funciones.

Los profesores dijeron que deberíamos formar los pliegues antes de realizar cualquier ajuste de modelo y selección de características. También dijeron que en cada división, podemos terminar con un conjunto diferente de "mejores predictores"

Mi pregunta es, si ese es el caso, ¿cómo podemos determinar los mejores predictores generales para el uso futuro? En otras palabras, si tengo un nuevo conjunto de datos, ¿cómo puedo saber qué predictores debo usar?

Respuestas

Buena pregunta para un principiante. La respuesta a su pregunta es que use el mismo conjunto de características para uso futuro. Sí, hay un compromiso que las características seleccionadas pueden cambiar con el tiempo. Pero por lo general unos van con las características seleccionadas antes. Pero lo importante es que los datos iniciales utilizados para la selección de características deberían ser lo suficientemente buenos con un número suficiente de muestras para que reflejen casi todos los casos del problema. Si este es el caso, por lo general, las características seleccionadas no cambiarían mucho también para los nuevos datos de prueba.