Metodo di selezione / estrazione della funzione senza supervisione suggerito per la classificazione in 2 classi? - classificazione, feature-extraction, feature-selection

Ho un set di funzionalità F, ad esempio spazio colore Lab, entropia. Concatenando tutte le feature insieme, ottengo un vettore di caratteristiche di dimensione d (tra 12 e 50, a seconda delle funzioni selezionate).

Di solito ottengo tra 1000 e 5000 nuovi campioni,denotato x. Un modello di miscela gaussiana viene quindi addestrato con i vettori, ma non so da quale classe provengano le funzioni. Ciò che so però è che ci sono solo 2 classi. Basato sulla previsione GMM ottengo una probabilità di quel vettore di funzionalità appartenente alla classe 1 o 2.

La mia domanda ora è: Come ottengo il miglior sottoinsieme di funzionalità, ad esempio solo entropia e rgb normalizzato, che mi offrono la migliore precisione di classificazione? Immagino che questo risultato sia raggiunto, se la separabilità della classe è aumentata, a causa della selezione di sottoinsiemi di caratteristiche.

Forse posso utilizzare la discriminante lineare di Fisheranalisi? Dal momento che ho già le matrici di media e covarianza ottenute dal GMM. Ma non dovrei calcolare il punteggio per ciascuna combinazione di caratteristiche?

Sarebbe bello avere un aiuto se questo è un approccio non gratificante e sono sulla strada sbagliata e / o altri suggerimenti?

risposte:

Un modo per trovare le funzionalità "informative" è utilizzare le funzionalità che massimizzeranno la verosimiglianza dei log. Potresti farlo con la convalida incrociata.

https://www.cs.cmu.edu/~kdeng/thesis/feature.pdf

Un'altra idea potrebbe essere quella di utilizzare un altro algoritmo non supervisionato che seleziona automaticamente funzionalità come una foresta di clustering

http://research.microsoft.com/pubs/155552/decisionForests_MSR_TR_2011_114.pdf

In tal caso, l'algoritmo di clustering dividerà automaticamente i dati in base al guadagno di informazioni.

Fisher LDA non selezionerà le caratteristiche ma proietterài tuoi dati originali in un sottospazio dimensionale inferiore. Se stai esaminando il metodo subspace un altro approccio interessante potrebbe essere il clustering spettrale, che accade anche in un sottospazio o reti neurali non sorvegliate come il codificatore automatico.

spero che sia d'aiuto