Sto facendo ricerche sul tema della "logistica"Regressione "nell'apprendimento automatico. Potrei capire l'intero concetto che sta cercando di massimizzare la probabilità di un'istanza appartenente a un'etichetta di classe particolare
L'algoritmo, se eseguito per molte iterazioni, trovaun vettore di peso che separa le istanze e quindi continua ad aumentare la grandezza del vettore di peso. Non capisco perché proverebbe ad aumentare la grandezza del vettore di peso
Qualsiasi aiuto sarebbe molto apprezzabile!
risposte:
1 per risposta № 1Immagino che i tuoi dati siano linearmente separabili? IIRC, in questo caso la regressione logistica si rompe. Penso che questo sia un problema ben noto. Qui (il primo hit su google per "dati separabili di regressione logistica"):
...Tuttavia, quando i dati di addestramento sono separabili linearmente, si verificano due cose brutte: 1. | θ | va all'infinito; 2. Ci sono un numero infinito di MLE. Per vedere questo, nota qualsiasi funzione di passaggio (sigmoid con | θ | = ∞) che è nello spazio tra le due classi è un MLE
Un modo per evitare ciò è incorporare un priore su θ nella forma di un Gaussiano a media zero con covarianza 1 / (2λ) I
0 per risposta № 2
Penso che quello che stai chiedendo siaLa regolarizzazione nell'apprendimento automatico, dalla mia comprensione di ciò, è fatta in modo da evitare i fenomeni noti come sovraffollamento, cioè quando l'ipotesi si adatta ai dati di addestramento quasi perfettamente al costo di dare una scarsa ipotesi per i dati del test.
Spero che questo aiuti in parte.