Eu estou pesquisando sobre o tema "logísticaRegressão "no aprendizado de máquina. Eu poderia entender todo o conceito de que ele está tentando maximizar a probabilidade de uma instância pertencente a um rótulo de classe particular
O algoritmo, se executado por muitas iterações, encontraum vetor de peso que separa as instâncias e, em seguida, continua aumentando a magnitude do vetor de peso. Eu não entendo por que tentaria aumentar a magnitude do vetor de peso
Qualquer ajuda seria muito apreciável!
Respostas:
1 para resposta № 1Eu estou supondo que seus dados são linearmente separáveis? IIRC, a regressão logística quebra nesse caso. Eu acho que isso é um problema bem conhecido. Aqui (o primeiro hit no google por "dados separáveis de regressão logística"):
...No entanto, quando os dados de treinamento são linearmente separáveis, duas coisas ruins acontecem: 1. | θ | vai ao infinito; 2. Há um número infinito de MLEs. Para ver isso, note que qualquer função step (sigmoid com | θ | = ∞) que está no intervalo entre as duas classes é um MLE
Uma maneira de evitar isso é incorporar um prior em θ na forma de um gaussiano de média zero com covariância 1 / (2λ) I
0 para resposta № 2
Eu acho que você está perguntando sobreRegularização em Aprendizado de Máquina, Pelo que entendi, isso é feito para evitar os fenômenos conhecidos como overfitting, ou seja, quando a hipótese se encaixa quase perfeitamente aos dados de treinamento ao custo de dar uma hipótese ruim para os dados do teste.
Espero que isso ajude de certa forma.