Um material de aprendizado de máquina disse que é um mauidéia de abordar o problema de classificação por meio de regressão. Mas eu acho que é sempre possível fazer uma regressão contínua para ajustar os dados e truncar a previsão contínua para produzir uma classificação discreta. Então, por que é uma má idéia?
Respostas:
11 para resposta № 1Se você está fazendo uma classificação, você querotimizar algo relacionado a erros de classificação. Você só se importa em prever a classe certa. Quando você está fazendo regressão, você quer minimizar alguma medida de distorção entre a previsão e o valor real. O erro quadrático médio é uma função de penalidade comum para a regressão.
Imagine otimizar os parâmetros do seuregressor que eventualmente vai fazer classificação. Em vem um exemplo que é obviamente classe 1, mas cujo rótulo é muito, muito grande. Para minimizar a perda neste exemplo, você precisa deslocar muito os seus pesos para tornar a previsão extrema para este exemplo. No entanto, agora sua borda de classificação mudou muito, prejudicando sua precisão de classificação. Você compensou quando não precisou.
Você pode ver este gráfico como a quantidade que você vai mover seus pesos em função de como você previu mal um exemplo.
A maioria das funções de perda aqui são superioresna perda de classificação incorreta. Modelos que otimizam os limites superiores na classificação incorreta fazem uma boa classificação. Usar a regressão para classificação é como escolher a perda de erro quadrada e, basicamente, representar erroneamente o que você deseja otimizar. Isso corresponde ao deslocamento para cima, voltado para o lado direito do gráfico, na perda do erro quadrado, mesmo quando a classificação está ficando cada vez mais confiante, e as boas funções de perda de classificação são todas 0 ou vão para lá.
Imagem tirada do excelente Elementos da Teoria Estatística da Aprendizagem.