Regresja logistyczna w uczeniu maszynowym - uczenie maszynowe, regresja logistyczna

Prowadzę badania na temat "logistykiRegresja "w uczeniu maszynowym. Rozumiem całą koncepcję, że stara się zmaksymalizować prawdopodobieństwo wystąpienia instancji należącej do konkretnej etykiety klasy

Algorytm, jeśli uruchomi się dla wielu iteracji, znajdziewektor wagowy, który oddziela przypadki, a następnie zwiększa wartość wektora wagowego. Nie rozumiem, dlaczego próbowałby zwiększyć wagę wektora wagowego

Każda pomoc będzie bardzo ważna!

Odpowiedzi:

Zgaduję, że twoje dane są rozłączne liniowo? IIRC, regresja logistyczna załamuje się w tym przypadku.Myślę, że jest to dobrze znany problem. tutaj (pierwsze trafienie w Google dla "danych separowanych regresji logistycznej"):

...Jednakże, gdy dane szkoleniowe można rozdzielić liniowo, występują dwie złe rzeczy: 1. | θ | idzie do nieskończoności; 2. Istnieje nieskończona liczba MLE. Aby to zobaczyć, zauważ, że każda funkcja krokowa (sigmoid z | θ | = ∞), która znajduje się w luce między dwiema klasami, to MLE

Jednym ze sposobów uniknięcia tego jest włączenie wcześniejszego θ w postaci zerowej średniej Gaussa z kowariancją 1 / (2λ) I

Myślę, że o to pytaszRegulacja w uczeniu maszynowym, Z mojego rozumienia tego wynika, że ​​unika się zjawisk nazywanych przeuczeniem, tj. Gdy hipoteza pasuje do danych treningowych prawie idealnie kosztem podania słabej hipotezy dla danych testowych.

Mam nadzieję, że to pomoże w pewnym stopniu.