Czy ktokolwiek z was zna metodę uczenia maszynowego lub kombinację metod, która umożliwia integrację wcześniejszej wiedzy w procesie tworzenia drzewa decyzyjnego?
Z „wcześniejszą wiedzą” rozumiem informacje, jeślifunkcja w danym węźle jest naprawdę odpowiedzialna za wynikową klasyfikację. Wyobraź sobie, że mamy tylko krótki okres czasu, w którym mierzymy nasze funkcje iw tym okresie mamy korelację między funkcjami. Jeśli teraz ponownie zmierzymy te same funkcje, prawdopodobnie tak nie uzyskać korelację między tymi cechami, ponieważ był to zbieg okoliczności, że są one skorelowane. Niestety nie da się zmierzyć ponownie.
Problem z tym wynika: funkcja wybierana przez algorytmy do wykonywania podziału nie jest funkcją, która faktycznie prowadzi do podziału w rzeczywistym świecie. Innymi słowy, silnie skorelowana cecha jest wybierana przez algorytm, podczas gdy druga cecha jest tą, którą należy wybrać. Dlatego chcę ustawić reguły / przyczyny / ograniczenia dla procesu uczenia się drzewa.
Odpowiedzi:
1 dla odpowiedzi № 1„szczególna funkcja w już nauczonym drzewie”- typowe drzewo decyzyjne ma jedną funkcję na węzeł, a zatem każda funkcja może pojawić się w wielu różnych węzłach. Podobnie każdy liść ma jedną klasyfikację, ale każda klasyfikacja może pojawić się w wielu listkach. (A z klasyfikatorem binarnym każde nietrywialne drzewo musi mieć powtarzane klasyfikacje).
Oznacza to, że możesz wyliczyć wszystkie liście isortuj je według klasyfikacji, aby uzyskać jednolite podzbiory liści. Dla każdego takiego podzbioru można analizować wszystkie ścieżki z katalogu głównego drzewa, aby zobaczyć, które funkcje wystąpiły. Ale to będzie duży zestaw.
„Ale w moim przypadku są pewne funkcjesilnie skorelowane ... Funkcja, która została wybrana przez algorytmy do wykonania podziału, nie jest funkcją, która faktycznie prowadzi do podziału w rzeczywistym świecie. ” Mówi się, że każdy model jest błędny, ale niektóre modele są użyteczne. Jeśli cechy są rzeczywiście silnie skorelowane, wybranie tej „niewłaściwej” cechy nie wpływa na model.
Możesz oczywiście zmodyfikować algorytm podziałuw budowaniu drzew. Trywialnie, „jeśli pozostałe klasy to A i B, użyj podzielonego S, w przeciwnym razie określ podział za pomocą algorytmu C4.5” to poprawny algorytm podziału, który zapisuje wcześniej istniejącą wiedzę o dwóch konkretnych klasach bez ograniczania się tylko do tego przypadku.
Ale zauważ, że łatwiej może być wprowadzenie połączonej klasy A+B w drzewie decyzyjnym, a następnie zdecyduj między A i B w przetwarzaniu końcowym.