Próbuję wytrenować model NER dla języka portugalskiego. Udało mi się, gdy trenowałem z 10 klasami jednostek. Jednak z tym samym zestawem danych szkoleniowych, zwiększając klasy jednostek do 30 zawiesza się po kilku iteracjach.
Zwiększyłem nawet pamięć RAM do 30 g, ale nie miałem szczęścia. Użyłem wersji Stanford CoreNLP w wersji 3.7.0 i uruchomiłem następujące polecenie uruchamiania (używając domyślnych konfiguracji rekwizytów):
java -d64 -Xmx30g -cp stanford-corenlp.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop "prop.prop"
Masz jakiś pomysł, jak to działa?
Odpowiedzi:
0 dla odpowiedzi № 1@ arop Problem polega na tym, że system wymaga więcej pamięci sterty,
To, o czym myślałeś, że 30 GB to nie RAM, to wielkość sterty, pamięć, którą rdzeń stanforda może wykorzystać do przechowywania pamięci tymczasowej.
Zwiększ jego rozmiar do 100 gb i zobacz, na podstawie rozmiaru dysku twardego.
kiedy spróbować zwiększyć rozmiar sterty, jeśli serwer się wyłączy, ponownie zainstaluj jdk.