Blocage de la formation NER Stanford CoreNLP - stanford-nlp, reconnaissance d’entité nommée

J'essaie de former un modèle de TNS pour le portugais. J'ai réussi à former avec 10 classes d'entités. Cependant, avec le même jeu de données d'apprentissage, augmenter le nombre de classes d'entités pour le rendre se fige après quelques itérations.

J'ai même augmenté la RAM jusqu'à 30g, mais pas de chance. J'ai utilisé la version 3.7.0 de Stanford CoreNLP et j'ai exécuté la commande suivante (en utilisant les configurations par défaut):

java -d64 -Xmx30g -cp stanford-corenlp.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop "prop.prop"

Une idée sur la façon de le faire fonctionner?

Réponses:

@ arop, le problème est que le système nécessite un peu plus de mémoire,
Ce que vous pensiez, en réalité, n’est pas de la RAM, c’est la taille du segment de mémoire, la mémoire que le noyau stanford nlp peut utiliser pour stocker la mémoire temporaire.

Augmentez sa taille à 100 Go et voyez, en fonction de la taille de votre disque dur.

pour essayer d’augmenter la taille du tas si le serveur s’arrête, réinstallez le jdk.