/ / Comment analyser et récupérer le sitemap XML nutch - xml, web-crawler, sitemap, nutch

Comment analyser et récupérer XML sitemap nutch - xml, web-crawler, sitemap, nutch

Lorsque Nutch récupère un sitemap, il ne va pas chercher tous les liens dans la balise du sitemap.

Quelle option de configuration dois-je définir pour que Nutch explore et récupère tous les liens mentionnés dans le plan du site?

Réponses:

1 pour la réponse № 1

J'ai trouvé ce lien sur le Wiki Nutch
https://wiki.apache.org/nutch/SitemapFeature

0 pour la réponse № 2

Tu peux voir le question néerlandaise.

Il existe un analyseur de sitemap travaillant pour nutch ici

questions connexes

Comment et où ajouter un sitemap XML sur le site WooCommerce? - xml, woocommerce, sitemap
Apache Nutch sur Windows - windows, cygwin, nutch
Meilleure intégration Tika sur Solr ou Nutch - solr, nutch, apache-tika
Solr est-il nécessaire pour indexer les données analysées pour Nutch? - solr, lucene, nutch
Comment changer la valeur de l'horodatage de l'Apache Nutch - Solr, timestamp, nutch
Nutch 1.12 et elasticsearch 1.4.1 besoin en performances - performance, elasticsearch, web-crawler, nutch
sites de récupération automatique dans Nutch 1.4? - Nutch, web-crawler
Nutch 2.1 supporte-t-il toujours les segments de fichiers? - nutch
nutch crawl n'utilise pas toutes les entrées de seed.txt - nutch, web-crawler
Pourquoi nutch crée-t-il toujours le linkdb, même s'il n'est pas nécessaire de le récupérer? - nutch
Nutch. Implémentation .Net [fermé] - .net, nutch
Erreur d'exécution d'Apache nutch-2.2.1 - java, apache, hadoop, nutch
Mettre à jour Nutch pour récupérer le parent de chaque URL récupérée - java, nutch
Nutch: récupère l'url de graine de chaque URL - java, nutch, web-crawler
Tutoriels MapReduce Nutch [fermé] - java, mapreduce, nutch
Comment obtenir un fichier HTML individuel à partir de «segments» que j'ai obtenus après le lancement de crwal dans Nutch? - java, linux, indexation, web-crawler, nutch
Comment créer un programme d'indexation personnalisé pour Apache Nutch 2.x? - apache, plugins, configuration, nutch
Error Nutch Aucun agent répertorié dans 'http.agent.name' - apache, web-crawler, nutch
Comment restreindre Apache Nutch 2.3.1 à l'analyse du contenu de l'histoire et non des barres latérales - apache, hadoop, web-crawler, sitemap, nutch
Apache Nutch crawler comment exclure les dossiers statiques comme; cgi-bin, images, css exclure du crawler nutch? - apache, hadoop, lucene, mapreduce, nutch