/ / java web crawler [fermé] - java

java web crawler [fermé] - java

salut quelqu'un peut-il recommander un robot d'exploration web java simple qui explore des sites Web et renvoie une liste de liens sur le site? Non, je n'ai pas besoin d'un analyseur. Merci de votre attention.

Réponses:

2 pour la réponse № 1

Un robot Web n'est (presque par définition) jamais "simple".

Deux noms me viennent cependant à l’esprit (bien que les deux aient une courbe d’apprentissage):

Les deux sont open source et peuvent accomplir ce que vous voulez.Bien que le simple fait d’énumérer les liens d’un site Web ne soit pas ce qu’il est conçu (Nutch est conçu pour créer un index de recherche et Heritrix est conçu pour archiver des sites Web). Vous devrez faire des configurations personnalisées pour accomplir votre tâche.

HTTrack est un outil beaucoup plus simple, mais n’est pas implémenté en Java.