/ / Quelles règles régissent en l’absence de robots.txt? - crawler sur le web

Quelles règles régissent en l'absence de robots.txt? - crawler sur le web

Un moteur de recherche ne doit-il pas analyser un site Web qui n'héberge pas un fichier robots.txt?

Modifier 1: Et si même la méta-balise robots est absente? J'essaie de déterminer la légalité en cause ici. C'est tout.

Réponses:

5 pour la réponse № 1

Un moteur de recherche analysera toutes les pages accessibles publiquement sur un site sans fichier robots.txt.

questions connexes

Comment un robot d'exploration Web découvre-t-il une page? - Web, crawler Web
Etiquette appropriée pour les requêtes http d'un robot d'exploration de sites Web - robot d'indexation, étiquette
Comment puis-je éviter l'exploration d'URL qui "font" des choses telles que la désinscription d'une personne d'une liste de diffusion - web-crawler
crawler vs grattoir - web-crawler, terminologie, grattoir
robots.txt dans le contrôle de version - contrôle de version, robots.txt
Les robots sont toujours interdits, même sans fichier robots.txt [fermé] - seo, robots.txt
Quel est le mot clé "unique" dans le fichier robots.txt? - robots.txt
Les robots font-ils référence à l'agent utilisateur dans le fichier robots.txt de manière OU ou ET [dupliquer] - robots.txt
Quelqu'un utilise notre site sur robots.txt - magento, site web, annuaire, robots.txt
Utilisation de robots.txt pour arrêter l'indexation étrange dans Joomla - joomla, web-crawler, robots.txt
`this` objet dans require (). function () - javascript, node.js, this, require
noindex suit dans Robots.txt - indexation, moteur de recherche, robots.txt, robot, nofollow
Empêcher que la page HTML soit explorée et mise en cache par bot / crawler - html, css
HTML: puis-je protéger certaines pages de Google en utilisant l'authentification d'utilisateur? - html, seo, authentification de base
Pourquoi les grands sites Web comme cnn utilisent-ils le fichier robots.txt et non le meilleur htaccess? - .htaccess
Payer pour les robots d'exploration sur AppEngine - google-app-engine, web-crawler
Meilleure façon d’ajouter un délai en C # - c #, web-crawler
Le fichier Drupal robots.txt interdire sera-t-il toujours enregistré dans le fichier journal Apache? - apache, drupal, robots.txt
Apache Nutch crawler comment exclure les dossiers statiques comme; cgi-bin, images, css exclure du crawler nutch? - apache, hadoop, lucene, mapreduce, nutch
bloquer Google pour rechercher votre section d'admin - admin, google-search