/ / Wie Google crawl meine Website-Seiten, wenn Benutzername und Passwort benötigt wird - Web-Crawler, holen

Wie Google crawl meine Website-Seiten, wenn Benutzername und Passwort benötigt wird - Web-Crawler, holen

Hallo ich benutze Holen Sie als Google Option zur Verfügung gestellt in Google Webmaster-Tools aber wenn ich eine Seite hole, halte ich den CursorAuf das eingereichte Ergebnis zeigt es meine Login-Seite anstelle der Seite, die ich eingereicht habe. Ich frage mich also, ob es ein Problem für Google gibt, passwortgeschützte Websites zu crawlen, und gibt es auch die Möglichkeit, ein Crawl-Skript an meine Seite anzuhängen, so wie ich es mache Google Analytics.

Antworten:

0 für die Antwort № 1

Ich hatte gerade einen Kunden, der wollte, dass ich das gleiche Problem löste.

Ich glaube, das ist es wonach Sie suchen: https://www.google.com/adsense/app#sitepermissions.

Hier können Sie dem Crawler von Google einen Benutzernamen und ein Passwort geben (bei Bedarf sogar noch mehr).