È riconosciuto il carattere jolly in Robots.txt nel mezzo della stringa? - robots.txt

Ho bisogno di una stringa per robots.txt come:

disallow:

/article/*/

ma non so se questo è un modo corretto per farlo o no ?!

Ho bisogno di questo per esempio:

    /article/hello
/article/123

• può essere seguito; MA:

  / Article / ciao / modificare

  / Articolo / 123/768 & goshopping

• le ultime righe non sarebbero seguite ....

risposte:

I caratteri jolly non fanno parte delle specifiche originali di robots.txt, ma essi siamo supportato da tutti i principali motori di ricerca. Se desideri semplicemente impedire a Google / Bing / Yahoo di eseguire la scansione di queste pagine, procedi nel seguente modo:

User-agent: *
Disallow: /article/*/

I crawler più vecchi che non supportano i caratteri jolly ignoreranno semplicemente questa linea.