文字列の真ん中にあるRobots.txtのワイルドカードは認識されていますか？ - robots.txt

robots.txtには次のような文字列が必要です。

disallow:

/article/*/

しかし、これがこれを行う適切な方法であるかどうかはわかりませんか？！

例えばそれが必要です：

    /article/hello
/article/123

• 従うかもしれません;だが：

  / article / hello / edit

  / article / 123/768＆goshopping

• 最後の行は続きません。...

回答：

ワイルドカードは元のrobots.txt仕様の一部ではありませんが、 は すべての主要な検索エンジンでサポートされています。 Google / Bing / Yahooがこれらのページをクロールしないようにする場合は、次のようにします。

User-agent: *
Disallow: /article/*/

ワイルドカードをサポートしない古いクローラーは、この行を単に無視します。