This issue tracker has been migrated to GitHub, and is currently read-only.
For more information, see the GitHub FAQs in the Python's Developer Guide.

Author Jmgray47
Recipients Jmgray47, Patrick Valibus 410 Gone
Date 2020-07-31.04:34:49
SpamBayes Score -1.0
Marked as misclassified Yes
Message-id <1596170089.38.0.936040982757.issue36207@roundup.psfhosted.org>
In-reply-to
Content
Bonjour, je vois que nous ne sommes pas les seuls dans ce cas, nous avons besoin que les robots indexent nos pages html mais qu'elles n'indexent pas celles en /*.php$ ainsi que les ressources PC en PDF. Nous avons tenté en vain plusieurs solutions en passant par le robots.txt à la racine de notre domaine https://demolinux.org/ mais sans succès. Le RobotsParser ne prends pas ces règles en compte, merci.
History
Date User Action Args
2021-04-02 15:44:33vstinnerunlinkissue36207 messages
2020-07-31 04:34:49Jmgray47setrecipients: + Jmgray47, Patrick Valibus 410 Gone
2020-07-31 04:34:49Jmgray47setmessageid: <1596170089.38.0.936040982757.issue36207@roundup.psfhosted.org>
2020-07-31 04:34:49Jmgray47linkissue36207 messages
2020-07-31 04:34:49Jmgray47create