reppy 0.1.0

reppy karşılaşılan diğer robots.txt ayrıştırıcıları içinde memoization desteğinin eksikliği ve yerleşik robotparser içinde Crawl-gecikme ve Site için destek eksikliği dışında başladı. Eşleştirme Bu paket 1996 RFC yanı sıra joker eşleştirme, tarama...
En son incelediğim yazılım