Yazılım ekran görüntüsü:
Yazılım detaylar:
Methabot yazılımı hız için optimize edilmiş, script ve son derece yapılandırılabilir web, ftp ve yerel dosya sistemi paletli olduğunu. Bu Komut dosyası filetype ayrıştırma, özelleştirme seçenekleri geniş bir yelpazede destekler ve kolayca herkesin özel ihtiyaçlarına uyacak şekilde yapılandırılmıştır.
Modül sistemi ve betik dili kullanımı ile kullanıcılar tarama sürecinin tam veya kısmi kontrol altına almak ve web verilerini, istatistik ve çok daha fazlası saklamak gerekir ancak Methabot karar edebiliyoruz.
Bir scripter olmak zorunda değilsiniz bu yüzden sadece komut satırından Methabot çalıştırarak ifadeleri, davranış, ve çok daha fazlası filtreleme mümkün yapılandırmak özel filetypes, vardır
Özellikler !:
- Bu akılda hız optimizasyonu ile sıfırdan tasarlanmış ve hızlıdır.
- Scriptable
- Kullanıcı tanımlı filetype filtreleme (MIME türü, dosya uzantısı veya UMEX ifadeye göre)
- Çok parçacıklı
- Genişletilebilir modül sistemi, özel veri ayrıştırıcıları ve filtreleri desteklenmesi.
- UMEX aracılığıyla URL'lerin Basit ama güçlü bir filtreleme.
- Otomatik indirme
- Otomatik tanımlama işleme desteği HTTP üzerinden çalışan
- Güvenilir, hataya dayanıklı ağ
- Taşınabilir, 32-bit / 64-bit Linux 2.6 başarı ile test, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP ve Mac OS X hemen her Unix benzeri işletim üzerinde çalışması gerekir.
E4X'in ile JavaScript aracılığıyla
Komut satırından derece yapılandırılabilir
Bu sürümdeki yeni nedir :
Bugfix, dış-peek kullanıldığında derinlik limitioldu berbat.
Önemli ölçüde tarama yavaşlatır beri
Bağlarken
sürüm 1.5.0 yeni Nedir:
- Değişiklikler ve yeni özellikler:
- stdin'den intial tampon okuma desteği
- - tipi ve --base-url komut satırı seçenekleri yapılandırma dosyalarında initial_filetype seçeneği ile birlikte eklendi
- Çerezler ve DNS bilgisi artık düzgün çalışanlar arasında paylaşılır
- Eklenenler bazı örnek kullanım için --examples komutları
- inter-thread iletişimin Big gelişmeler, artık daha hızlı ve daha organize
- komut dosyaları için 'init' fonksiyonları için destek eklendi. Http://bithack.se/projects/methabot/docs/e4x/init_functions.html de init işlevleri hakkında daha fazlasını okuyun
- libmetha dondurma değil. donuyor nedeni artık sabit libcurl bir hata oldu. Bazı geçici çözümler lutfen kusur libcurl sürümlerini kullanırken oluşmasını donuyor önlemek için libmetha eklenmiştir.
- Eski libcurl sürümleri için destek 7.17.x ve 7.16.x
- Yeni bilgiler mevcuttur & quot; Bu & quot; javascript ayrıştırıcılar, içerik türü ve transfer durumunu kodun nesne. Http://bithack.se/projects/methabot/docs/e4x/this.html Daha fazla oku
- - --silent ile değiştirilir ayrıntılı bir seçenek, ayrıntılı modu şimdi varsayılan beri
- İlk FTP tarama desteği ve ftp_dir_url paletli seçeneği
- Derinlik sınırlayıcı şimdi paletli özeldir
- komut satırı seçenekleri eklendi --crawler ve --filetype
- önceden tanımlanmış tarayıcılarının ve filetypes uzanan ve geçersiz kılma için destek
- yapılandırma dosyalarında kopya anahtar kelime için destek
- Destek dinamik aktif paletli geçiş için, bu tek emekleme oturumda tamamen farklı şekillerde, farklı web taramasını sağlar. Http://bithack.se/projects/methabot/docs/crawler_switching.html de paletli geçişi hakkında daha fazlasını okuyun
- libev sürüm 3.51 yükseltin
- yapılandırma dosyalarında yönerge şimdi dahil yapılandırma dosyası zaten yüklü değil emin olur ve birden filetype / paletli tanımları-döngüler dahil engellemek için içerir.
- Çeşitli SpiderMonkey çöp toplama düzeltmeleri, libmetha artık çökmez bir çok iş parçacıklı seanstan sonra temizlik yaparken
- --info seçeneğine bazı ekstra bilgiler eklendi
- 'dış' seçeneği artık sabit ve tekrar etkindir
- Yeni seçenek --spread işçiler
- Yeni libmetha API işlevi lmetha_global_setopt () genel hata / mesaj / uyarı muhabiri değiştirilmesine izin verir
- geliştiriciler için bir test paketi eklendi ilk uygulama
- Daha hata bildirimi yapılandırma dosyaları yüklerken
- Bugfix zaman HEAD isteği sonra Content-Type başlığını dönmedi bir HTTP sunucusu
- Bugfix zaman birden çok HTTP HEAD istekleri sonra sıralama URL'ler
- HTML sayfası yoktu xml dönüştürücü html Bugfix bir & lt; html & gt; etiketi
- Bugfix, extless-url seçeneği işe yaramadı
- Bugfix, xml dönüştürücü html artık bayt sırası işaretleri veya fiili HTML önce başka bir metin sıkıştıracak
- Bugfix, desteklenmeyen protokollerin URL'leri erişmeye çalışırken libmetha engelledi
- Bugfix bir hata sonra kapatılıyor.
- Bugfix, çözümlenemeyen URL'ler üç denemeden sonra yeniden deneme döngüsünü patlak vermedi
- Çok deneysel ve çoğunlukla geliştiriciler için tasarlanmıştır Win32 için kararsız destek
- Yeni yapılandırma dosyaları:
- google.conf gerçekleştirmek için google aramaları
- youtube.conf, youtube arama
- meta.conf gibi HTML sayfaları ile ilgili anahtar kelimeler ve açıklama gibi baskılar meta bilgileri
- title.conf, HTML sayfaları unvanını yazdırır
- ftp.conf, FTP sunucuları tarama için
Okuyuculu çalıştırırken
Artık aynı anda birden çok HTTP HEAD istekleri yaparken
nedir sürüm 1.4.1 Yeni:
- Yapılandır bazı sistemlerde jsapi.h bulamadı Bu artık sabit olmalıdır.
- Yapılandırma dosyaları, şimdi paletli ve filetype bayrakları değiştirmek edebiliyoruz seçenekleri 'dış' ve 'external_peek' eklenen
- Bugfix, Methabot bazen çökebilir birden çok HTTP BAŞ sonra
- eşzamanlı çalışırken meydana gelen kilitlenme düzeltildi.
- jsconfig.h bulunamadı zaman düzeltme dahil sistemi oluşturun.
Boş URL'leri temizlik yaparken
Gereksinimleri :
- SpiderMonkey başlıkları
- cURL
Yorum Bulunamadı