Hadoopy

Bu temelde Cython yazılı MapReduce için bir Python kütüphanesi

Özellikler :.

Hadoop API

• Benzer arayüz (Python / Java arabirimleri arasında kullanılabilir tasarım desenleri)
• dumbo ile Genel uyumluluk kullanıcıları ileri geri geçiş için izin

Python veya yönetici erişimi olmayan Hadoop kümelerinde Kullanılabilir
• Hızlı dönüşüm ve işleme
• kalın, küçük ve iyi belgelenmiş
• ne olup bittiğini
şeffaf olun
• komplike .bu yıllardan, ctypes ve uzantıları ile Saplı programları
• kesmek yeteneği yazılı Kod
• Basit HDF'ler erişim (örneğin, okuma, yazma, ls)
• Destek büyük Hadoop ekosistemini (ve çoğaltmak değil) (örn Oozie, pırpır)
• Otomatik iş paralelizasyon hadoopy akışı projesinde mevcut 'otomatik oozie' (şube dışında tutulan)
• launch_local
ile değiştirilmemiş MapReduce işin Yerel yürütme
• Python doğrudan HDF'ler için TypedBytes Okuma / yazma sırası dosyaları (readtb, writetb)
• (her ikisi de görevin stderr mevcuttur, 'boru atlamalı' tekniğini kullanır) sorunlara neden olmadan Hadoop görevler stdout ve stderr baskı sağlar
• herhangi bir ekstra kurulum olmadan kümelerinde Python, ya da (bu kaynak ağacının dahildir Pyinstaller kullanır) herhangi bir Python kütüphaneleri
İşleri
• OS X üzerinde çalışır
• Kritik yol Cython olduğunu

Python içinde bile işlerini çalışan iç
• Basit HDF'ler erişimi (readtb ve ls)
• Birim test arabirimi
• Raporlama kullanarak durumu ve sayaçlar (ve baskı tablolar! Gerek Hadoopy onları korkmak)
• Lin & Dyer kitapta tasarım desenleri destekler
• Typedbytes desteği (çok hızlı)
• Oozie desteği

Gereksinimleri :

• Cython 0.13 veya daha yüksek