Yazılım ekran görüntüsü:
Yazılım detaylar:
Versiyon: 1.6.0 Güncelenir
Qayıt: 6 Mar 16
Geliştirici: Apache Software Foundation
Lisans: Ücretsiz
Popülerlik: 70
Apache, Spark veri analizi ve manipülasyon programları için işlem hızlarını geliştirmek için tasarlanmıştır.
Onlar ana, ne de olmayan veri işleme uygulamaları için bu yararlı değil çünkü çoğunlukla, Java ve Scala yazılı ve diğer sistemlerde bulunmayan özellikleri sağlar edildi.
Kıvılcım ilk UC Berkeley AMP Lab oluşturulan ve daha sonra Apache Yazılım Vakfı'na bağışlandı
Bu sürümdeki yeni Nedir:.
- Birleştirilmiş bellek Yönetimi -. yürütme ve yerine bölgelerin özel bölümü önbelleğe alma için Paylaşılan bellek
- Parke Performansı - düz şemalar kullanırken Parke tarama performansını artırmak .
- Geliştirilmiş Sorgu planlayıcısı -. ayrı toplamalardan Sorgu planları farklı sütunlar yüksek önem düzeyi olduğunda daha sağlam
- Adaptif sorgu yürütme -. Otomatik katılır ve toplamalardan için redüktör sayısını seçmek için İlk destek
- Veri Kaynağı API çift filtreleri kaçınmak -. Filtre Pushdown ile bir veri kaynağı uygularken, geliştiriciler artık bir itti aşağı filtre değerlendiren çift önlemek için Spark SQL söyleyebilir
- Hızlı null güvenli katıldı - null güvenli eşitlik kullanılarak Katıldı (& # x3c = & # x3e;) şimdi bir cartisian ürünü bilgisayar yerine SortMergeJoin kullanarak yürütecek .
- - DataFrames veya SQL karmaşık türlerini içerir verileri önbelleğe zaman (en 14x) Önemli hızlandırmak .
- SQL Yürütme - Destek sorgu yürütme yapılandırmak için GC yükü önlemek için off-yığın belleği kullanarak meydana gelmesi
farklı toplamalardan sahip sorguları için
In-bellek Columnar Önbellek Performans
Off-Öbek Bellek Kullanımı
sürüm 1.5.2 yeni Nedir:
- çekirdek API artık destekler çok düzeyli toplama ağaçları pahalı işlemleri azaltmak hızlandırmak yardımcı olur.
- Geliştirilmiş hata raporlama bazı yakaladım işlemler için eklenmiştir.
- Spark'ın İskele bağımlılığı artık kullanıcı programları ile çatışmaları önlemek için gölgeli.
- Spark şimdi bazı iletişim bitiş noktası için SSL şifreleme destekler.
- Gerçek Zamanlı GC ölçütleri ve kayıt sayıları UI eklenmiştir.
sürüm 1.4.0 yeni Nedir:
- çekirdek API artık destekler çok düzeyli toplama ağaçları pahalı işlemleri azaltmak hızlandırmak yardımcı olur.
- Geliştirilmiş hata raporlama bazı yakaladım işlemler için eklenmiştir.
- Spark'ın İskele bağımlılığı artık kullanıcı programları ile çatışmaları önlemek için gölgeli.
- Spark şimdi bazı iletişim bitiş noktası için SSL şifreleme destekler.
- Gerçek Zamanlı GC ölçütleri ve kayıt sayıları UI eklenmiştir.
Hangi sürümü 1.2.0 yeni
- PySpark en sıralama operatörü şimdi büyük veri setleri için harici dökülmesini destekler .
- PySpark şimdi 2GB daha yayın değişkenleri büyük destekler ve türlü sırasında harici dökülmesini gerçekleştirir.
- Spark iş düzeyinde ilerleme Kıvılcım UI sayfayı, ilerleme raporlama için istikrarlı bir API ve işler tamamlandı. olarak çıktı metrik dinamik güncelleştirilmesi ekler
- Spark şimdi görüntüleri ve diğer ikili biçimleri için ikili dosyaları okumak için desteği vardır.
sürüm 1.0.0 Yeni Ne:
- Bu sürüm, Spark'ın standart kütüphaneleri genişletir yeni tanıtan sağlayan SQL paketi (Kıvılcım SQL), kullanıcıların mevcut Spark iş akışlarına entegre SQL sorguları.
- MLlib, Spark'ın makine öğrenme kütüphanesi, seyrek vektör desteği ve birkaç yeni algoritmalar ile genişletilmiştir.
Hangi sürümü 0.9.1 yeni
- Dış dökülmesini Sabit karma çarpışma hata
- Diğer günlüğü backends dayanarak kullanıcılar için Spark'ın log4j Sabit çatışma
- Sabit GRAPHX maven Spark montaj kavanoz eksik oluşturur
- Sabit sessiz hataları
- ASM kaldırıldı Spark'ın gereksiz doğrudan bağımlılık
- Kaldırılan ölçümlerini-ganglionlar
- dağıtım paketindekini Sabit hata içermeyen kıvılcım montaj kavanoz
Akka Çerçeve boyutu aşan çıkış durumunu harita nedeniyle
LGPL lisansı çatışma nedeniyle varsayılan inşa
Hangi sürümü 0.8.0 yeni
- Geliştirme bir Apache sowftware Vakfı taşındı inkübatör projesi.
sürüm 0.7.3 Yeni Ne:
- : Python VM yumurtlama için Spark'ın mekanizması vardır JVM Python API hızlandırmak, büyük bir yığın boyutunu olduğunda daha hızlı bunu yapmak için geliştirilmiştir.
sürüm 0.7.2 yeni Nedir:.
- Scala sürüm 2.9.3 için güncellendi
- Bagel çeşitli iyileştirmeler.
- Yeni API yöntemleri:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition ve diğerleri
- Her hesaplama aşamasında hakkında bilgi toplamak için, arayüz, SparkListener raporlama yeni ölçütleri:. Görev uzunlukları, karıştırılır bayt vb
- K-araç ve bilgi işlem pi dahil olmak üzere Java API kullanarak birçok yeni örnekler.
performans düzeltmeleri ve yapılandırılabilir bir depolama seviyesi dahil
sürüm 0.7.0 yeni Nedir:
- 0.7 Spark PySpark denilen bir Python API ekler <. / li>
- Kıvılcım işleri şimdi programda her dağıtılmış veri kümesi (RDD) bellek kullanımını izlemek için bir web panosunu başlatın.
- Kıvılcım şimdi SBT ek olarak Maven kullanılarak inşa edilebilir.
sürüm 0.6.1 yeni Nedir:
- Sabit aşırı agresif mesaj bu işçileri neden olabilir zaman aşımları kümeden ayırın.
- HDF'ler mevkiinde etkileyen, scheduler hostname maruz vermedi bağımsız dağıtmak modunda bir hata düzeltildi.
- shuffle Geliştirilmiş bağlantı yeniden.
- Blok yöneticisi Sabit bazı potansiyel kilitlenmeleri.
- Mesos başarısız konak kimliklerini almak bir hata düzeltildi.
- Çeşitli EC2 komut gelişmeler.
- Yapılan bu Spark özelleştirilebilir bağlanan yerel IP adresi.
- Hadoop 2 dağıtımları için destek.
- Debian dağıtımlarında Scala bulmak için destek.
büyük ölçüde küçük değişimlerin hızlandırabilir
Spot örnekleri daha iyi işlenmesi gibi
sürüm 0.6.0 yeni Nedir:.
- Basit dağıtım
- Spark'ın belgeleri yeni bir hızlı başlangıç rehberi, ek dağıtım talimatları, yapılandırma rehberi, ayar rehberi ve geliştirilmiş Scaladoc API belgeleri ile genişletilmiştir.
- asenkron Java NIO kullanarak yeni bir iletişim yöneticisi shuffle işlemleri, özellikle veri veya iş birçok görevleri varken büyük miktarda gönderirken, daha hızlı çalışmasını sağlar.
- Yeni bir depolama yöneticisi destekler başına veri kümesi depolama düzeyi ayarları (örneğin, vb diskte, serisi kaldırılan, hatta düğümleri arasında çoğaltılır, bellekte veri kümesi tutmak için olsun).
- Gelişmiş hata ayıklama.
Yorum Bulunamadı