DataCleaner

DataCleaner örgütleri ve artırmak ve bunların verilerinin kalitesini ölçmek isteyen işletmeler için bir açık kaynak ve tamamen ücretsiz bir çözümdür.
DataCleaner ile kullanıcılar, profil karşılaştırmak, iş kurallara karşı verileri doğrulamak ve zamanla bu ölçümlerin ilerlemesini izlemek mümkün olacak.
Özellikleri arasında, veri izleme, veri profilleme ve DQ analizi, veri temizleme ve zenginleştirme, algılamak ve birleştirme çiftleri, müşteri veri kalitesinin yanı sıra süper hızlı ETLightweight (Extract-Transform-Load) sayabiliriz.
Hem de onunla çalışmak için ne gibi DataCleaner fonksiyonları ve yetenekleri hakkında daha fazla bilgi edinmek için, http://eobjects.dk/docs

What başvurun bu sürümde yeni :

• Gelişmeler ve yeni özellikler:
• mümkün oluşturmak ve DataCleaner masaüstü UI aracılığıyla tabloları bırakma yaptık. Not teriminin o; masanın & quot; Burada aslında sadece ilişkisel veritabanı tabloları daha kapsar. Aynı zamanda CouchDB ve ElasticSearch MS Excel yavaş değişen olarak Sheets, MongoDB içinde Koleksiyonlar Belge türlerini içerir ve böylece ... Temelde gibi CSV yavaş değişen olarak tek masa yavaş değişen hariç yazma işlemleri, destekleyen tüm veri deposu türleri, bu işlevselliği desteklemiyor! Işlevselliği aracılığıyla maruz:
• & quot; & quot tablo oluşturun; Uygulamanın sol tarafındaki ağaç şemalar sağ tıklama menüsü ile sağladı.
• & quot; & quot tablo oluşturun; masa, Masa arama ve Güncelleme tabloya Ekleme gibi bileşenleri tablo seçim girişleri üzerinden de sağladı.
• & quot; Bırak tablo & quot; Uygulamanın sol tarafındaki ağaç tabloları sağ tıklama menüsü ile sağladı.
• Biz Salesforce.com web hizmeti Endpoint URL belirterek (isteğe bağlı) yeteneği ekledik. Bu, kendi özel uç noktalarının yanı Salesforce.com ve sanal ortamlara bağlanmak için DataCleaner kullanmanıza olanak sağlar.
• ElasticSearch destek özel eşlemelerini izin yanı sıra arama ve indeksleme için de şimdi ElasticSearch veri deposu tanımları yeniden kullanmak, geliştirilmiştir.
• kayıtları ve yinelenen algılama fonksiyonu potansiyel çiftleri seçimi örnekleme eğitim oturumu sırasında alınan kararlar daha fazla temsilcisi, çünkü hızlı yapılandırmaya giden, geliştirilmiştir.
• Yinelenen algılama modeli dosya formatı geçmiş eğitim kararları kaydetmek için ayrı bir 'referans' dosyası için gereğini ortadan kaldırmıştır olan güncellendi. Eski formatta ile uyumluluk muhafaza, ancak yeni biçimini kullanarak bir kullanıcı deneyimi için birçok faydalar ekler edilmiştir.
• Bugfixes:
• Bir iş parçacığı açlık sorunu DataCleaner monitör giderilmiştir. Bu konuda etkisi büyük oldu, ama sadece nadir ve çok özel durumlarda oldu. Özel dinleyici bir hata atmak istiyorsunuz DataCleaner monitörde itiraz etmesi halinde, bu asla kadar serbest ve sunucu üzerinde Kuvars-zamanlama havuzundan bir iş parçacığı alarak varlık bir kaynak neden olur. Bu birçok kez olur, sunucu sonunda o havuzda parçacığı tükendi olabilir.
• sonuç ekranında dikey menü şimdi sonuçlar bileşenlerin etiketleri görüntüleme düzgün bir iş yapıyor. Bu daha kolay olan menü öğesi noktaları neler sonuç öğeye tanımak için yapar.

sürümünde 3.5.7 yeni Nedir:

• 'Eşanlamlı arama' dönüşüm artık seçeneği vardır girdi her belirteci bakmak için. Uzun bir metin alanının değerleri içinde eş değiştirme yapıyoruz yararlıdır.
• Bu için monitörün web servisi aracılığıyla DataCleaner işlerin yürütülmesine Engelleme bazen engelleme parçacığı tarafından neden bir hata ile başarısız olabilir. Bu sorun giderildi.
• bir gelişme yolu işleri yapıldı ve bileşenlerin sırası yürütülmesinden sonra temizlenir / kapalı.
• DataCleaner bir JNLP / Java Web Start sürümü, belirli koşullar altında değil Start başlatıcısı tarafından tanınması için belirli JAR dosyaları, neden Java runtime bir hata ortaya çıkmıştır. Bu sorun, bu JAR dosyaları küçük değişiklikler yaparak sabit olmuştur.
• belgelerinde birkaç ölü bağlantıları tespit edildi.

nedir sürümü 3.5.4 Yeni

• Bu dönüşümlerin çıkış sütunları gizlemek artık mümkün . Gizleme tüm işlem akışını etkileyecek, ama sadece kullanıcı arabiriminden bunları gizlemek ve diğer bileşenleri ile etkileşim sırasında böylece potansiyel, deneyimi daha temiz hale olmayacaktır.
• Yeni bir web hizmeti belirli bir işin yürütülmesi durumunu yoklamak için bir yol sağlar izleme web uygulamasına ilave edilmiştir.
• Bir hata herhangi bir kayıt işlendiğinde ne zaman belli analiz türleri için başarısız HTML raporu neden tespit edildi.
• Ve diğer 6 küçük hata adressed edilmiştir.

sürümünde 3.5.1 yeni Nedir:

• Yakalama kayıtları değiştirildi:
• Yeni bir filtre daha önce işlenmiş değil kayıtların artan işlenmesini, örneğin etkinleştirmek eklendi profilleme veya kopyalama için yalnızca kayıtları değiştirilmiş. Yeni filtreleri adı Yakalama Değişim veri yakalama kavramına atıfta bulunarak, kayıtları değişti olduğunu.
• işlerin sıraya alınmış yürütme:

birden çok kez tetiklenir
• DataCleaner monitör şimdi, aynı işin yürütülmesine sıraya. Bu yanlışlıkla iş ne bağlı sorunların her türlü yol açabilir aynı anda aynı işi çalıştırmak yok olmasını sağlar.
• Küçük onarımları:
• Çeşitli onarımları gerçekleştirilmiştir.

sürüm 3.5 yeni Nedir:

• Çeşitli sihirbazlar artık veri depolarıyla kayıt için kullanılabilir; CSV dosyaları, veritabanı bağlantı girişi için sunucuya dosya yükleme, Salesforce.com kimlik rehberli kayıt ve daha fazlası.
dahil
• iş kurma sihirbazları ayrıca çeşitli gelişmiş özellikleri ile uzatıldı; Değer dağılımının seçimi ve desen Hızlı analiz sihirbazında alanları bulma, EasyDQ dayalı müşteri temizlik işleri ve (daha aşağıda okuyun) Pentaho Veri Entegrasyonu işler ateş için yeni bir iş sihirbazı oluşturmak için tamamen yeni bir sihirbaz.
• Şimdi ad-hoc web kullanıcı arayüzünde doğrudan herhangi bir veri deposuna sorgulayabilirsiniz. Bu kolay olmamıştı veya veri işleme yönetilen diğer yaklaşımları kurma olmadan veri içine hızlı ya da düzensiz anlayışlar almak için yapar.
• iş ilanları veya DataStores oluşturulduktan sonra, kullanıcı yeni inşa nesne ile harekete geçmeye yönlendirilir. Kayıtlı sonra Örneğin, çok hızlı bir şekilde inşa ediyor hemen sonra bir işi çalıştırmak veya bir veri deposuna sorgulayabilir.
• iş dosyaları XML içeriğini el düzenlemek istiyorsanız artık doğrudan özellikle kullanışlı olan depo, işleri yükleyebilirsiniz Yöneticiler.
• teknik cruft bir sürü şimdi basit diyaloglar gösteren lehine gizlidir. Örneğin, bir iş tetiklendiği zaman büyük bir yükleme göstergesi gösterilir ve bittiğinde sonuç gösterilir. Daha önce yine ek ayrıntılar için bir bağlantıyı tıklayarak üzerine orada görüntülenebilir oldu gelişmiş günlüğü ekranı.

nedir sürümü 3.1.2 Yeni

• izleme bir web hizmeti ekledik metrik değerler bir (listesi) almak için başvuru. Bu veri (kalite) izlemek ve üçüncü parti uygulamalar sonuçları ortaya çıkarmak için bir yol olarak, önemli bir altyapı bileşeni olarak izlenmesi daha kullanışlı hale getirir.
• 'Tablo arama' bileşeni yapılandırılabilir özellik olarak semantik katılmak ekleyerek geliştirilmiştir. Eğer JOIN veya bir INNER JOIN bir LEFT gibi anlamsal olarak çalışmak arama isterseniz çimdik semantik katılmak kullanma.

EasyDQ bileşenleri daha fazla yapılandırma seçenekleri ve daha zengin bir tekilleştirme sonucu arayüzü ekleyerek, yükseltilmiş
• .
• Performans iyileştirmeleri bu sürümde belirli bir odak noktası olmuştur. İyileştirmeler daha önce kapalı değildi bazı köşe durumlarda bir akarsu işleme yaklaşımı kullanmak için DataCleaner motoru yapılmıştır.

nedir sürümü 3.1.1 Yeni

• tarih ve saat ile ilgili analiz seçenekleri genişletildi , hafta numaraları, aylar ve yıllar için dağıtım analizörleri sözlerine ekledi. Tarih ve saat ile ilgili tüm analiz şimdi adlandırılan bir alt menü içinde gruplandırılmış, Tarih ve saat & quot; altında & quot; Analiz & quot;.
• İsteğe bağlı & quot; & quot istatistik tanımlayıcı; seçenek sayısı analizörü ve Tarih / Saat analizörü eklenmiştir. Bu seçenek, Medyan, Çarpıklık, yüzdelik ve Basıklık olarak bu analizörleri, sonuçlarına ek ölçümleri ekler. Onların bellek izi mevcut ölçümleri biraz daha büyük olduğundan, bu ölçümler isteğe bağlıdır.
• izleme web uygulaması zaman çizelgesi listelerinde satırları şimdi onları küçük noktalar var. Bu onları (tek veya hatta) birkaç gözlemlerle grafikler için özellikle yararlıdır -. Gözlem noktaları tam olarak nerede işaret
• yürütmesini ad-hoc sorguları da önemli ölçüde iyileştirilmiştir sorgu ayrıştırıcı. Şimdi sorgular DISTINCT hükümler, * -wildcards, alt sorgular içeren ve hata toleranslı metin vaka konularına yönelik olarak yapabilirsiniz.
• İki yeni transformatörler UUIDs üretmek ve damgaları üretmek için ilave edilmiştir.

nedir sürüm 3.1 Yeni

• Metrik formüller - Veri Kalitesi APG özenli:
• çok daha inşa DataCleaner izleme web uygulamasında Veri Kalitesi KPI'leri ayrıntılı artık mümkün. Kullanıcı arayüzü, bir tablo gibi formül tarzı karmaşık formüller oluşturmanıza olanak verir; DataCleaner işleri tarafından toplanan değişkenleri kullanarak.
• Metrik formüller sürece matematiksel denklemi ifade edilebilir, ölçümler, sabitler ve operasyonların herhangi bir sayıda birleştirebilirsiniz.

Örneğin
• - toplam kayıt sayısının yüzde yinelenen kayıtların hızını ölçmek. Veya birden fazla dize desen bir dizi uygun ürün kodları miktarını ölçmek.
• Ad-hoc sorgulama - Herhangi bir veri deposuna ait:

artık herhangi bir veri deposuna ad-hoc sorguları gerçekleştirebilirsiniz DataCleaner 3.1 ile
• ! Sorgular düz SQL ifade edilebilir ve keşif ve veri profilleme deneyimi içine uzatmak için gerçekten yararlı bir sorgu mekanizması sağlayarak, veri tabanları yanı sıra dosyaları, NoSQL veritabanları ve daha uygulanacaktır.
• sorgu seçeneği YÖNETİCİ rolü ile kullanıcılara izleme için bir web hizmeti aracılığıyla da mevcuttur. Sorgu, bir HTTP parametresi veya POST organ olarak verilmiştir ve sonuç XHTML tablo olarak verilmektedir.
• Değer matcher - yeni bir analiz seçeneği:
• Çoğu kez değerlere izin ve belirli bir alan için beklenmelidir hangi sağlam bir fikrim yok. DataCleaner her zaman size varsayımları iddia yardımcı olacaktır Değer Dağıtım analizi seçeneği var oldu. Değer eşleştirici - DataCleaner 3.1 olsa da, daha kesin bir teklif var. Bu analiz seçeneği beklenen değerler kümesini belirtin ve sonra özellikle doğrulamak ve beklenmeyen değerler tespit etmek, analiz gibi bir değer dağılımını gerçekleştirmek için olanak sağlar.
• Kopyalama, silme ve işlerin yönetimi:
• DataCleaner monitör uygulamasında iş ve sonuçların yönetimi büyük ölçüde iyileştirilmiştir. Artık monitörün Planlama sayfasında bir iş tıklatın ve yeniden adlandırma, kopyalama, silme ve daha fazlası gibi işlemler için kullanılabilir yönetim seçenekleri bulabilirsiniz. Her operasyon gibi analiz sonuçlarına, programları ve daha fazlası gibi monitörde diğer eserler için bağları saygılıdır. Bu izleme depo yönetimi çok daha kolay ve olgun hale gelmiştir demektir.
• Veri kalitesi geçmişini yönet:
• Bazen gerçekten tarihsel verilerle izleme yapmak istediğiniz durumlarla karşı karşıyayız! Bu tarihi dökümlerini ya da göstermek ve hikaye anlatmak isteyen veritabanları yedeklerini var olabilir. Şimdi bu tarihi verilerin analizini yapmak DataCleaner monitöre yükleyin ve yeni bir web servisi kullanarak, söz konusu analiz sonucu tarihi bir veri ayarlayabilirsiniz. Bu zaman çizelgeleri düzgün ama zaman içinde daha sonraki bir aşamada belki topladığınızda sonuçları, amaçlanan tarihini kullanarak sonuçları arsa anlamına gelir.
• Kümelenmiş zamanlayıcı desteği (EE yalnızca):

basit düzenleme aracılığı ile ikame edilmiş olabilir, böylece
• DataCleaner monitörün zamanlayıcı, dışa edilmiştir. DataCleaner Enterprise Edition (EE), biz makinelerin bir küme genelinde infaz dengesini yüklemek ve dağıtmak için yeteneği sağlayan, kümelenmiş scheduler sağlar.
• Tek oturum açma (SSO) CAS kullanılarak (EE yalnızca):

biz şimdi monitör uygulaması için tek oturum açma seçeneği sunar DataCleaner Enterprise Edition (EE)
• . Şimdi DataCleaner BT altyapısı, aynı zamanda güvenlik-bilge entegre bir parçası olabilir.
• ... Ve daha bir çok:
• Yukarıda sadece bir özetidir. Otuzdan fazla sorunlar bu sürümde giderilmiş oylandı. Biz forumları ve toplumun gelen birkaç istekleri çözdük ve biz değişim için bir araç olarak bu orta kullanmak için herkesi teşvik ediyoruz. Biz DataCleaner gelişimi ağır toplumda akarsu etkisinde yapmak için çok mutluyuz.

nedir sürümü 3.0.3 Yeni

• ekler izleme depo işleri yeniden adlandırılması için bir hizmet .
• UI etkileşimli bir sığınakta Web hizmeti olarak bu erişim veya olabilir.
• Web hizmeti izleme deposunda bir analiz sonucu tarihi tarihini değiştirmek için eklendi.
• Web uygulama eski JSF kapları ile uyumlu hale getirilmiştir.
• Web uygulamasında yapılandırma önbelleğe alma büyük ölçüde daha hızlı sayfa yükleme ve iş başlatma kez lider, düzeldi.

sürümünde 3.0.2 yeni Nedir:

• izleme web uygulamasında bir iş tetiklemesi, Panel yürütme son durumu almak için her saniye otomatik yeniler.

Mutlak yolları ile (örneğin CSV veya Excel tabloları gibi)
• Dosya tabanlı DataStores artık doğru izleme web uygulamasında çözümlenir.
• & quot; anahtar / değer haritası & quot seçin; transformatör artık & quot gibi iç içe seçme ifadeleri destekler; Address.Street & quot; veya & quot; OrderLines [0] .product.name & quot;.
• tablo arama mekanizması JDBC veritabanlarına karşı çalışırken hazırlanmış deyimleri kullanarak, performans için optimize edilmiştir.

DataStores & quot;
• Yöneticiler artık & quot doğrudan dosya tabanlı veri depolarıyla indirebilirsiniz; sayfa.

İzleme web uygulamasında
• İstisna işleme hata iletileri daha hassas ve sezgisel hale biraz geliştirilmiştir.