yahi

yahi apache / lighttpd için varsayılan presi sağlayan çok yönlü bir günlük ayrıştırıcı.
Komut satırı kullanımı
Yahi ile çözümlü verilerin Örnek: http://wwwstat.julbox.fr/
En basit kullanım şöyledir:
speed_shoot -g / usr / local / data / geoip / var / www / apache / erişim * günlüğü
bu formda bir json döndürür:
{
& Nbsp; "by_date": {
& Nbsp; "2012/05/03": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& Nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& Nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "bilinmeyen": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& Nbsp; "by_os": {
& Nbsp; "bilinmeyen": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "bilinmeyen": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "bilinmeyen": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& Nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11, Ubuntu, Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0 (translate.google.com yoluyla), gzip (GFE)": 1,
& Nbsp; "Mozilla / 5.0 (X11, Ubuntu, Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "by_country": {
& Nbsp; "": 10,
& Nbsp; "ABD": 1
& Nbsp;}
}
Eğer kullanıyorsanız:
speed_shoot -f Csv -g / usr / local / data / geoip / var / www / apache / erişim * günlüğü
Sizin sonucudur:
by_date, 2012-5-3,11
total_line 11
ip_by_url / favicon.ico, 192.168.0.254,2
ip_by_url / favicon.ico, 192.168.0.35,2
ip_by_url, / 74.125.18.162,1
ip_by_url, / 192.168.0.254,1
ip_by_url, / 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, bilinmeyen, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url / favicon.ico, 4
by_url, / 7
by_os, bilinmeyen, 11
bilinmiyor week_browser, 3, 11
by_referer, - 11
by_browser, bilinmeyen, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11, Ubuntu, Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0, (translate.google.com yoluyla) gzip (GFE)", 1
by_agent, Mozilla / 5.0 (X11, Ubuntu, Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, 10
by_country, ABD, 1
Peki ben ilk geoip veri dosyasını almak gerekir, çünkü bu işe yaramazsa, sanırım:
wget -O "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Tabii ki, bu geoip doğru kalmak genellikle güncelleştirilmesi gerekir çünkü paketin veri içermez, GeoLite veritabanı.
Geoip için varsayılan yolu data / GeoIP.dat olduğunu
Bir komut dosyası olarak kullan
Hız sürgün aslında bir modül olarak yahi kullanmak için nasıl bir şablon:
#! / Usr / bin / env python
archery.bow ithalat Hankyu gelen _dict olarak
yahi ithalat çentik gelen, ateş
datetime ithalat datetime gelen
bağlam = çentik ()
date_formater = lambda dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; (ateş
& Nbsp; bağlam,
& Nbsp; lambda veriler: _dict ({
& Nbsp; 'by_country': _dict ({data ['_ ülke']: 1}),
& Nbsp; 'by_date': _dict ({date_formater (veri ['_ datetime']): 1}),
& Nbsp; 'by_hour': _dict ({. Verileri ['_ datetime'] saat: 1}),
& Nbsp; 'by_os': _dict ({data ['_ İşletim sistemi adı']: 1}),
& Nbsp; 'by_dist': _dict ({data ['_ dist_name']: 1}),
& Nbsp; 'by_browser': _dict ({data ['_ BROWSER_NAME']: 1}),
& Nbsp; 'by_ip': _dict ({data ['ip']: 1}),
& Nbsp; 'by_status': _dict ({data ['status']: 1}),
& Nbsp; 'by_url': _dict ({data ['uri']: 1}),
& Nbsp; 'by_agent': _dict ({data ['ajan']: 1}),
& Nbsp; 'by_referer': _dict ({data ['referer']: 1}),
& Nbsp; 'ip_by_url': _dict ({data ['uri']: _dict ({data ['ip']: 1})}),
& Nbsp; 'bytes_by_ip': _dict ({data ['ip']: int (veri ['bayt'])}),
& Nbsp; 'week_browser':. _dict ({Data ['_ datetime'] hafta içi ():
& Nbsp; _dict ({data ["_ BROWSER_NAME"]: 1})}),
& Nbsp; * total_line ': 1,
& Nbsp;}),
& Nbsp;),
)
Kurulum
kolay:
yahi yüklemek pip
veya:
easy_install yahi
önerilir kullanım
- Temel günlük toplama için, komut satırını kullanarak salık yoktur;
- Bir atış ölçümleri için ben bir interaktif konsolu (bpython veya ipython) tavsiye;
. - Belirli ölçümlerini ya da ben API kullanarak salık ayrıntılı filtreler için

Gereksinimler :

• Python