it-swarm-vi.com

Làm cách nào tôi có thể phân tích các tệp nhật ký Amazon S3?

Các tùy chọn tốt nhất để phân tích tệp nhật ký Amazon S3 (Lưu trữ đơn giản) là gì? Tôi đã bật đăng nhập và bây giờ tôi có các tệp nhật ký trông như thế này:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

Các tùy chọn tốt nhất để tự động hóa các tệp nhật ký là gì? Tôi không sử dụng bất kỳ dịch vụ nào khác của Amazon ngoài S3.

2
artlung

Amazon khuyên bạn nên sử dụng AWStats và bao gồm hướng dẫn về cách thiết lập tệp cấu hình AWStats . Bạn cũng sẽ cần thiết lập một số phương pháp để tự động tải xuống nhật ký nơi cài đặt AWStats của bạn.

Cá nhân tôi sử dụng cron để đặt tập lệnh Python sử dụng boto để lấy các tập tin.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Chúng tôi sắp ra mắt Qloudstat sẽ cung cấp cho bạn các phân tích cho tài khoản S3 của bạn dưới dạng dịch vụ.

1
David Kocher