博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
三、基于hadoop的nginx访问日志分析--计算时刻pv
阅读量:4457 次
发布时间:2019-06-08

本文共 1207 字,大约阅读时间需要 4 分钟。

代码:

# cat pv_hour.py #!/usr/bin/env python# coding=utf-8from mrjob.job import MRJobfrom nginx_accesslog_parser import NginxLineParserclass PvDay(MRJob):    nginx_line_parser = NginxLineParser()    def mapper(self, _, line):        self.nginx_line_parser.parse(line)        _, tm = str(self.nginx_line_parser.time_local).split()        h, m, s = tm.split(':')        yield h, 1 # 每小时的    def reducer(self, key, values):        yield key, sum(values)def main():    PvDay.run()if __name__ == '__main__':    main()

执行结果

# python3 pv_hour.py access_all.log-20161227 No configs found; falling back on auto-configurationCreating temp directory /tmp/pv_hour.root.20161228.025503.341576Running step 1 of 1...Streaming final output from /tmp/pv_hour.root.20161228.025503.341576/output..."14"    21158"15"    20958"16"    16080"17"    14194"18"    13114"19"    16898"20"    18870"21"    14067"22"    14053"23"    12683"00"    13185"01"    14785"02"    12449"03"    7364"04"    3628"05"    9074"06"    9317"07"    11887"08"    13492"09"    19564"10"    18390"11"    15697"12"    17518"13"    18785Removing temp directory /tmp/pv_hour.root.20161228.025503.341576...

 

转载于:https://www.cnblogs.com/xiaoming279/p/6228622.html

你可能感兴趣的文章
访问修饰符和非访问修饰符
查看>>
Sql中Convert日期格式
查看>>
android 数据存储之SharedPreferences
查看>>
mysql名词解释
查看>>
Tomcat数据库连接池配置
查看>>
Shell之while循环
查看>>
Hadoop之为何不使用RAID?
查看>>
nodejs开发指南demo
查看>>
对路网数据连通性处理
查看>>
Markdown小记
查看>>
把秒数转换成时分秒格式输出
查看>>
Python第七天
查看>>
苹果开发者帐号(Company)申请流程
查看>>
ubuntu18.04完全卸载mysql的命令
查看>>
hdu (2617) Happy 2009
查看>>
Mybatis(5)——动态SQL
查看>>
nodejs 构建本地web测试服务器 以及 解决访问静态资源的问题!有完整源码!
查看>>
Android 勤用RXJava compose操作符消除重复代码
查看>>
BaseFragment
查看>>
QQ网站接入
查看>>