日志统计问题

问题描述

现有一个日志文件。用户访问一次就记录一条。有区域id(varchar32) 操作类型怎么统计id的访问次数? 比如用户admin 访问了五次。 这个日志中就有五条admin的记录统计出来就是admin 5小弟不才。请前辈指导 问题补充:chen_yongkai 写道

解决方案

已经是统计多个用户了!!!HashMap<String,Integer> count=new HashMap<String,Integer>(); key 是用户idvalue 是次数
解决方案二:
逐行扫描日子文件,解析出id,累计一下,应该很简单的可以用这样的存储结构HashMap<String,Integer> count=new HashMap<String,Integer>();public void count(String id){Integer c=count.get(id);if(c==null){c=Integer.valueOf(1);count.put(id,c);}else{count.put(id,c+1);}}至于解析日志文件,就看你自己文件的格式了

时间: 2024-09-15 10:14:18

日志统计问题的相关文章

命令行下Apache日志统计举例

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://chenguang.blog.51cto.com/350944/1414820 Apache日志统计举例 加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep.sed.awk和sort等筛选工具帮助你解决这个问题.

使用PHP实现蜘蛛访问日志统计

本篇文章是对使用PHP实现蜘蛛访问日志统计的代码进行了详细的分析介绍,需要的朋友参考下   复制代码 代码如下: $useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));  if (strpos($useragent, 'googlebot')!== false){$bot = 'Google';}  elseif (strpos($useragent,'mediapartners-google') !== false){

asp.net-根据访问日志统计访问量最高的前N个IP

问题描述 根据访问日志统计访问量最高的前N个IP Windows Phone 8.1 的应用框架; 2. Windows Phone 8.1 与 Windows Phone 8.0 导航的不同; 3. Frame.BackStack; 4. NavigationCacheMode; 5. NavigationHelper bar.cnyes.com/html/100201-30/8D142A5766B7924.shtmlbar.cnyes.com/html/100201-30/8D142A5BE

Kafka实战-实时日志统计流程

1.概述 在<Kafka实战-简单示例> 一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打 算为大家介绍Flume+Kafka+Storm的实时日志统计,由于涉及的内容较多,这里先给大家梳理一个项目的运用这些技术的流程.下面是今天的内容 目录: 项目流程 Flume Kafka Storm 下面开始今天的内容分享. 2.项目流程 在整合这套方案的时候,项目组也是经过一番讨论,在讨论中,观点很多,有人

Linux下nginx日志统计的研究

是由于看组内大神@沈洲大神做的浏览器统计,一时我也想练练,于是今天一天没有出出(当然还是得吃饭的)- 思路     首先是写个自动定时任务,在每天夜里23:55的时候运行脚本,脚本做日志切割和转成需要的数据json    制作访问接口可以获取分析后的json数据,比如浏览器型号,系统型号    根据接口画出饼状图 定时任务-解析日志 写一个以每天23:55执行的shell,大概内容如下: # /bin/bash # 移动数据日志为lastcp -f /home/access.log /home/

《Storm实时数据处理》一2.6 统计与持久化日志统计信息

2.6 统计与持久化日志统计信息 我们其实可以收集很多日志流的统计信息,但由于本节只是为了展示一些基本概念,因此我们只准备收集和处理单时间序列(每分钟)日志量.虽说如此,但这应该已经足以展示有关的设计和方法了,这些技巧能够帮助你在未来实现其他分析工作. 2.6.1 实战 Step01 下载storm-cassandra contrib项目并将其安装到Maven仓库中: Step02 在storm.cookbook.log包中,创建一个继承自BaseRichBolt的类VolumeCounting

网站日志统计案例分析与实现

1.概要     到这一步,若是按照前面到文章一步走来,不出意外,我想hadoop平台环境应该搭建OK了.下面我以自己工作中实际的案例来梳理一下整个流程.同时参考一些其他的文章来分析,由于很多网站的日志KPI都大同小异,故有些指标直接在文中赘述了. 2.流程 背景 前言 目录 日志分析概述 需求分析 源码 2.1 背景 从2011年开始,中国进入大数据时代如火如荼,以Hadoop为代表的套件,占据了大数据处理的广阔地盘.开源界及厂商,所有数据软件,纷纷 向Hadoop靠拢.Hadoop也从小规模

linux 日志统计

cat access.log |awk '{print $1}'   |   uniq -c     解释:   cat将日志读入,传给awk,   awk读取每行的第一列($1).   awk -F "," '{print $1}' 按照字符逗号分割字符串.显示第一个.   uniq -c标志为相同的只输出一次,同时统计总数.   wc -l 统计总得行数   sort -n 由大到小进行排列.      

使用shell脚本分析网站日志统计PV、404、500等数据_linux shell

下面的脚本能统计出网站的总访问量,以及404,500出现的次数.统计出来后,我们可以结合监控宝来进行记录,进而可以看出网站访问量是否异常,是否存在攻击,一目了然.还可以根据查看500出现的次数,进而判断网站程序是否出现异常. 复制代码 代码如下: #!/bin/bash#purpose:count nginx or apache or other webserver status code using jiankongbao#how to:run the script every 5 minut