xiaoyutongxue6
xiaoyutongxue6

离线数据分析--实战

离线分析系统的结构图
     离线数据分析--实战_第1张图片
      整个离线分析的总体架构就是使用 Flume 从 FTP 服务器上采集日志文件，并存储在 Hadoop HDFS 文件系统上，再接着用 Hadoop 的 mapreduce 清洗日志文件，最后使用 HIVE 构建数据仓库做离线分析。任务的调度使用 Shell 脚本完成，当然大家也可以尝试一些自动化的任务调度工具，比如说 AZKABAN 或者 OOZIE 等。
      分析所使用的点击流日志文件主要来自Nginx的access.log日志文件，需要注意的是在这里并不是用Flume直接去生产环境上拉取nginx的日志文件，而是多设置了一层FTP服务器来缓冲所有的日志文件，然后再用Flume监听FTP服务器上指定的目录并拉取目录里的日志文件到HDFS服务器上(具体原因下面分析)。从生产环境推送日志文件到FTP服务器的操作可以通过Shell脚本配合Crontab定时器来实现。

网站点击流数据
        离线数据分析--实战_第2张图片
         
          图片来源：http://webdataanalysis.net/data-collection-and-preprocessing/weblog-to-clickstream/#comments

      一般在 WEB 系统中，用户对站点的页面的访问浏览，点击行为等一系列的数据都会记录在日志中，每一条日志记录就代表着上图中的一个数据点；而点击流数据关注的就是所有这些点连起来后的一个完整的网站浏览行为记录，可以认为是一个用户对网站的浏览 session 。比如说用户从哪一个外站进入到当前的网站，用户接下来浏览了当前网站的哪些页面，点击了哪些图片链接按钮等一系列的行为记录，这一个整体的信息就称为是该用户的点击流记录。这篇文章中设计的离线分析系统就是收集 WEB 系统中产生的这些数据日志，并清洗日志内容存储分布式的 HDFS 文件存储系统上，接着使用离线分析工具 HIVE 去统计所有用户的点击流信息。

      本系统中我们采用Nginx的access.log来做点击流分析的日志文件。access.log日志文件的格式如下：
      样例数据格式:
      124.42.13.230 - - [18/Sep/2013:06:57:50 +0000] "GET /shoppingMall?ver=1.2.1 HTTP/1.1" 200 7200 "http://www.baidu.com.cn" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; BTRS101170; InfoPath.2; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727)"
        格式分析: 
        1、 访客ip地址:124.42.13.230
        2 、访客用户信息： - -
          3、请求时间： [18/Sep/2013:06:57:50 +0000]
        4 、请求方式：GET
          5、请求的url： /shoppingMall ?ver=1.10.2
        6 、请求所用协议：HTTP/1.1
          7、响应码：200
        8 、返回的数据流量：7200
        9 、访客的来源url：http://www.baidu.com.cn
        10、访客所用浏览器：Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; BTRS101170; InfoPath.2; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727)

 收集用户数据
      网站会通过前端 JS 代码或服务器端的后台代码收集用户浏览数据并存储在网站服务器中。一般运维人员会在离线分析系统和真实生产环境之间部署 FTP 服务器，并将生产环境上的用户数据每天定时发送到 FTP 服务器上，离线分析系统就会从 FTP 服务上采集数据而不会影响到生产环境。
       采集数据的方式有多种，一种是通过自己编写 shell 脚本或 Java 编程采集数据，但是工作量大，不方便维护，另一种就是直接使用第三方框架去进行日志的采集，一般第三方框架的健壮性，容错性和易用性都做得很好也易于维护。本文采用第三方框架 Flume 进行日志采集， Flume 是一个分布式的高效的日志采集系统，它能把分布在不同服务器上的海量日志文件数据统一收集到一个集中的存储资源中， Flume 是 Apache 的一个顶级项目，与 Hadoop 也有很好的兼容性。不过需要注意的是 Flume 并不是一个高可用的框架，这方面的优化得用户自己去维护。
        Flume 的 agent 是运行在 JVM 上的，所以各个服务器上的 JVM 环境必不可少。每一个 Flume agent 部署在一台服务器上， Flume 会收集 web server 产生的日志数据，并封装成一个个的事件发送给 Flume Agent 的 Source ， Flume Agent Source 会消费这些收集来的数据事件并放在 Flume Agent Channel ， Flume Agent Sink 会从 Channel 中收集这些采集过来的数据，要么存储在本地的文件系统中要么作为一个消费资源分发给下一个装在分布式系统中其它服务器上的 Flume 进行处理。 Flume 提供了点对点的高可用的保障，某个服务器上的 Flume Agent Channel 中的数据只有确保传输到了另一个服务器上的 Flume Agent Channel 里或者正确保存到了本地的文件存储系统中，才会被移除。
本系统中每一个 FTP 服务器以及 Hadoop 的 name node 服务器上都要部署一个 Flume Agent ； FTP 的 Flume Agent 采集 Web Server 的日志并汇总到 name node 服务器上的 Flume Agent ，最后由 hadoop name node 服务器将所有的日志数据下沉到分布式的文件存储系统 HDFS 上面。
      需要注意的是Flume的Source在本文的系统中选择的是Spooling Directory Source，而没有选择Exec Source，因为当Flume服务down掉的时候Spooling Directory Source能记录上一次读取到的位置，而Exec Source则没有，需要用户自己去处理，当重启Flume服务器的时候如果处理不好就会有重复数据的问题。当然Spooling Directory Source也是有缺点的，会对读取过的文件重命名，所以多架一层FTP服务器也是为了避免Flume“污染”生产环境。Spooling Directory Source另外一个比较大的缺点就是无法做到灵活监听某个文件夹底下所有子文件夹里的所有文件里新追加的内容。关于这些问题的解决方案也有很多，比如选择其它的日志采集工具，像logstash等。
       FTP 服务器上的 Flume 配置文件如下：   
[plain] view plain copy
  1. agent.channels = memorychannel  
  2. agent.sinks = target  
  3.   
  4. agent.sources.origin.type = spooldir  
  5. agent.sources.origin.spoolDir = /export/data/trivial/weblogs  
  6. agent.sources.origin.channels = memorychannel  
  7. agent.sources.origin.deserializer.maxLineLength = 2048  
  8.   
  9. agent.sources.origin.interceptors = i2  
  10. agent.sources.origin.interceptors.i2.type = host  
  11. agent.sources.origin.interceptors.i2.hostHeader = hostname  
  12.   
  13. agent.sinks.loggerSink.type = logger  
  14. agent.sinks.loggerSink.channel = memorychannel  
  15.   
  16. agent.channels.memorychannel.type = memory  
  17. agent.channels.memorychannel.capacity = 10000  
  18.   
  19. agent.sinks.target.type = avro  
  20. agent.sinks.target.channel = memorychannel  
  21. agent.sinks.target.hostname = 172.16.124.130  
  22. agent.sinks.target.port = 4545  
     这里有几个参数需要说明， Flume Agent Source 可以通过配置 deserializer.maxLineLength 这个属性来指定每个 Event 的大小，默认是每个 Event 是 2048 个 byte 。 Flume Agent Channel 的大小默认等于于本地服务器上 JVM 所获取到的内存的 80% ，用户可以通过 byteCapacityBufferPercentage 和 byteCapacity 两个参数去进行优化。
      需要特别注意的是 FTP 上放入 Flume 监听的文件夹中的日志文件不能同名，不然 Flume 会报错并停止工作，最好的解决方案就是为每份日志文件拼上时间戳。

     在 Hadoop 服务器上的配置文件如下：   
[plain] view plain copy
  1. agent.sources = origin  
  2. agent.channels = memorychannel  
  3. agent.sinks = target  
  4.   
  5. agent.sources.origin.type = avro  
  6. agent.sources.origin.channels = memorychannel  
  7. agent.sources.origin.bind = 0.0.0.0  
  8. agent.sources.origin.port = 4545  
  9.   
  10. #agent.sources.origin.interceptors = i1 i2  
  11. #agent.sources.origin.interceptors.i1.type = timestamp  
  12. #agent.sources.origin.interceptors.i2.type = host  
  13. #agent.sources.origin.interceptors.i2.hostHeader = hostname  
  14.   
  15. agent.sinks.loggerSink.type = logger  
  16. agent.sinks.loggerSink.channel = memorychannel  
  17.   
  18. agent.channels.memorychannel.type = memory  
  19. agent.channels.memorychannel.capacity = 5000000  
  20. agent.channels.memorychannel.transactionCapacity = 1000000  
  21.   
  22. agent.sinks.target.type = hdfs  
  23. agent.sinks.target.channel = memorychannel  
  24. agent.sinks.target.hdfs.path = /flume/events/%y-%m-%d/%H%M%S  
  25. agent.sinks.target.hdfs.filePrefix = data-%{hostname}  
  26. agent.sinks.target.hdfs.rollInterval = 60  
  27. agent.sinks.target.hdfs.rollSize = 1073741824  
  28. agent.sinks.target.hdfs.rollCount = 1000000  
  29. agent.sinks.target.hdfs.round = true  
  30. agent.sinks.target.hdfs.roundValue = 10  
  31. agent.sinks.target.hdfs.roundUnit = minute  
  32. agent.sinks.target.hdfs.useLocalTimeStamp = true  
  33. agent.sinks.target.hdfs.minBlockReplicas=1  
  34. agent.sinks.target.hdfs.writeFormat=Text  
  35. agent.sinks.target.hdfs.fileType=DataStream  

round, roundValue,roundUnit 三个参数是用来配置每 10 分钟在 hdfs 里生成一个文件夹保存从 FTP 服务器上拉取下来的数据。
    Troubleshooting 
       使用Flume拉取文件到HDFS中会遇到将文件分散成多个1KB-5KB的小文件的问题   
       需要注意的是如果遇到Flume会将拉取过来的文件分成很多份1KB-5KB的小文件存储到HDFS上，那么 很可能 是HDFS Sink的配置不正确，导致系统使用了默认配置。spooldir类型的source是将指定目录中的文件的每一行封装成一个event放入到channel中，默认每一行最大读取1024个字符。在HDFS Sink端主要是通过rollInterval(默认30秒), rollSize(默认1KB), rollCount(默认10个event)3个属性来决定写进HDFS的分片文件的大小。 rollInterval表示经过多少秒后就将当前.tmp文件(写入的是从channel中过来的events)下沉到HDFS文件 系统 中， rollSize表示一旦.tmp文件达到一定的size后，就下沉到HDFS文件 系统 中，rollCount表示.tmp文件一旦写入了指定数量的events就下沉到HDFS文件系统中。

       使用Flume拉取到HDFS中的文件格式错乱
       这是因为HDFS Sink的配置中，hdfs.writeFormat属性默认为“Writable”会将原先的文件的内容序列化成HDFS的格式，应该手动设置成hdfs.writeFormat=“text”; 并且hdfs.fileType默认是“SequenceFile”类型的，是将所有event拼成一行，应该该手动设置成hdfs.fileType=“DataStream”，这样就可以是一行一个event，与原文件格式保持一致

使用Mapreduce清洗日志文件
当把日志文件中的数据拉取到HDFS文件系统后，使用Mapreduce程序去进行日志清洗
第一步，先用Mapreduce过滤掉无效的数据
[plain] view plain copy
  1. package com.guludada.clickstream;  
  2.   
  3. import java.io.IOException;  
  4. import java.text.SimpleDateFormat;  
  5. import java.util.Date;  
  6. import java.util.StringTokenizer;  
  7. import java.util.regex.Matcher;  
  8. import java.util.regex.Pattern;  
  9.   
  10. import org.apache.hadoop.conf.Configuration;  
  11. import org.apache.hadoop.fs.Path;  
  12. import org.apache.hadoop.io.IntWritable;  
  13. import org.apache.hadoop.io.NullWritable;  
  14. import org.apache.hadoop.io.Text;  
  15. import org.apache.hadoop.mapreduce.Job;  
  16. import org.apache.hadoop.mapreduce.Mapper;  
  17. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  18. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  19.   
  20. import com.guludada.dataparser.WebLogParser;  
  21.   
  22.   
  23. public class logClean  {  
  24.       
  25.     public static class cleanMap extends Mapper {  
  26.           
  27.         private NullWritable v = NullWritable.get();  
  28.         private Text word = new Text();  
  29.         WebLogParser webLogParser = new WebLogParser();  
  30.           
  31.         public void map(Object key,Text value,Context context) {  
  32.                       
  33.             //将一行内容转成string  
  34.              String line = value.toString();  
  35.               
  36.              String cleanContent = webLogParser.parser(line);  
  37.               
  38.              if(cleanContent != "") {         
  39.                 word.set(cleanContent);  
  40.                 try {  
  41.                     context.write(word,v);  
  42.                 } catch (IOException e) {  
  43.                     // TODO Auto-generated catch block  
  44.                     e.printStackTrace();  
  45.                 } catch (InterruptedException e) {  
  46.                     // TODO Auto-generated catch block  
  47.                     e.printStackTrace();  
  48.                 }  
  49.             }             
  50.         }  
  51.     }  
  52.       
  53.     public static void main(String[] args) throws Exception {  
  54.           
  55.         Configuration conf = new Configuration();  
  56.       
  57.         conf.set("fs.defaultFS", "hdfs://ymhHadoop:9000");  
  58.           
  59.         Job job = Job.getInstance(conf);  
  60.                   
  61.         job.setJarByClass(logClean.class);  
  62.           
  63.         //指定本业务job要使用的mapper/Reducer业务类  
  64.         job.setMapperClass(cleanMap.class);  
  65.                   
  66.         //指定mapper输出数据的kv类型  
  67.         job.setMapOutputKeyClass(Text.class);  
  68.         job.setMapOutputValueClass(NullWritable.class);  
  69.               
  70.         //指定job的输入原始文件所在目录  
  71.         Date curDate = new Date();  
  72.         SimpleDateFormat sdf = new SimpleDateFormat("yy-MM-dd");  
  73.         String dateStr = sdf.format(curDate);  
  74.         FileInputFormat.setInputPaths(job, new Path("/flume/events/" + dateStr + "/*/*"));  
  75.   
  76.         //指定job的输出结果所在目录  
  77.         FileOutputFormat.setOutputPath(job, new Path("/clickstream/cleandata/"+dateStr+"/"));  
  78.           
  79.         //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行  
  80.         boolean res = job.waitForCompletion(true);  
  81.         System.exit(res?0:1);  
  82.           
  83.      }  
  84.   
  85. }  

[plain] view plain copy
  1. package com.guludada.dataparser;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.regex.Matcher;  
  5. import java.util.regex.Pattern;  
  6.   
  7. import com.guludada.javabean.WebLogBean;  
  8. /**  
  9. *   用正则表达式匹配出合法的日志记录  
  10. *  
  11. *  
  12. */  
  13. public class WebLogParser {  
  14.       
  15.    public String parser(String weblog_origin) {  
  16.           
  17.      WebLogBean weblogbean = new WebLogBean();  
  18.           
  19.         // 获取IP地址  
  20.     Pattern IPPattern = Pattern.compile("\\d+.\\d+.\\d+.\\d+");  
  21.         Matcher IPMatcher = IPPattern.matcher(weblog_origin);  
  22.     if(IPMatcher.find()) {  
  23.        String IPAddr = IPMatcher.group(0);  
  24.        weblogbean.setIP_addr(IPAddr);  
  25.         } else {  
  26.        return ""  
  27.         }  
  28.      // 获取时间信息  
  29.      Pattern TimePattern = Pattern.compile("\\[(.+)\\]");  
  30.      Matcher TimeMatcher = TimePattern.matcher(weblog_origin);  
  31.      if(TimeMatcher.find()) {  
  32.        String time = TimeMatcher.group(1);  
  33.        String[] cleanTime = time.split(" ");  
  34.        weblogbean.setTime(cleanTime[0]);  
  35.      } else {  
  36.        return "";  
  37.      }  
  38.           
  39.         //获取其余请求信息  
  40.      Pattern InfoPattern = Pattern.compile(  
  41.          "(\\\"[POST|GET].+?\\\") (\\d+) (\\d+).+?(\\\".+?\\\") (\\\".+?\\\")");  
  42.   
  43.      Matcher InfoMatcher = InfoPattern.matcher(weblog_origin);  
  44.      if(InfoMatcher.find()) {  
  45.               
  46.        String requestInfo = InfoMatcher.group(1).replace('\"',' ').trim();  
  47.        String[] requestInfoArry = requestInfo.split(" ");  
  48.        weblogbean.setMethod(requestInfoArry[0]);  
  49.        weblogbean.setRequest_URL(requestInfoArry[1]);  
  50.        weblogbean.setRequest_protocol(requestInfoArry[2]);  
  51.        String status_code = InfoMatcher.group(2);  
  52.        weblogbean.setRespond_code(status_code);  
  53.               
  54.        String respond_data = InfoMatcher.group(3);  
  55.        weblogbean.setRespond_data(respond_data);  
  56.               
  57.        String request_come_from = InfoMatcher.group(4).replace('\"',' ').trim();  
  58.        weblogbean.setRequst_come_from(request_come_from);  
  59.               
  60.        String browserInfo = InfoMatcher.group(5).replace('\"',' ').trim();  
  61.        weblogbean.setBrowser(browserInfo);  
  62.     } else {  
  63.        return "";  
  64.     }  
  65.           
  66.         return weblogbean.toString();  
  67.    }  
  68.           
  69. }  
[plain] view plain copy
  1. package com.guludada.javabean;  
  2.   
  3. public class WebLogBean {  
  4.       
  5.     String IP_addr;  
  6.     String time;  
  7.     String method;  
  8.     String request_URL;  
  9.     String request_protocol;  
  10.     String respond_code;  
  11.     String respond_data;  
  12.     String requst_come_from;  
  13.     String browser;  
  14.     public String getIP_addr() {  
  15.         return IP_addr;  
  16.     }  
  17.     public void setIP_addr(String iP_addr) {  
  18.         IP_addr = iP_addr;  
  19.     }  
  20.     public String getTime() {  
  21.         return time;  
  22.     }  
  23.     public void setTime(String time) {  
  24.         this.time = time;  
  25.     }  
  26.     public String getMethod() {  
  27.         return method;  
  28.     }  
  29.     public void setMethod(String method) {  
  30.         this.method = method;  
  31.     }  
  32.     public String getRequest_URL() {  
  33.         return request_URL;  
  34.     }  
  35.     public void setRequest_URL(String request_URL) {  
  36.         this.request_URL = request_URL;  
  37.     }  
  38.     public String getRequest_protocol() {  
  39.         return request_protocol;  
  40.     }  
  41.     public void setRequest_protocol(String request_protocol) {  
  42.         this.request_protocol = request_protocol;  
  43.     }  
  44.     public String getRespond_code() {  
  45.         return respond_code;  
  46.     }  
  47.     public void setRespond_code(String respond_code) {  
  48.         this.respond_code = respond_code;  
  49.     }  
  50.     public String getRespond_data() {  
  51.         return respond_data;  
  52.     }  
  53.     public void setRespond_data(String respond_data) {  
  54.         this.respond_data = respond_data;  
  55.     }  
  56.     public String getRequst_come_from() {  
  57.         return requst_come_from;  
  58.     }  
  59.     public void setRequst_come_from(String requst_come_from) {  
  60.         this.requst_come_from = requst_come_from;  
  61.     }  
  62.     public String getBrowser() {  
  63.         return browser;  
  64.     }  
  65.     public void setBrowser(String browser) {  
  66.         this.browser = browser;  
  67.     }  
  68.     @Override  
  69.     public String toString() {  
  70.         return IP_addr + " " + time + " " + method + " "  
  71.                 + request_URL + " " + request_protocol + " " + respond_code  
  72.                 + " " + respond_data + " " + requst_come_from + " " + browser;  
  73.     }  
  74.       
  75.       
  76. }  

第一次日记清洗后的记录如下图：
 
离线数据分析--实战_第3张图片

第二步，根据访问记录生成相应的Session 信息记录，假设Session的过期时间是30分钟
[plain] view plain copy
  1. package com.guludada.clickstream;  
  2.   
  3. import java.io.IOException;  
  4. import java.text.ParseException;  
  5. import java.text.SimpleDateFormat;  
  6. import java.util.ArrayList;  
  7. import java.util.Collections;  
  8. import java.util.Comparator;  
  9. import java.util.Date;  
  10. import java.util.HashMap;  
  11. import java.util.Locale;  
  12. import java.util.UUID;  
  13.   
  14. import org.apache.hadoop.conf.Configuration;  
  15. import org.apache.hadoop.fs.Path;  
  16. import org.apache.hadoop.io.IntWritable;  
  17. import org.apache.hadoop.io.NullWritable;  
  18. import org.apache.hadoop.io.Text;  
  19. import org.apache.hadoop.mapreduce.Job;  
  20. import org.apache.hadoop.mapreduce.Mapper;  
  21. import org.apache.hadoop.mapreduce.Reducer;  
  22. import org.apache.hadoop.mapreduce.Mapper.Context;  
  23. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  24. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  25.   
  26. import com.guludada.clickstream.logClean.cleanMap;  
  27. import com.guludada.dataparser.SessionParser;  
  28. import com.guludada.dataparser.WebLogParser;  
  29. import com.guludada.javabean.WebLogSessionBean;  
  30.   
  31. public class logSession {  
  32.       
  33.     public static class sessionMapper extends Mapper {  
  34.           
  35.         private Text IPAddr = new Text();  
  36.         private Text content = new Text();  
  37.         private NullWritable v = NullWritable.get();  
  38.         WebLogParser webLogParser = new WebLogParser();  
  39.           
  40.         public void map(Object key,Text value,Context context) {  
  41.                           
  42.             //将一行内容转成string  
  43.             String line = value.toString();  
  44.               
  45.             String[] weblogArry = line.split(" ");  
  46.                   
  47.             IPAddr.set(weblogArry[0]);  
  48.             content.set(line);  
  49.             try {  
  50.                 context.write(IPAddr,content);  
  51.             } catch (IOException e) {  
  52.                 // TODO Auto-generated catch block  
  53.                 e.printStackTrace();  
  54.             } catch (InterruptedException e) {  
  55.                 // TODO Auto-generated catch block  
  56.                 e.printStackTrace();  
  57.             }             
  58.         }  
  59.     }  
  60.   
  61.     static class sessionReducer extends Reducer{  
  62.           
  63.         private Text IPAddr = new Text();  
  64.         private Text content = new Text();  
  65.         private NullWritable v = NullWritable.get();  
  66.         WebLogParser webLogParser = new WebLogParser();  
  67.         SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  68.         SessionParser sessionParser = new SessionParser();  
  69.           
  70.         @Override  
  71.         protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {  
  72.               
  73.             Date sessionStartTime = null;  
  74.             String sessionID = UUID.randomUUID().toString();  
  75.               
  76.                           
  77.             //将IP地址所对应的用户的所有浏览记录按时间排序  
  78.             ArrayList sessionBeanGroup  = new ArrayList();  
  79.             for(Text browseHistory : values) {  
  80.                 WebLogSessionBean sessionBean = sessionParser.loadBean(browseHistory.toString());  
  81.                 sessionBeanGroup.add(sessionBean);  
  82.             }  
  83.             Collections.sort(sessionBeanGroup,new Comparator() {  
  84.   
  85.                 public int compare(WebLogSessionBean sessionBean1, WebLogSessionBean sessionBean2) {                      
  86.                     Date date1 = sessionBean1.getTimeWithDateFormat();  
  87.                     Date date2 = sessionBean2.getTimeWithDateFormat();  
  88.                     if(date1 == null && date2 == null) return 0;  
  89.                     return date1.compareTo(date2);  
  90.                 }  
  91.             });  
  92.               
  93.             for(WebLogSessionBean sessionBean : sessionBeanGroup) {  
  94.                   
  95.                 if(sessionStartTime == null) {  
  96.                     //当天日志中某用户第一次访问网站的时间  
  97.                     sessionStartTime = timeTransform(sessionBean.getTime());  
  98.                     content.set(sessionParser.parser(sessionBean, sessionID));  
  99.                     try {  
  100.                         context.write(content,v);  
  101.                     } catch (IOException e) {  
  102.                         // TODO Auto-generated catch block  
  103.                         e.printStackTrace();  
  104.                     } catch (InterruptedException e) {  
  105.                         // TODO Auto-generated catch block  
  106.                         e.printStackTrace();  
  107.                     }  
  108.                       
  109.                 } else {  
  110.                       
  111.                     Date sessionEndTime = timeTransform(sessionBean.getTime());  
  112.                     long sessionStayTime = timeDiffer(sessionStartTime,sessionEndTime);  
  113.                     if(sessionStayTime > 30 * 60 * 1000) {                         
  114.                         //将当前浏览记录的时间设为下一个session的开始时间  
  115.                         sessionStartTime = timeTransform(sessionBean.getTime());  
  116.                         sessionID = UUID.randomUUID().toString();                                                 
  117.                         continue;  
  118.                     }   
  119.                     content.set(sessionParser.parser(sessionBean, sessionID));                        
  120.                     try {  
  121.                         context.write(content,v);  
  122.                     } catch (IOException e) {  
  123.                         // TODO Auto-generated catch block  
  124.                         e.printStackTrace();  
  125.                     } catch (InterruptedException e) {  
  126.                         // TODO Auto-generated catch block  
  127.                         e.printStackTrace();  
  128.                     }  
  129.                 }                 
  130.             }  
  131.         }  
  132.           
  133.         private Date timeTransform(String time) {  
  134.               
  135.             Date standard_time = null;  
  136.             try {  
  137.                 standard_time = sdf.parse(time);  
  138.             } catch (ParseException e) {  
  139.                 // TODO Auto-generated catch block  
  140.                 e.printStackTrace();  
  141.             }  
  142.             return standard_time;  
  143.         }  
  144.           
  145.         private long timeDiffer(Date start_time,Date end_time) {  
  146.               
  147.             long diffTime = 0;  
  148.             diffTime = end_time.getTime() - start_time.getTime();  
  149.               
  150.             return diffTime;  
  151.         }  
  152.           
  153.     }  
  154.       
  155.       
  156.     public static void main(String[] args) throws Exception {  
  157.           
  158.         Configuration conf = new Configuration();  
  159.       
  160.         conf.set("fs.defaultFS", "hdfs://ymhHadoop:9000");  
  161.                           
  162.         Job job = Job.getInstance(conf);  
  163.                   
  164.         job.setJarByClass(logClean.class);  
  165.           
  166.         //指定本业务job要使用的mapper/Reducer业务类  
  167.         job.setMapperClass(sessionMapper.class);  
  168.         job.setReducerClass(sessionReducer.class);  
  169.                   
  170.         //指定mapper输出数据的kv类型  
  171.         job.setMapOutputKeyClass(Text.class);  
  172.         job.setMapOutputValueClass(Text.class);  
  173.           
  174.         //指定最终输出的数据的kv类型  
  175.         job.setOutputKeyClass(Text.class);  
  176.         job.setOutputValueClass(NullWritable.class);  
  177.           
  178.         Date curDate = new Date();  
  179.         SimpleDateFormat sdf = new SimpleDateFormat("yy-MM-dd");  
  180.         String dateStr = sdf.format(curDate);  
  181.           
  182.         //指定job的输入原始文件所在目录  
  183.         FileInputFormat.setInputPaths(job, new Path("/clickstream/cleandata/"+dateStr+"/*"));  
  184.         //指定job的输出结果所在目录  
  185.         FileOutputFormat.setOutputPath(job, new Path("/clickstream/sessiondata/"+dateStr+"/"));  
  186.           
  187.         //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行  
  188.           
  189.         boolean res = job.waitForCompletion(true);  
  190.         System.exit(res?0:1);  
  191.           
  192.     }  
  193. }  
[plain] view plain copy
  1. package com.guludada.dataparser;  
  2.   
  3. import java.text.ParseException;  
  4. import java.text.SimpleDateFormat;  
  5. import java.util.Date;  
  6. import java.util.Locale;  
  7.   
  8. import com.guludada.javabean.WebLogSessionBean;  
  9.   
  10. public class SessionParser {  
  11.       
  12.     SimpleDateFormat sdf_origin = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss",Locale.ENGLISH);  
  13.     SimpleDateFormat sdf_final = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  14.       
  15.     public String parser(WebLogSessionBean sessionBean,String sessionID) {  
  16.                   
  17.         sessionBean.setSession(sessionID);        
  18.         return sessionBean.toString();  
  19.     }  
  20.       
  21.     public WebLogSessionBean loadBean(String sessionContent) {  
  22.           
  23.         WebLogSessionBean weblogSession = new WebLogSessionBean();  
  24.               
  25.         String[] contents = sessionContent.split(" ");  
  26.         weblogSession.setTime(timeTransform(contents[1]));  
  27.         weblogSession.setIP_addr(contents[0]);  
  28.         weblogSession.setRequest_URL(contents[3]);  
  29.         weblogSession.setReferal(contents[7]);  
  30.               
  31.         return weblogSession;  
  32.     }  
  33.       
  34.     private String timeTransform(String time) {  
  35.                   
  36.         Date standard_time = null;  
  37.         try {  
  38.             standard_time = sdf_origin.parse(time);  
  39.         } catch (ParseException e) {  
  40.             // TODO Auto-generated catch block  
  41.             e.printStackTrace();  
  42.         }  
  43.         return sdf_final.format(standard_time);  
  44.     }  
  45. }  
[plain] view plain copy
  1. package com.guludada.javabean;  
  2.   
  3. import java.text.ParseException;  
  4. import java.text.SimpleDateFormat;  
  5. import java.util.Date;  
  6.   
  7. public class WebLogSessionBean {  
  8.       
  9.     String time;  
  10.     String IP_addr;  
  11.     String session;  
  12.     String request_URL;  
  13.     String referal;  
  14.       
  15.       
  16.     public String getTime() {  
  17.         return time;  
  18.     }  
  19.     public void setTime(String time) {  
  20.         this.time = time;  
  21.     }  
  22.     public String getIP_addr() {  
  23.         return IP_addr;  
  24.     }  
  25.     public void setIP_addr(String iP_addr) {  
  26.         IP_addr = iP_addr;  
  27.     }  
  28.     public String getSession() {  
  29.         return session;  
  30.     }  
  31.     public void setSession(String session) {  
  32.         this.session = session;  
  33.     }  
  34.     public String getRequest_URL() {  
  35.         return request_URL;  
  36.     }  
  37.     public void setRequest_URL(String request_URL) {  
  38.         this.request_URL = request_URL;  
  39.     }  
  40.     public String getReferal() {  
  41.         return referal;  
  42.     }  
  43.     public void setReferal(String referal) {  
  44.         this.referal = referal;  
  45.     }  
  46.       
  47.     public Date getTimeWithDateFormat() {  
  48.           
  49.         SimpleDateFormat sdf_final = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  50.         if(this.time != null && this.time != "") {  
  51.             try {  
  52.                 return sdf_final.parse(this.time);  
  53.             } catch (ParseException e) {  
  54.                 // TODO Auto-generated catch block  
  55.                 e.printStackTrace();  
  56.             }  
  57.         }  
  58.         return null;  
  59.     }  
  60.       
  61.     @Override  
  62.     public String toString() {  
  63.         return time + " " + IP_addr + " " + session + " "  
  64.                 + request_URL + " " + referal;  
  65.     }  
  66.       
  67.       
  68.       
  69. }  

第二次清理出来的Session信息结构如下：
时间 IP SessionID 请求页面URL Referal URL
2015-05-30 19:38:00 192.168.12.130 Session1 /blog/me www.baidu.com
2015-05-30 19:39:00 192.168.12.130 Session1 /blog/me/details www.mysite.com/blog/me
2015-05-30 19:38:00 192.168.12.40 Session2 /blog/me www.baidu.com

离线数据分析--实战_第4张图片

第三步，清洗第二步生成的Session信息，生成PageViews信息表
[plain] view plain copy
  1. package com.guludada.clickstream;  
  2.   
  3. import java.io.IOException;  
  4. import java.text.ParseException;  
  5. import java.text.SimpleDateFormat;  
  6. import java.util.ArrayList;  
  7. import java.util.Collections;  
  8. import java.util.Comparator;  
  9. import java.util.Date;  
  10. import java.util.HashMap;  
  11. import java.util.Locale;  
  12. import java.util.Map;  
  13.   
  14. import org.apache.hadoop.conf.Configuration;  
  15. import org.apache.hadoop.fs.Path;  
  16. import org.apache.hadoop.io.NullWritable;  
  17. import org.apache.hadoop.io.Text;  
  18. import org.apache.hadoop.mapreduce.Job;  
  19. import org.apache.hadoop.mapreduce.Mapper;  
  20. import org.apache.hadoop.mapreduce.Reducer;  
  21. import org.apache.hadoop.mapreduce.Mapper.Context;  
  22. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  23. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  24.   
  25. import com.guludada.clickstream.logClean.cleanMap;  
  26. import com.guludada.clickstream.logSession.sessionMapper;  
  27. import com.guludada.clickstream.logSession.sessionReducer;  
  28. import com.guludada.dataparser.PageViewsParser;  
  29. import com.guludada.dataparser.SessionParser;  
  30. import com.guludada.dataparser.WebLogParser;  
  31. import com.guludada.javabean.PageViewsBean;  
  32. import com.guludada.javabean.WebLogSessionBean;  
  33.   
  34. public class PageViews {  
  35.       
  36.     public static class pageMapper extends Mapper {  
  37.               
  38.             private Text word = new Text();  
  39.               
  40.             public void map(Object key,Text value,Context context) {  
  41.                                   
  42.                 String line = value.toString();  
  43.                 String[] webLogContents = line.split(" ");  
  44.                   
  45.                 //根据session来分组  
  46.                 word.set(webLogContents[2]);  
  47.                     try {  
  48.                         context.write(word,value);  
  49.                     } catch (IOException e) {  
  50.                         // TODO Auto-generated catch block  
  51.                         e.printStackTrace();  
  52.                     } catch (InterruptedException e) {  
  53.                         // TODO Auto-generated catch block  
  54.                         e.printStackTrace();  
  55.                     }                         
  56.             }  
  57.         }  
  58.   
  59.     public static class pageReducer extends Reducer{  
  60.       
  61.         private Text session = new Text();  
  62.         private Text content = new Text();  
  63.         private NullWritable v = NullWritable.get();  
  64.         PageViewsParser pageViewsParser = new PageViewsParser();  
  65.         SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  66.         //上一条记录的访问信息  
  67.         PageViewsBean lastStayPageBean = null;  
  68.         Date lastVisitTime = null;  
  69.       
  70.         @Override  
  71.         protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {  
  72.               
  73.             //将session所对应的所有浏览记录按时间排序  
  74.             ArrayList pageViewsBeanGroup  = new ArrayList();  
  75.             for(Text pageView : values) {  
  76.                 PageViewsBean pageViewsBean = pageViewsParser.loadBean(pageView.toString());  
  77.                 pageViewsBeanGroup.add(pageViewsBean);  
  78.             }  
  79.             Collections.sort(pageViewsBeanGroup,new Comparator() {  
  80.   
  81.                 public int compare(PageViewsBean pageViewsBean1, PageViewsBean pageViewsBean2) {                      
  82.                     Date date1 = pageViewsBean1.getTimeWithDateFormat();  
  83.                     Date date2 = pageViewsBean2.getTimeWithDateFormat();  
  84.                     if(date1 == null && date2 == null) return 0;  
  85.                     return date1.compareTo(date2);  
  86.                 }  
  87.             });  
  88.               
  89.             //计算每个页面的停留时间  
  90.             int step = 0;  
  91.             for(PageViewsBean pageViewsBean : pageViewsBeanGroup) {  
  92.                   
  93.                 Date curVisitTime = pageViewsBean.getTimeWithDateFormat();  
  94.                   
  95.                 if(lastStayPageBean != null) {    
  96.                     //计算前后两次访问记录相差的时间，单位是秒  
  97.                     Integer timeDiff = (int) ((curVisitTime.getTime() - lastVisitTime.getTime())/1000);                       
  98.                     //根据当前记录的访问信息更新上一条访问记录中访问的页面的停留时间  
  99.                     lastStayPageBean.setStayTime(timeDiff.toString());  
  100.                 }  
  101.                   
  102.                 //更新访问记录的步数  
  103.                 step++;  
  104.                 pageViewsBean.setStep(step+"");  
  105.                 //更新上一条访问记录的停留时间后，将当前访问记录设定为上一条访问信息记录  
  106.                 lastStayPageBean = pageViewsBean;  
  107.                 lastVisitTime = curVisitTime;     
  108.                   
  109.                 //输出pageViews信息  
  110.                 content.set(pageViewsParser.parser(pageViewsBean));                       
  111.                 try {  
  112.                     context.write(content,v);  
  113.                 } catch (IOException e) {  
  114.                     // TODO Auto-generated catch block  
  115.                     e.printStackTrace();  
  116.                 } catch (InterruptedException e) {  
  117.                     // TODO Auto-generated catch block  
  118.                     e.printStackTrace();  
  119.                 }  
  120.             }             
  121.     }     
  122. }  
  123.       
  124.     public static void main(String[] args) throws Exception {  
  125.           
  126.         Configuration conf = new Configuration();  
  127.           
  128.         conf.set("fs.defaultFS", "hdfs://ymhHadoop:9000");  
  129.                           
  130.         Job job = Job.getInstance(conf);  
  131.                   
  132.         job.setJarByClass(PageViews.class);  
  133.           
  134.         //指定本业务job要使用的mapper/Reducer业务类  
  135.         job.setMapperClass(pageMapper.class);  
  136.         job.setReducerClass(pageReducer.class);  
  137.                   
  138.         //指定mapper输出数据的kv类型  
  139.         job.setMapOutputKeyClass(Text.class);  
  140.         job.setMapOutputValueClass(Text.class);  
  141.           
  142.         //指定最终输出的数据的kv类型  
  143.         job.setOutputKeyClass(Text.class);  
  144.         job.setOutputValueClass(NullWritable.class);  
  145.           
  146.         Date curDate = new Date();  
  147.         SimpleDateFormat sdf = new SimpleDateFormat("yy-MM-dd");  
  148.         String dateStr = sdf.format(curDate);  
  149.           
  150.         //指定job的输入原始文件所在目录  
  151.         FileInputFormat.setInputPaths(job, new Path("/clickstream/sessiondata/"+dateStr+"/*"));  
  152.         //指定job的输出结果所在目录  
  153.         FileOutputFormat.setOutputPath(job, new Path("/clickstream/pageviews/"+dateStr+"/"));  
  154.           
  155.         //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行  
  156.           
  157.         boolean res = job.waitForCompletion(true);  
  158.         System.exit(res?0:1);  
  159.           
  160.     }  
  161. }  
[plain] view plain copy
  1. package com.guludada.dataparser;  
  2.   
  3. import com.guludada.javabean.PageViewsBean;  
  4. import com.guludada.javabean.WebLogSessionBean;  
  5.   
  6. public class PageViewsParser {  
  7.     /**  
  8.      * 根据logSession的输出数据加载PageViewsBean  
  9.      *   
  10.      * */  
  11.     public PageViewsBean loadBean(String sessionContent) {  
  12.           
  13.         PageViewsBean pageViewsBean = new PageViewsBean();  
  14.               
  15.         String[] contents = sessionContent.split(" ");  
  16.         pageViewsBean.setTime(contents[0] + " " + contents[1]);  
  17.         pageViewsBean.setIP_addr(contents[2]);  
  18.         pageViewsBean.setSession(contents[3]);  
  19.         pageViewsBean.setVisit_URL(contents[4]);  
  20.         pageViewsBean.setStayTime("0");  
  21.         pageViewsBean.setStep("0");  
  22.                       
  23.         return pageViewsBean;  
  24.     }  
  25.       
  26.     public String parser(PageViewsBean pageBean) {  
  27.           
  28.         return pageBean.toString();  
  29.     }  
  30.   
  31. }  
[plain] view plain copy
  1. package com.guludada.javabean;  
  2.   
  3. import java.text.ParseException;  
  4. import java.text.SimpleDateFormat;  
  5. import java.util.Date;  
  6.   
  7. public class PageViewsBean {  
  8.       
  9.     String session;  
  10.     String IP_addr;  
  11.     String time;  
  12.     String visit_URL;  
  13.     String stayTime;  
  14.     String step;  
  15.     public String getSession() {  
  16.         return session;  
  17.     }  
  18.     public void setSession(String session) {  
  19.         this.session = session;  
  20.     }  
  21.     public String getIP_addr() {  
  22.         return IP_addr;  
  23.     }  
  24.     public void setIP_addr(String iP_addr) {  
  25.         IP_addr = iP_addr;  
  26.     }  
  27.     public String getTime() {  
  28.         return time;  
  29.     }  
  30.     public void setTime(String time) {  
  31.         this.time = time;  
  32.     }  
  33.     public String getVisit_URL() {  
  34.         return visit_URL;  
  35.     }  
  36.     public void setVisit_URL(String visit_URL) {  
  37.         this.visit_URL = visit_URL;  
  38.     }  
  39.     public String getStayTime() {  
  40.         return stayTime;  
  41.     }  
  42.     public void setStayTime(String stayTime) {  
  43.         this.stayTime = stayTime;  
  44.     }  
  45.     public String getStep() {  
  46.         return step;  
  47.     }  
  48.     public void setStep(String step) {  
  49.         this.step = step;  
  50.     }  
  51.       
  52.     public Date getTimeWithDateFormat() {  
  53.           
  54.         SimpleDateFormat sdf_final = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  55.         if(this.time != null && this.time != "") {  
  56.             try {  
  57.                 return sdf_final.parse(this.time);  
  58.             } catch (ParseException e) {  
  59.                 // TODO Auto-generated catch block  
  60.                 e.printStackTrace();  
  61.             }  
  62.         }  
  63.         return null;  
  64.     }  
  65.       
  66.     @Override  
  67.     public String toString() {  
  68.         return session + " " + IP_addr + " " + time + " "  
  69.                 + visit_URL + " " + stayTime + " " + step;  
  70.     }  
  71.           
  72. }  
第三次日志清洗产生的PageViews数据结构如下图：
SessionID IP 访问时间 访问页面 停留时间 第几步
Session1 192.168.12.130 2016-05-30 15:17:30 /blog/me 30000 1
Session1 192.168.12.130 2016-05-30 15:18:00 /blog/me/admin 30000 2
Session1 192.168.12.130 2016-05-30 15:18:30 /home 30000 3
Session2 192.168.12.150 2016-05-30 15:16:30 /products 30000 1
Session2 192.168.12.150 2016-05-30 15:17:00 /products/details 30000 2

离线数据分析--实战_第5张图片

第四步，再次清洗Session日志，并生成Visits信息表
[plain] view plain copy
  1. package com.guludada.clickstream;  
  2.   
  3. import java.io.IOException;  
  4. import java.text.ParseException;  
  5. import java.text.SimpleDateFormat;  
  6. import java.util.ArrayList;  
  7. import java.util.Collections;  
  8. import java.util.Comparator;  
  9. import java.util.Date;  
  10. import java.util.HashMap;  
  11. import java.util.Map;  
  12.   
  13. import org.apache.hadoop.conf.Configuration;  
  14. import org.apache.hadoop.fs.Path;  
  15. import org.apache.hadoop.io.NullWritable;  
  16. import org.apache.hadoop.io.Text;  
  17. import org.apache.hadoop.mapreduce.Job;  
  18. import org.apache.hadoop.mapreduce.Mapper;  
  19. import org.apache.hadoop.mapreduce.Reducer;  
  20. import org.apache.hadoop.mapreduce.Reducer.Context;  
  21. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  22. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  23.   
  24. import com.guludada.clickstream.PageViews.pageMapper;  
  25. import com.guludada.clickstream.PageViews.pageReducer;  
  26. import com.guludada.clickstream.logClean.cleanMap;  
  27. import com.guludada.dataparser.PageViewsParser;  
  28. import com.guludada.dataparser.VisitsInfoParser;  
  29. import com.guludada.javabean.PageViewsBean;  
  30.   
  31. public class VisitsInfo {  
  32.       
  33.     public static class visitMapper extends Mapper {  
  34.           
  35.         private Text word = new Text();  
  36.           
  37.         public void map(Object key,Text value,Context context) {  
  38.                               
  39.             String line = value.toString();  
  40.             String[] webLogContents = line.split(" ");  
  41.               
  42.             //根据session来分组  
  43.             word.set(webLogContents[2]);  
  44.                 try {  
  45.                     context.write(word,value);  
  46.                 } catch (IOException e) {  
  47.                     // TODO Auto-generated catch block  
  48.                     e.printStackTrace();  
  49.                 } catch (InterruptedException e) {  
  50.                     // TODO Auto-generated catch block  
  51.                     e.printStackTrace();  
  52.                 }                         
  53.         }  
  54.     }  
  55.   
  56.     public static class visitReducer extends Reducer{  
  57.       
  58.         private Text content = new Text();  
  59.         private NullWritable v = NullWritable.get();  
  60.         VisitsInfoParser visitsParser = new VisitsInfoParser();  
  61.         SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  62.         PageViewsParser pageViewsParser = new PageViewsParser();  
  63.         Map viewedPagesMap = new HashMap();  
  64.           
  65.         String entry_URL = "";  
  66.         String leave_URL = "";  
  67.         int total_visit_pages = 0;  
  68.       
  69.         @Override  
  70.         protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {  
  71.               
  72.             //将session所对应的所有浏览记录按时间排序  
  73.             ArrayList browseInfoGroup  = new ArrayList();  
  74.             for(Text browseInfo : values) {  
  75.                 browseInfoGroup.add(browseInfo.toString());  
  76.             }  
  77.             Collections.sort(browseInfoGroup,new Comparator() {  
  78.                   
  79.                 SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  80.                 public int compare(String browseInfo1, String browseInfo2) {  
  81.                     String dateStr1 = browseInfo1.split(" ")[0] + " " + browseInfo1.split(" ")[1];  
  82.                     String dateStr2 = browseInfo2.split(" ")[0] + " " + browseInfo2.split(" ")[1];  
  83.                     Date date1;  
  84.                     Date date2;  
  85.                     try {  
  86.                         date1 = sdf.parse(dateStr1);  
  87.                         date2 = sdf.parse(dateStr2);                       
  88.                         if(date1 == null && date2 == null) return 0;  
  89.                         return date1.compareTo(date2);  
  90.                     } catch (ParseException e) {  
  91.                         // TODO Auto-generated catch block  
  92.                         e.printStackTrace();  
  93.                         return 0;  
  94.                     }  
  95.                 }  
  96.             });  
  97.               
  98.             //统计该session访问的总页面数,第一次进入的页面，跳出的页面            
  99.             for(String browseInfo : browseInfoGroup) {  
  100.                   
  101.                 String[] browseInfoStrArr = browseInfo.split(" ");                
  102.                 String curVisitURL = browseInfoStrArr[3];  
  103.                 Integer curVisitURLInteger = viewedPagesMap.get(curVisitURL);  
  104.                 if(curVisitURLInteger == null) {  
  105.                     viewedPagesMap.put(curVisitURL, 1);  
  106.                 }     
  107.             }  
  108.             total_visit_pages = viewedPagesMap.size();  
  109.             String visitsInfo = visitsParser.parser(browseInfoGroup, total_visit_pages+"");   
  110.             content.set(visitsInfo);  
  111.             try {  
  112.                 context.write(content,v);  
  113.             } catch (IOException e) {  
  114.                 // TODO Auto-generated catch block  
  115.                 e.printStackTrace();  
  116.             } catch (InterruptedException e) {  
  117.                 // TODO Auto-generated catch block  
  118.                 e.printStackTrace();  
  119.             }  
  120.         }     
  121.     }  
  122.       
  123.     public static void main(String[] args) throws Exception {  
  124.           
  125.         Configuration conf = new Configuration();  
  126.           
  127.         conf.set("fs.defaultFS", "hdfs://ymhHadoop:9000");  
  128.                           
  129.         Job job = Job.getInstance(conf);  
  130.                           
  131.         job.setJarByClass(VisitsInfo.class);  
  132.           
  133.         //指定本业务job要使用的mapper/Reducer业务类  
  134.         job.setMapperClass(visitMapper.class);  
  135.         job.setReducerClass(visitReducer.class);  
  136.                   
  137.         //指定mapper输出数据的kv类型  
  138.         job.setMapOutputKeyClass(Text.class);  
  139.         job.setMapOutputValueClass(Text.class);  
  140.           
  141.         //指定最终输出的数据的kv类型  
  142.         job.setOutputKeyClass(Text.class);  
  143.         job.setOutputValueClass(NullWritable.class);  
  144.           
  145.         Date curDate = new Date();  
  146.         SimpleDateFormat sdf = new SimpleDateFormat("yy-MM-dd");  
  147.         String dateStr = sdf.format(curDate);  
  148.           
  149.         //指定job的输入原始文件所在目录  
  150.         FileInputFormat.setInputPaths(job, new Path("/clickstream/sessiondata/"+dateStr+"/*"));  
  151.         //指定job的输出结果所在目录  
  152.         FileOutputFormat.setOutputPath(job, new Path("/clickstream/visitsinfo"+dateStr+"/"));  
  153.           
  154.         //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行  
  155.           
  156.         boolean res = job.waitForCompletion(true);  
  157.         System.exit(res?0:1);  
  158.           
  159.     }  
  160. }  

[plain] view plain copy
  1. package com.guludada.dataparser;  
  2.   
  3. import java.util.ArrayList;  
  4.   
  5. import com.guludada.javabean.PageViewsBean;  
  6. import com.guludada.javabean.VisitsInfoBean;  
  7. import com.guludada.javabean.WebLogSessionBean;  
  8.   
  9. public class VisitsInfoParser {  
  10.       
  11.     public String parser(ArrayList pageViewsGroup,String totalVisitNum) {  
  12.           
  13.         VisitsInfoBean visitsBean = new VisitsInfoBean();  
  14.         String entryPage = pageViewsGroup.get(0).split(" ")[4];  
  15.         String leavePage = pageViewsGroup.get(pageViewsGroup.size()-1).split(" ")[4];  
  16.         String startTime = pageViewsGroup.get(0).split(" ")[0] + " " + pageViewsGroup.get(0).split(" ")[1];  
  17.         String endTime = pageViewsGroup.get(pageViewsGroup.size()-1).split(" ")[0] +   
  18.                     " " +pageViewsGroup.get(pageViewsGroup.size()-1).split(" ")[1];  
  19.         String session = pageViewsGroup.get(0).split(" ")[3];  
  20.         String IP = pageViewsGroup.get(0).split(" ")[2];  
  21.         String referal = pageViewsGroup.get(0).split(" ")[5];  
  22.           
  23.         visitsBean.setSession(session);  
  24.         visitsBean.setStart_time(startTime);  
  25.         visitsBean.setEnd_time(endTime);  
  26.         visitsBean.setEntry_page(entryPage);  
  27.         visitsBean.setLeave_page(leavePage);  
  28.         visitsBean.setVisit_page_num(totalVisitNum);  
  29.         visitsBean.setIP_addr(IP);  
  30.         visitsBean.setReferal(referal);  
  31.           
  32.         return visitsBean.toString();  
  33.     }  
  34. }  

[plain] view plain copy
  1. package com.guludada.javabean;  
  2.   
  3. import java.text.ParseException;  
  4. import java.text.SimpleDateFormat;  
  5. import java.util.Date;  
  6.   
  7. public class VisitsInfoBean {  
  8.       
  9.     String session;  
  10.     String start_time;  
  11.     String end_time;  
  12.     String entry_page;  
  13.     String leave_page;  
  14.     String visit_page_num;  
  15.     String IP_addr;  
  16.     String referal;  
  17.       
  18.     public String getSession() {  
  19.         return session;  
  20.     }  
  21.     public void setSession(String session) {  
  22.         this.session = session;  
  23.     }  
  24.     public String getStart_time() {  
  25.         return start_time;  
  26.     }  
  27.     public void setStart_time(String start_time) {  
  28.         this.start_time = start_time;  
  29.     }  
  30.     public String getEnd_time() {  
  31.         return end_time;  
  32.     }  
  33.     public void setEnd_time(String end_time) {  
  34.         this.end_time = end_time;  
  35.     }  
  36.     public String getEntry_page() {  
  37.         return entry_page;  
  38.     }  
  39.     public void setEntry_page(String entry_page) {  
  40.         this.entry_page = entry_page;  
  41.     }  
  42.     public String getLeave_page() {  
  43.         return leave_page;  
  44.     }  
  45.     public void setLeave_page(String leave_page) {  
  46.         this.leave_page = leave_page;  
  47.     }  
  48.     public String getVisit_page_num() {  
  49.         return visit_page_num;  
  50.     }  
  51.     public void setVisit_page_num(String visit_page_num) {  
  52.         this.visit_page_num = visit_page_num;  
  53.     }  
  54.     public String getIP_addr() {  
  55.         return IP_addr;  
  56.     }  
  57.     public void setIP_addr(String iP_addr) {  
  58.         IP_addr = iP_addr;  
  59.     }  
  60.     public String getReferal() {  
  61.         return referal;  
  62.     }  
  63.     public void setReferal(String referal) {  
  64.         this.referal = referal;  
  65.     }  
  66.       
  67.     @Override  
  68.     public String toString() {  
  69.         return session + " " + start_time + " " + end_time  
  70.                 + " " + entry_page + " " + leave_page + " " + visit_page_num  
  71.                 + " " + IP_addr + " " + referal;  
  72.     }  
  73.       
  74.       
  75.           
  76. }  

第四次清洗日志产生的访问记录表结构如下图：
SessionID 访问时间 离开时间 第一次访问页面 最后一次访问的页面

访问的页面总数		 IP

Referal
Session1 2016-05-30 15:17:00 2016-05-30 15:19:00 /blog/me /blog/others 5 192.168.12.130 www.baidu.com
Session2 2016-05-30 14:17:00 2016-05-30 15:19:38 /home /profile 10 192.168.12.140 www.178.com
Session3 2016-05-30 12:17:00 2016-05-30 15:40:00 /products /detail 6 192.168.12.150 www.78dm.net

离线数据分析--实战_第6张图片

      以上就是要进行日志清洗的所有MapReduce程序，因为只是一个简单的演示，方法并没有做很好的抽象。

    MapReduce Troubleshooting
      指定某个文件夹路径下所有文件作为mapreduce的输入参数的解决方案。
      1.hdfs的文件系统中的路径是支持正则表达式的    
       2.使用.setInputDirRecursive(job,true)方法，然后指定文件夹路径
     
        在分布式环境下如何设置每个用户的SessionID
        可以使用UUID,UUID是分布式环境下唯一的元素识别码，它由日期和时间，时钟序列，机器识别码(一般为网卡MAC地址)三部分组成。这样就保证了每个用户的SessionID的唯一性。


HIVE建立数据仓库
  使用MapReduce清洗完日志文件后，我们就开始使用Hive去构建对应的数据仓库并使用HiveSql对数据进行分析。而在本系统里，我们将使用星型模型来构建数据仓库的ODS(OperationalData Store)层。下面的命令我们可以通过启动Hive的hiveserver2服务器并使用beeline客户端进行操作或者直接写脚本去定时调度。

     PageViews数据分析

     PageViews的事实表和维度表结构
     离线数据分析--实战_第7张图片

    使用HIVE在数据仓库中创建PageViews的贴源数据表：
     >> create table pageviews(session string,ip string,requestdate string,requesttime string,visitpage string, staytime string,step string) comment ‘this is the table for pageviews’ partitioned by(inputDate string) clustered by(session) sorted by(requestdate,requesttime) into 4 buckets row format delimited fields terminated by ‘ ’;

    将HDFS中的数据导入到HIVE的PageViews贴源数据表中
      >> load data inpath ‘/clickstream/pageviews’ overwrite into table pageviews partition(inputDate=‘2016-05-17’);
如果没有标示是在’Local‘本地文件系统中，则会去HDFS中加载数据

    根据具体的业务分析逻辑创建ODS层的PageViews事实表，并从PageViews的贴源表中导入数据

    这里根据请求的页面URL来分组(clustered)是为了方便统计每个页面的PV
     >> create table ods_pageviews(session string,ip string,viewtime string,visitpage string, staytime string,step string) partitioned by(inputDate string) clustered by(visitpage) sorted by(viewtime) into 4 buckets row format delimited fields terminated by ‘ ’;

     >> insert into table ods_pageviews partition(inputDate='2016-05-17') select pv.session,pv.ip,concat(pv.requestdate,"-",pv.requesttime),pv.visitpage,pv.staytime,pv.step from pageviews as pv where pv.inputDate='2016-05-17';

    创建PageViews事实表的时间维度表并从当天的事实表里导入数据

     >>create table ods_dim_pageviews_time(time string,year string,month string,day string,hour string,minutes string,seconds string) partitioned by(inputDate String) clustered by(year,month,day) sorted by(time) into 4 buckets row format delimited fields terminated by ' ';

    >> insert overwrite table ods_dim_pageviews_time partition(inputDate='2016-05-17') select distinct pv.viewtime, substring(pv.viewtime,0,4),substring(pv.viewtime,6,2),substring(pv.viewtime,9,2),substring(pv.viewtime,12,2),substring(pv.viewtime,15,2),substring(pv.viewtime,18,2) from ods_pageviews as pv;

    创建PageViews事实表的URL维度表并从当天的事实表里导入数据
     >> create table ods_dim_pageviews_url(visitpage string,host string,path string,query string) partitioned by(inputDate string) clustered by(visitpage) sorted by(visitpage) into 4 buckets row format delimited fields terminated by ' ';

    >> insert into table ods_dim_pageviews_url partition(inputDate='2016-05-17') select distinct pv.visitpage,b.host,b.path,b.query from pageviews pv lateral view parse_url_tuple(concat('https://localhost',pv.visitpage),'HOST','PATH','QUERY') b as host,path,query;

    查询每天PV总数前20的页面
     >> select op.visitpage as path,count(*) as num from ods_pageviews as op join ods_dim_pageviews_url as opurl on (op.visitpage = opurl.visitpage) join ods_dim_pageviews_time as optime on (optime.time = op.viewtime) where optime.year='2013' and optime.month='09' and optime.day='19' group by op.visitpage sort by num desc limit 20;

   运行结果:
离线数据分析--实战_第8张图片

   Visits数据分析
   页面具体访问记录Visits的事实表和维度表结构
   离线数据分析--实战_第9张图片
    使用HIVE在数据仓库中创建Visits信息的贴源数据表：
     >> create table visitsinfo(session string,startdate string,starttime string,enddate string,endtime string,entrypage string,leavepage string,viewpagenum string,ip string,referal string) partitioned by(inputDate string) clustered by(session) sorted by(startdate,starttime) into 4 buckets row format delimited fields terminated by ' ';

    将HDFS中的数据导入到HIVE的Visits信息贴源数据表中
     >> load data inpath '/clickstream/visitsinfo' overwrite into table visitsinfo partition(inputDate='2016-05-18');

离线数据分析--实战_第10张图片

    根据具体的业务分析逻辑创建ODS层的Visits事实表，并从visitsinfo的贴源表中导入数据
    >> create table ods_visits(session string,entrytime string,leavetime string,entrypage string,leavepage string,viewpagenum string,ip string,referal string) partitioned by(inputDate string) clustered by(session) sorted by(entrytime) into 4 buckets row format delimited fields terminated by ' ';

    >> insert into table ods_visits partition(inputDate='2016-05-18') select vi.session,concat(vi.startdate,"-",vi.starttime),concat(vi.enddate,"-",vi.endtime),vi.entrypage,vi.leavepage,vi.viewpagenum,vi.ip,vi.referal from visitsinfo as vi where vi.inputDate='2016-05-18';

   创建Visits事实表的时间维度表并从当天的事实表里导入数据

    >>create table ods_dim_visits_time(time string,year string,month string,day string,hour string,minutes string,seconds string) partitioned by(inputDate String) clustered by(year,month,day) sorted by(time) into 4 buckets row format delimited fields terminated by ' ';

   将“访问时间”和“离开时间”两列的值合并后再放入时间维度表中，减少数据的冗余
>>insert overwrite table ods_dim_visits_time partition(inputDate='2016-05-18') select distinct ov.timeparam, substring(ov.timeparam,0,4),substring(ov.timeparam,6,2),substring(ov.timeparam,9,2),substring(ov.timeparam,12,2),substring(ov.timeparam,15,2),substring(ov.timeparam,18,2) from (select ov1.entrytime as timeparam from ods_visits as ov1 union select ov2.leavetime as timeparam from ods_visits as ov2) as ov;
  
   离线数据分析--实战_第11张图片

    创建visits事实表的URL维度表并从当天的事实表里导入数据
     >> create table ods_dim_visits_url(pageurl string,host string,path string,query string) partitioned by(inputDate string) clustered by(pageurl) sorted by(pageurl) into 4 buckets row format delimited fields terminated by ' ';

    将每个session的进入页面和离开页面的URL合并后存入到URL维度表中
     >>insert into table ods_dim_visits_url partition(inputDate='2016-05-18') select distinct ov.pageurl,b.host,b.path,b.query from (select ov1.entrypage as pageurl from ods_visits as ov1 union select ov2.leavepage as pageurl from ods_visits as ov2 ) as ov lateral view parse_url_tuple(concat('https://localhost',ov.pageurl),'HOST','PATH','QUERY') b as host,path,query;

   将每个session从哪个外站进入当前网站的信息存入到URL维度表中
     >>insert into table ods_dim_visits_url partition(inputDate='2016-05-18') select distinct ov.referal,b.host,b.path,b.query from ods_visits as ov lateral view parse_url_tuple(ov.referal,'HOST','PATH','QUERY') b as host,path,query;

      离线数据分析--实战_第12张图片
     统计每个页面的跳出人数(事实上真正有价值的统计应该是统计页面的跳出率,但为了简单示范,作者在这里简化成统计跳出人数)
     >> select ov.leavepage as jumpPage, count(*) as jumpNum  from ods_visits as ov group by ov.leavepage order by jumpNum desc;

     离线数据分析--实战_第13张图片

    业务页面转换率分析(漏斗模型)
    Hive在创建表的时候无法实现某个字段自增长的关键字，得使用自定义函数(user-defined function)UDF来实现相应的功能。在查询的时候可以使用row_number()来显示行数，不过必须要在complete mode下才能使用，所以可以使用row_number() 函数配合开窗函数over()，具体示例如下。 为简单起见，这里我们创建一个临时表，并手动在里面插入要查看的业务页面链接以及该页面的PV总数，通过这几个参数来计算业务页面之间的转换率，也就是所谓的漏斗模型。
假设我们有“/index” -> “/detail” -> “/createOrder” ->”/confirmOrder” 这一业务页面转化流程

   首先我们要创建业务页面的PV的临时信息表，临时表和里面的数据会在session结束的时候清理掉
   >> create temporary table transactionpageviews(url string,views int) row format delimited fields terminated by ' ';

   先统计业务页面的总PV然后按转换步骤顺序插入每个页面的PV信息到transactionpageviews表中
    >> insert into table transactionpageviews select opurl.path as path,count(*) as num from ods_pageviews as op join ods_dim_pageviews_url as opurl on (op.visitpage = opurl.visitpage) join ods_dim_pageviews_time as optime on (optime.time = op.viewtime) where optime.year='2013' and optime.month='09' and optime.day='19' and opurl.path='/index' group by opurl.path;

   >> insert into table transactionpageviews select opurl.path as path,count(*) as num from ods_pageviews as op join ods_dim_pageviews_url as opurl on (op.visitpage = opurl.visitpage) join ods_dim_pageviews_time as optime on (optime.time = op.viewtime) where optime.year='2013' and optime.month='09' and optime.day='19' and opurl.path='/detail' group by opurl.path;

  >> insert into table transactionpageviews select opurl.path as path,count(*) as num from ods_pageviews as op join ods_dim_pageviews_url as opurl on (op.visitpage = opurl.visitpage) join ods_dim_pageviews_time as optime on (optime.time = op.viewtime) where optime.year='2013' and optime.month='09' and optime.day='19' and opurl.path='/createOrder' group by opurl.path;

  >> insert into table transactionpageviews select opurl.path as path,count(*) as num from ods_pageviews as op join ods_dim_pageviews_url as opurl on (op.visitpage = opurl.visitpage) join ods_dim_pageviews_time as optime on (optime.time = op.viewtime) where optime.year='2013' and optime.month='09' and optime.day='19' and opurl.path='/confirmOrder' group by opurl.path;

  计算业务页面之间的转换率
   >> select row_number() over() as rownum,a.url as url, a.views as pageViews,b.views as lastPageViews,a.views/b.views as transferRation from (select row_number() over() as rownum,views,url from transactionpageviews) as a left join (select row_number() over() as rownum,views,url from transactionpageviews) as b on (a.rownum = b.rownum-1 );

   离线数据分析--实战_第14张图片


Shell脚本+Crontab定时器执行任务调度
    执行initialEnv.sh脚本初始化系统环境，为了简单测试，作者只启动了单台服务器，下面的脚本是建立在Hadoop的standalone单节点模式，并且Hive也装在Hadoop服务器上
[plain] view plain copy
  1. #!/bin/bash  
  2.   
  3. export HADOOP_HOME=/home/ymh/apps/hadoop-2.6.4  
  4.   
  5. #start hdfs  
  6. /home/ymh/apps/hadoop-2.6.4/sbin/start-dfs.sh  
  7.   
  8. #start yarn  
  9. if [[ 0 == $? ]]  
  10. then  
  11. /home/ymh/apps/hadoop-2.6.4/sbin/start-yarn.sh  
  12. fi  
  13.   
  14. #start flume  
  15. #if [[ 0 == $? ]]  
  16. #then  
  17. #start flume  
  18. #$nohup ~/apache-flume-1.6.0-bin/bin/flume-ng agent -n agent -c conf -f ~/apache-flume-1.6.0-bin/conf/flume-conf.properties &  
  19. #fi  
  20.   
  21. #start mysql  
  22. if [ 0 = $? ]  
  23. then  
  24. service mysqld start  
  25. fi  
  26.   
  27. #start HIVE SERVER  
  28. if [ 0 = $? ]  
  29. then  
  30. $nohup /apps/apache-hive-1.2.1-bin/bin/hiveserver2 &  
  31. fi  

     执行dataAnalyseTask.sh脚本，先启动MapReduce程序去清洗当日的日志信息，随后使用Hive去构建当日的ODS数据。需要注意的是，本脚本是建立在ODS层中事实表和维度表已经创建完毕的基础上去执行，所以脚本中不会有创建事实表和维度表的HIVE语句（创建语句见上一个章节的内容），并且为了节省篇幅，只列出了PageViews数据分析的脚本部分。
[plain] view plain copy
  1. #!/bin/bash  
  2.   
  3. CURDATE=$(date +%y-%m-%d)  
  4. CURDATEHIVE=$(date +%Y-%m-%d)  
  5.   
  6. /home/ymh/apps/hadoop-2.6.4/bin/hdfs dfs -df /flume/events/$CURDATE  
  7.   
  8. if [[ 1 -ne $? ]]  
  9. then  
  10. /home/ymh/apps/hadoop-2.6.4/bin/hadoop jar /export/data/mydata/clickstream.jar com.guludada.clickstream.logClean  
  11. fi  
  12.   
  13. if [[ 1 -ne $? ]]  
  14. then  
  15. /home/ymh/apps/hadoop-2.6.4/bin/hadoop jar /export/data/mydata/clickstream.jar com.guludada.clickstream.logSession  
  16. fi  
  17.   
  18. if [[ 1 -ne $? ]]  
  19. then  
  20. /home/ymh/apps/hadoop-2.6.4/bin/hadoop jar /export/data/mydata/clickstream.jar com.guludada.clickstream.PageViews  
  21. fi  
  22.   
  23. #Load today's data  
  24. if [[ 1 -ne $? ]]  
  25. then  
  26. /home/ymh/apps/hadoop-2.6.4/bin/hdfs dfs -chmod 777 /clickstream/pageviews/$CURDATE/   
  27. echo "load data inpath '/clickstream/pageviews/$CURDATE/' into table pageviews partition(inputDate='$CURDATEHIVE');" | /apps/apache-hive-1.2.1-bin/bin/beeline -u jdbc:hive2://localhost:10000  
  28. fi  
  29.   
  30. #Create fact table and its dimension tables  
  31. if [[ 1 -ne $? ]]  
  32. then  
  33. echo "insert into table ods_pageviews partition(inputDate='$CURDATEHIVE') select pv.session,pv.ip,concat(pv.requestdate,'-',pv.requesttime) as viewtime,pv.visitpage,pv.staytime,pv.step from pageviews as pv where pv.inputDate='$CURDATEHIVE';" | /apps/apache-hive-1.2.1-bin/bin/beeline -u jdbc:hive2://localhost:10000  
  34. fi  
  35.   
  36. if [[ 1 -ne $? ]]  
  37. then  
  38. echo "insert into table ods_dim_pageviews_time partition(inputDate='$CURDATEHIVE') select distinct pv.viewtime, substring(pv.viewtime,0,4),substring(pv.viewtime,6,2),substring(pv.viewtime,9,2),substring(pv.viewtime,12,2),substring(pv.viewtime,15,2),substring(pv.viewtime,18,2) from ods_pageviews as pv;" | /apps/apache-hive-1.2.1-bin/bin/beeline -u jdbc:hive2://localhost:10000  
  39. fi  
  40.   
  41. if [[ 1 -ne $? ]]  
  42. then  
  43. echo "insert into table ods_dim_pageviews_url partition(inputDate='$CURDATEHIVE') select distinct pv.visitpage,b.host,b.path,b.query from pageviews pv lateral view parse_url_tuple(concat('https://localhost',pv.visitpage),'HOST','PATH','QUERY') b as host,path,query;" | /apps/apache-hive-1.2.1-bin/bin/beeline -u jdbc:hive2://localhost:10000  
  44. fi  
  45.   

       创建crontab文件，指定每天的凌晨01点整执行dataAnalyseTask.sh脚本，该脚本执行“使用MapReduce清理日志文件”和“使用HiveSql构建分析ODS层数据”两项任务，并将用户自定义的crontab文件加入到定时器中
[plain] view plain copy
  1. $vi root_crontab_hadoop  
  2. $echo "0 1 * * * /myShells/dataAnalyseTask.sh" >> root_crontab_hadoop  
  3. $crontab root_crontab_hadoop  

      至此，使用Hadoop进行离线计算的简单架构和示例已经全部阐述完毕，而关于如何使用Sqoop将Hive中的数据导入Mysql中，因为篇幅有限，这里就不展开了。作者刚开始接触分布式离线计算，文章中尚有许多不足的地方，欢迎大家提出宝贵意见并做进一步交流。这篇文章的初衷是作者对自己最近所学知识的一个总结，同时也为了和大家分享所学到的东西，希望对大家有帮助，谢谢阅读！

你可能感兴趣的:(离线数据分析--实战)

  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • springboot+vue项目实战一-创建SpringBoot简单项目 苹果酱0567 面试题汇总与解析springboot后端java中间件开发语言
    这段时间抽空给女朋友搭建一个个人博客，想着记录一下建站的过程，就当做笔记吧。虽然复制zjblog只要一个小时就可以搞定一个网站，或者用cms系统，三四个小时就可以做出一个前后台都有的网站，而且想做成啥样也都行。但是就是要从新做，自己做的意义不一样，更何况，俺就是专门干这个的，嘿嘿嘿要做一个网站，而且从零开始，首先呢就是技术选型了，经过一番思量决定选择-SpringBoot做后端，前端使用Vue做一
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • GenVisR 基因组数据可视化实战(三) 11的雾
    3.genCov画每个突变位点附件的coverage，跟igv有点相似。这个操作起来很复杂，但是图还是挺有用的。可以考虑。由于我的referencegenomebuild是hg38BiocManager::install(c("TxDb.Hsapiens.UCSC.hg38.knownGene","BSgenome.Hsapiens.UCSC.hg38"))library(TxDb.Hsapien
  • Python数据分析与可视化 jun778895 python数据分析开发语言
    Python数据分析与可视化是一个涉及数据处理、分析和以图形化方式展示数据的过程，它对于数据科学家、分析师以及任何需要从数据中提取洞察力的专业人员来说至关重要。以下将详细探讨Python在数据分析与可视化方面的应用，包括常用的库、数据处理流程、可视化技巧以及实际应用案例。一、Python数据分析与可视化的重要性数据可视化是将数据以图形或图像的形式表示出来，以便人们能够更直观地理解数据背后的信息和规
  • python爬取微信小程序数据,python爬取小程序数据 2301_81900439 前端
    大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
  • HarmonyOS开发实战（ Beta5.0）搜索框热搜词自动切换 让开，我要吃人了 OpenHarmonyHarmonyOS鸿蒙开发harmonyos华为鸿蒙移动开发鸿蒙系统前端开发语言
    鸿蒙HarmonyOS开发往期必看：HarmonyOSNEXT应用开发性能实践总结最新版！“非常详细的”鸿蒙HarmonyOSNext应用开发学习路线！（从零基础入门到精通）介绍本示例介绍使用TextInput组件与Swiper组件实现搜索框内热搜词自动切换。效果图预览使用说明页面顶部搜索框内热搜词条自动切换，编辑搜索框时自动隐藏。实现思路使用TextInput实现搜索框TextInput({te
  • 鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构nginx服务器
    最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
  • 【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八） 向往风的男子 k8s学习kubernetes容器
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
  • 阿里巴巴商品搜索API返回值实战解析 weixin_43841111 apijava前端javascript
    在解析阿里巴巴中国站商品搜索API返回值并进行实战时，可以从以下几个方面入手：一、了解API返回值的结构基本信息返回值通常包含商品的标题、价格、库存、图片链接等基本信息。这些信息对于了解商品的概况非常重要。例如，商品标题可以让你快速了解商品的名称和特点，价格信息可以帮助你进行价格比较和成本核算。详细描述可能包括商品的详细描述、规格参数、使用方法等。这些信息对于深入了解商品的特性和功能非常有帮助。比
  • 李笑来 6 你到底有没有资本+7什么是落后 盛大米
    6你到底有没有资本摘要不能够心平气和地被判上无期徒刑的资本，就别假装资本混迹江湖了。投资知识，经验，智慧，几乎只能从实战中获得————书上写的，牛人讲的，都跟你没关系，因为只有那些东西在你骨子里生根之后再发芽且不夭折而后还要等上很久才会茁壮甚至茂盛。。。。直接将年收入的10%-20%判死刑是最简单，最直接，最粗暴最有效的操作方式。投资，尤其是“好的投资”，一定是“舍我其谁”的活动。关于资本的思考，
  • 基于JavaWeb开发的Java+SpringMvc+vue+element实现上海汽车博物馆平台 网顺技术团队 成品程序项目javavue.js汽车课程设计springboot
    基于JavaWeb开发的Java+SpringMvc+vue+element实现上海汽车博物馆平台作者主页网顺技术团队欢迎点赞收藏⭐留言文末获取源码联系方式查看下方微信号获取联系方式承接各种定制系统精彩系列推荐精彩专栏推荐订阅不然下次找不到哟Java毕设项目精品实战案例《1000套》感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人文章目录基
  • 跟剽悍一只猫学习收获之成为领域专家 财务自由的社群运营人苏宝
    001找到这个领域内权威的书籍。002按照书的脉络（章节目录）记录书中的重要内容（对自己认知系统造成冲击的，以前没有学过的，觉得有用的，暂时还不太理解的）记录下来。003读完第一遍以后，接着读第二遍。这一遍记录书里对你有用的方法论，并尝试依据这些方法论实战。004再读一遍，这一遍记录尝试梳理整个书的认知框架和内在逻辑。005之后，可以多朗读几遍全书。你会发现，你对这些知识的理解会越来越全面，越有深
  • Python OpenCV图像处理：从基础到高级的全方位指南 极客代码 玩转Python开发语言pythonopencv图像处理计算机视觉
    目录第一部分：PythonOpenCV图像处理基础1.1OpenCV简介1.2PythonOpenCV安装1.3实战案例：图像显示与保存1.4注意事项第二部分：PythonOpenCV图像处理高级技巧2.1图像变换2.2图像增强2.3图像复原第三部分：PythonOpenCV图像处理实战项目3.1图像滤波3.2图像分割3.3图像特征提取第四部分：PythonOpenCV图像处理注意事项与优化策略4
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • talib的python库安装 jesonwz python开发语言
    talib的python库安装反正用清华源装不上发现talib的指标好多，想着用用，结果在python里装不上，清华源里提示找不到。也难怪，这个库上网查了一下，最新一次更新是在2013年，太老了。废话不说，上我的解决办法。解决方法步骤（靠谱的）思路：既然在线装不上，就用离线的1.下载对应python版本的talib的whl版本安装文件，链接在这：https://blog.csdn.net/FL16
  • 增长黑客和最小可复制的内核 爱思考的糖
    五段-增长黑客的三大步骤生活就像逆水行舟，加入你不能加速，现实中最好的情况，你也就处在一种原地打转的状况。增长，就像一辆车里的加速器。围棋爱好者，水平一直没有进步的原因。是因为没有找到提高下棋水平的增长模式有三个办法可以提高：做死活题，练习做关键决策的能力；打谱，复盘经典案例；找AI陪练。增长黑客的三个实战步骤：第一步，假设：建立最小闭环。从笨办法开始，不怕犯错，代价并不高，你可以勇敢尝试。想知道
  • python读写CSV文件 bcbobo21cn .Netpython开发语言机器学习CSV
    做数据分析，有时候要分析的数据在CSV文件里；先看一下python读写CSV文件；importpandasaspddf=pd.read_csv('test1.csv')print(df)print('')print(df.head(2))companyname=["A1","B2","E3","F4"]legperson=["lier","yanqi","wangwu","zhangsan"]le
  • 复盘 赵建庄
    行动后反思，AAR（AfterActionReview），是知识管理的一种工具，起源于美国陆军的作战方法，强调在每次行动后进行及时反思、总结和改进。《复盘》一书其实就是这种方法的具体应用，名字不同，然而实质相同。相比AAR这样的说法，复盘更简洁，容易被国人接受，而且，书中给出了非常详细的步骤，有较强的指导意义和实战性，AAR的六步法，说的比较简单，有人可以悟，结合实际业务演变出各种变化，大多数人可
  • 题解 | #完全数计算#不知道为什么没超时的暴力解法 huaxinjiayou java
    兄弟们，坚持就是胜利啊，找工作从去年秋招就开始找，到五月底才收到第一个offer星环的，然后六月初t咋六月了还有面试啊，有兄弟了解这个部门吗面完了家人们，纯纯kpi啊，上来就是一道题是打印多个字符串的华为接头人话术指南：欲投华为，必看此贴!引流华为招聘提前批【奖】这个夏天，和牛牛一起打卡刷题~Java面试实战项目25届本科找暑期实习的历程飞猪旅行运营岗面经百度视觉算法一面面经感谢牛友们，腾子pcg
  • 软件测试/测试开发/全日制 |利用Django REST framework构建微服务 霍格沃兹-慕漓 django微服务sqlite
    霍格沃兹测试开发学社推出了《Python全栈开发与自动化测试班》。本课程面向开发人员、测试人员与运维人员，课程内容涵盖Python编程语言、人工智能应用、数据分析、自动化办公、平台开发、UI自动化测试、接口测试、性能测试等方向。为大家提供更全面、更深入、更系统化的学习体验，课程还增加了名企私教服务内容，不仅有名企经理为你1v1辅导，还有行业专家进行技术指导，针对性地解决学习、工作中遇到的难题。让找
  • 在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
    JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他