sqlBoy_

【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

数据仓库设计

维度建模概述

维度建模 (dimensional modeling) 是专门用于分析型数据库、数据仓库、数据集市建模（数据集市可以理解为是一种"小型数据仓库"）的方法。
维度表 (dimension) 就是对数据按类别、区域等各个角度进行分析，比如有一个实例：今天下午白某在星巴克花40元喝了一杯星冰乐。以消费为主题对这段信息可以提取四个维度：时间维度 （今天下午）、地点维度 （星巴克）、价格维度 （40元）、商品维度 （星冰乐）。所以一般情况下维度表信息比较固定，且数据量小。
事实表 (fact table) 包含了与各维度表相关联的外键，并通过JOIN方式与维度表关联。事实表的度量通常是数值类型，且记录数会不断增加，表规模迅速增长。
数据仓库的主导功能是面向分析，以查询为主，不涉及数据更新操作，所以不需要严格遵守规范化设计原则。事实表的设计是以能够正确记录历史信息为准则，维度表的设计是以能够以合适的角度来聚合主题内容为准则。
维度建模的三种模式

1.星型模式

星型模式 (Star Schema) 是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样，是最常用的维度建模方式。
特点：
1.维度表只和事实表关联，维度表之间没有关联
2.每个维度表主键为单列，且该主键放置在事实表中，作为两边连接的外键
3.以事实表为核心，维表围绕核心呈星形分布

2.雪花模式

雪花模式 (Snowflake Schema) 是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的，虽然这种模型相比星型更规范一些，但是由于这种模型不太容易理解，维护成本比较高，而且性能方面需要关联多层维表，性能也比星型模型要低。所以一般不是很常用。

3.星座模式

星座模式是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。在业务发展后期，绝大部分维度建模都采用的是星座模式。
本项目中数据仓库的设计

为了方便统计，将time_local拆分为daystr,timestr,month,day,hour五个字段，将http_referer拆分为ref_host,ref_path,ref_query,ref_query_id四个字段

ETL开发

创建ODS层数据表

原始日志数据表

create database weblog;

create table ods_weblog_origin(
valid string,
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
http_referer string,
http_user_agent string)
partitioned by (datestr string)
row format delimited
fields terminated by '\001';

点击流模型pageviews表

create table ods_click_pageviews(
session string,
remote_addr string,
remote_user string,
time_local string,
request string,
visit_step string,
page_staylong string,
http_referer string,
http_user_agent string,
body_bytes_sent string,
status string)
partitioned by (datestr string)
row format delimited
fields terminated by '\001';

点击流模型visit表

create table ods_click_stream_visit(
session     string,
remote_addr string,
inTime      string,
outTime     string,
inPage      string,
outPage     string,
referal     string,
pageVisits  int)
partitioned by (datestr string)
row format delimited
fields terminated by '\001';

导入ODS层数据

导入清洗结果数据到贴源数据表ods_weblog_origin

LOAD DATA LOCAL inpath '/export/servers/weblog/weblogout' overwrite INTO TABLE ods_weblog_origin PARTITION ( datestr = '20130918' );

导入点击流模型pageviews数据到ods_click_pageviews表

LOAD DATA LOCAL inpath '/export/servers/weblog/pageView' overwrite INTO TABLE ods_click_pageviews PARTITION ( datestr = '20130918' );

导入点击流模型visit数据到ods_click_stream_visit表
```
LOAD DATA LOCAL inpath '/export/servers/weblog/visit' overwrite INTO TABLE ods_click_stream_visit PARTITION ( datestr = '20130918' );
```
生产环境中应该将数据load命令写在脚本中，然后配置在azkaban定时运行，注意运行的时间点，应该在预处理数据完成之后。

生成ODS层明细宽表

建明细表ods_weblog_detail

CREATE TABLE ods_weblog_detail(
valid           string, --有效标识
remote_addr     string, --来源IP
remote_user     string, --用户标识
time_local      string, --访问完整时间
daystr          string, --访问日期
timestr         string, --访问时间
month           string, --访问月
day             string, --访问日
hour            string, --访问时
request         string, --请求的url
status          string, --响应码
body_bytes_sent string, --传输字节数
http_referer    string, --来源url
ref_host        string, --来源的host
ref_path        string, --来源的路径
ref_query       string, --来源参数query
ref_query_id    string, --来源参数query的值
http_user_agent string --客户终端标识
)
partitioned BY ( datestr string );

通过查询插入数据到明细宽表 ods_weblog_detail中

抽取refer_url到中间表 t_ods_tmp_referurl

CREATE TABLE t_ods_tmp_referurl AS 
SELECT a.*,b.* 
FROM ods_weblog_origin a 
LATERAL VIEW parse_url_tuple (
regexp_replace ( http_referer, "\"", "" ),
'HOST','PATH','QUERY','QUERY:id' ) b 
AS host,path,query,query_id;

lateral view要和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据。

抽取转换time_local字段到中间表明细表 t_ods_tmp_detail

CREATE TABLE t_ods_tmp_detail AS
SELECT b.*,
substring( time_local, 0, 10 ) AS daystr,
substring( time_local, 12 ) AS timestr,
substring( time_local, 6, 2 ) AS month,
substring( time_local, 9, 2 ) AS day,
substring( time_local, 11, 3 ) AS hour 
FROM t_ods_tmp_referurl b;

可以将上面两个合成一个sql语句

INSERT INTO TABLE ods_weblog_detail PARTITION ( datestr = '20130918' )
SELECT c.valid,c.remote_addr,c.remote_user,c.time_local,
substring( c.time_local, 0, 10 ) AS daystr,
substring( c.time_local, 12 ) AS timestr,
substring( c.time_local, 6, 2 ) AS month,
substring( c.time_local, 9, 2 ) AS day,
substring( c.time_local, 11, 3 ) AS hour,
c.request,c.status,c.body_bytes_sent,c.http_referer,c.ref_host,c.ref_path,c.ref_query,c.ref_query_id,c.http_user_agent 
FROM (
SELECT a.valid,a.remote_addr,a.remote_user,a.time_local,a.request,a.status,a.body_bytes_sent,a.http_referer,a.http_user_agent,
b.ref_host,b.ref_path,b.ref_query,b.ref_query_id 
FROM ods_weblog_origin a 
LATERAL VIEW parse_url_tuple ( regexp_replace ( http_referer, "\"", "" ),
'HOST','PATH','QUERY','QUERY:id' ) b 
AS ref_host,ref_path,ref_query,ref_query_id ) c;

不能这么写，会报错

INSERT INTO TABLE ods_weblog_detail PARTITION (datestr='20130918')
SELECT c.*,
substring( c.time_local, 0, 10 ) AS daystr,
substring( c.time_local, 12 ) AS timestr,
substring( c.time_local, 6, 2 ) AS month,
substring( c.time_local, 9, 2 ) AS day,
substring( c.time_local, 11, 3 ) AS hour
FROM (
SELECT a.*,b.* FROM ods_weblog_origin a
LATERAL VIEW parse_url_tuple ( 
regexp_replace ( http_referer, "\"", "" ),'HOST','PATH','QUERY','QUERY:id' ) b
AS ref_host,ref_path,ref_query,ref_query_id ) c;

报错信息：Line 1:18 Cannot insert into target table because column number/types are different ‘‘20130918’’: Table insclause-0 has 18 columns, but query has 19 columns.

统计分析开发

流量分析

统计每小时的PVS（pageView访问量）

创建统计每小时PVS表

CREATE TABLE dw_pvs_everyhour_oneday (
month string,
day string,
hour string,
pvs BIGINT ) 
partitioned BY ( datestr string );

统计每小时的PVS

INSERT INTO TABLE dw_pvs_everyhour_oneday PARTITION (datestr = '20130918')
SELECT a.month AS month, a.day AS day, a.hour AS hour,count(*) AS pvs
FROM ods_weblog_detail a
WHERE a.datestr = '20130918'
GROUP BY a.month,a.day,a.hour;

查询结果

+--------------------------------+------------------------------+-------------------------------+------------------------------+----------------------------------+--+
| dw_pvs_everyhour_oneday.month  | dw_pvs_everyhour_oneday.day  | dw_pvs_everyhour_oneday.hour  | dw_pvs_everyhour_oneday.pvs  | dw_pvs_everyhour_oneday.datestr  |
+--------------------------------+------------------------------+-------------------------------+------------------------------+----------------------------------+--+
| 09                             | 18                           |  06                           | 111                          | 20130918                         |
| 09                             | 18                           |  07                           | 1010                         | 20130918                         |
| 09                             | 18                           |  08                           | 2052                         | 20130918                         |
| 09                             | 18                           |  09                           | 1374                         | 20130918                         |
| 09                             | 18                           |  10                           | 568                          | 20130918                         |
| 09                             | 18                           |  11                           | 571                          | 20130918                         |
| 09                             | 18                           |  12                           | 621                          | 20130918                         |
| 09                             | 18                           |  13                           | 531                          | 20130918                         |
| 09                             | 18                           |  14                           | 514                          | 20130918                         |
| 09                             | 18                           |  15                           | 759                          | 20130918                         |
| 09                             | 18                           |  16                           | 475                          | 20130918                         |
| 09                             | 18                           |  17                           | 382                          | 20130918                         |
| 09                             | 18                           |  18                           | 262                          | 20130918                         |
| 09                             | 18                           |  19                           | 390                          | 20130918                         |
| 09                             | 18                           |  20                           | 211                          | 20130918                         |
| 09                             | 18                           |  21                           | 213                          | 20130918                         |
| 09                             | 18                           |  22                           | 351                          | 20130918                         |
| 09                             | 18                           |  23                           | 382                          | 20130918                         |
| 09                             | 19                           |  00                           | 312                          | 20130918                         |
| 09                             | 19                           |  01                           | 324                          | 20130918                         |
| 09                             | 19                           |  02                           | 546                          | 20130918                         |
| 09                             | 19                           |  03                           | 552                          | 20130918                         |
| 09                             | 19                           |  04                           | 569                          | 20130918                         |
| 09                             | 19                           |  05                           | 540                          | 20130918                         |
| 09                             | 19                           |  06                           | 150                          | 20130918                         |
+--------------------------------+------------------------------+-------------------------------+------------------------------+----------------------------------+--+

统计每天的PVS

创建统计每天PVS的表

CREATE TABLE dw_pvs_everyday (
month string,
day string,
pvs BIGINT ) 
partitioned BY ( datestr string );

统计每天的PVS

INSERT INTO TABLE dw_pvs_everyday PARTITION (datestr = '20130918')
SELECT a.month AS month, a.day AS day,COUNT(*) AS pvs
FROM ods_weblog_detail a
WHERE a.datestr = '20130918'
GROUP BY a.month,a.day;

查询结果

+--------+------+--------+--+
| month  | day  |  pvs   |
+--------+------+--------+--+
| 09     | 18   | 10777  |
| 09     | 19   | 2993   |
+--------+------+--------+--+

统计每小时各来访url产生的pv量

创建表

CREATE TABLE dw_pvs_referer_everyhour (
referer_url string,
referer_host string,
month string,
day string,
hour string,
pv_referer_cnt BIGINT ) 
partitioned BY ( datestr string );

统计每小时各来访url产生的pv量

INSERT INTO TABLE dw_pvs_referer_everyhour
PARTITION (datestr='20130918')
SELECT http_referer,ref_host,month,day,hour,count(1) AS pv_referer_cnt
FROM ods_weblog_detail
GROUP BY http_referer,ref_host,month,day,hour
HAVING ref_host IS NOT NULL
ORDER BY hour asc,day asc,month asc,pv_referer_cnt desc;

查询结果(limit 10)

+--------+------+-------+-------------------+----------------------------------------------------+-----------------+--+
| month  | day  | hour  |   referer_host    |                    referer_url                     | pv_referer_cnt  |
+--------+------+-------+-------------------+----------------------------------------------------+-----------------+--+
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/mongodb-replica-set/"         | 20              |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/vps-ip-dns/"                  | 19              |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/nodejs-grunt-intro/"          | 7               |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/nodejs-socketio-chat/"        | 7               |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/wp-content/themes/silesia/style.css" | 7               |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/nodejs-async/"                | 5               |
| 09     | 18   |  06   | www.angularjs.cn  | "http://www.angularjs.cn/A00n"                     | 2               |
| 09     | 18   |  06   | blog.fens.me      | "http://blog.fens.me/nodejs-express3/"             | 2               |
| 09     | 18   |  06   | www.angularjs.cn  | "http://www.angularjs.cn/"                         | 1               |
| 09     | 18   |  06   | www.google.com    | "http://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=6&cad=rja&ved=0CHIQFjAF&url=http%3A%2F%2Fblog.fens.me%2Fvps-ip-dns%2F&ei=j045UrP5AYX22AXsg4G4DQ&usg=AFQjCNGsJfLMNZnwWXNpTSUl6SOEzfF6tg&sig2=YY1oxEybUL7wx3IrVIMfHA&bvm=bv.52288139,d.b2I" | 1               |
+--------+------+-------+-------------------+----------------------------------------------------+-----------------+--+

统计每小时各来访host的产生的pv数并排序

建表

CREATE TABLE dw_pvs_refererhost_everyhour (
ref_host string,
month string,
day string,
hour string,
ref_host_cnts BIGINT ) 
partitioned BY ( datestr string );

统计每小时各来访host的产生的pv数并排序

INSERT INTO TABLE dw_pvs_refererhost_everyhour
PARTITION ( datestr = '20130918' )
SELECT ref_host,month,day,hour,count(1) AS ref_host_cnts
FROM ods_weblog_detail
GROUP BY ref_host,month,day,hour
HAVING ref_host IS NOT NULL
ORDER BY hour ASC,day ASC,month ASC,ref_host_cnts DESC;

查询结果

+--------+------+-------+--------------------+----------------+--+
| month  | day  | hour  |      ref_host      | ref_host_cnts  |
+--------+------+-------+--------------------+----------------+--+
| 09     | 18   |  06   | blog.fens.me       | 68             |
| 09     | 18   |  06   | www.angularjs.cn   | 3              |
| 09     | 18   |  06   | www.google.com     | 2              |
| 09     | 18   |  06   | www.baidu.com      | 1              |
| 09     | 18   |  06   | cos.name           | 1              |
| 09     | 18   |  07   | blog.fens.me       | 711            |
| 09     | 18   |  07   | www.google.com.hk  | 20             |
| 09     | 18   |  07   | www.angularjs.cn   | 20             |
| 09     | 18   |  07   | www.dataguru.cn    | 10             |
| 09     | 18   |  07   | www.fens.me        | 6              |
+--------+------+-------+--------------------+----------------+--+

统计pv总量最大的来源TOPN

首先需要了解一下hive 中窗口函数的用法
在hive的窗口函数中可以简单了解

统计一天内每小时各来访的host的url的topN

CREATE TABLE dw_pvs_refhost_topn_everyhour(
hour string,
toporder string,
ref_host string,
ref_host_cnts string)
partitioned by (datestr string);

INSERT INTO TABLE dw_pvs_refhost_topn_everyhour PARTITION (datestr = '20130918')
SELECT t.hour,t.od,t.ref_host,t.ref_host_cnts
FROM (
SELECT ref_host,ref_host_cnts,CONCAT(month,day,hour) AS hour,
ROW_NUMBER() over ( PARTITION by CONCAT(month,day,hour) ORDER BY ref_host_cnts DESC) od
FROM dw_pvs_refererhost_everyhour ) t
WHERE od<=3;

人均浏览页数

第一步：先求有多少人，用一个ip地址来代表一个人，那么就是对ip地址去重

SELECT count(DISTINCT(remote_addr)) FROM ods_weblog_detail;

+-------+--+
|  _c0  |
+-------+--+
| 1027  |
+-------+--+

第二步：求浏览页数总数，再用页数总数除以ip去重数

SELECT '20130918',SUM(b.pvs)/COUNT(b.remote_addr)
FROM (
SELECT remote_addr,count(1) AS pvs 
FROM ods_weblog_detail
WHERE datestr = '20130918'
GROUP BY remote_addr ) b;

受访分析

各页面PV（每个页面受到多少次访问）——使用request字段来代表我们访问的页面

SELECT request AS request,COUNT(request) AS request_counts
FROM ods_weblog_detail
GROUP BY request
HAVING request IS NOT NULL
ORDER BY request_counts DESC
LIMIT 20;

+----------------------------------------------------+-----------------+--+
|                      request                       | request_counts  |
+----------------------------------------------------+-----------------+--+
| /                                                  | 3139            |
| /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1 | 361             |
| /wp-includes/js/jquery/jquery.js?ver=1.10.2        | 358             |
| /js/baidu.js                                       | 318             |
| /wp-admin/admin-ajax.php                           | 308             |
| /js/google.js                                      | 308             |
| /wp-content/themes/silesia/js/jquery.cycle.all.min.js | 293             |
| /wp-content/themes/silesia/functions/js/shortcode.js | 290             |
| /wp-content/themes/silesia/js/load.js              | 290             |
| /wp-includes/js/comment-reply.min.js?ver=3.6       | 285             |
| /feed/                                             | 263             |
| /wp-content/themes/silesia/style.css               | 255             |
| /wp-content/themes/silesia/functions/css/shortcodes.css | 254             |
| /wp-content/themes/silesia/images/slide-bg.png     | 238             |
| /wp-content/themes/silesia/images/natty-logo.png   | 238             |
| /wp-content/themes/silesia/images/crubms-div.png   | 238             |
| /wp-content/themes/silesia/images/ico-twitter.png  | 236             |
| /wp-content/themes/silesia/images/home-ico.png     | 236             |
| /wp-content/themes/silesia/images/ico-meta.gif     | 235             |
| /wp-content/themes/silesia/images/sprites/post-type.png | 233             |
+----------------------------------------------------+-----------------+--+

热门页面统计——统计20130918分区里面受访页面的top10

创建热门表

CREATE TABLE dw_hotpages_everyday(
day stirng,
url string,
pvs string);

热门页面统计

INSERT INTO TABLE dw_hotpages_everyday
SELECT '20130918',a.request,a.request_counts
FROM(
SELECT request AS request,COUNT(request) AS request_counts
FROM ods_weblog_detail
WHERE datestr='20130918'
GROUP BY request
HAVING request IS NOT NULL ) a
ORDER BY a.request_counts DESC
LIMIT 10;

+-----------+----------------------------------------------------+-------+--+
|    day    |                        url                         |  pvs  |
+-----------+----------------------------------------------------+-------+--+
| 20130918  | /                                                  | 3139  |
| 20130918  | /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1 | 361   |
| 20130918  | /wp-includes/js/jquery/jquery.js?ver=1.10.2        | 358   |
| 20130918  | /js/baidu.js                                       | 318   |
| 20130918  | /wp-admin/admin-ajax.php                           | 308   |
| 20130918  | /js/google.js                                      | 308   |
| 20130918  | /wp-content/themes/silesia/js/jquery.cycle.all.min.js | 293   |
| 20130918  | /wp-content/themes/silesia/functions/js/shortcode.js | 290   |
| 20130918  | /wp-content/themes/silesia/js/load.js              | 290   |
| 20130918  | /wp-includes/js/comment-reply.min.js?ver=3.6       | 285   |
+-----------+----------------------------------------------------+-------+--+

统计每天最热门页面的Top10

SELECT CONCAT(a.month,a.day),a.month,a.day,a.request,a.request_counts
FROM (
SELECT month,day,request,COUNT(1) AS request_counts
FROM ods_weblog_detail
WHERE datestr = '20130918'
GROUP BY request,month,day
HAVING request IS NOT NULL
ORDER BY request_counts DESC
LIMIT 10 ) a;

+-------+----------+--------+----------------------------------------------------+-------------------+--+
|  _c0  | a.month  | a.day  |                     a.request                      | a.request_counts  |
+-------+----------+--------+----------------------------------------------------+-------------------+--+
| 0918  | 09       | 18     | /                                                  | 2268              |
| 0919  | 09       | 19     | /                                                  | 871               |
| 0918  | 09       | 18     | /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1 | 293               |
| 0918  | 09       | 18     | /wp-includes/js/jquery/jquery.js?ver=1.10.2        | 290               |
| 0918  | 09       | 18     | /js/baidu.js                                       | 269               |
| 0918  | 09       | 18     | /js/google.js                                      | 259               |
| 0918  | 09       | 18     | /wp-content/themes/silesia/js/jquery.cycle.all.min.js | 244               |
| 0918  | 09       | 18     | /wp-content/themes/silesia/js/load.js              | 243               |
| 0918  | 09       | 18     | /wp-content/themes/silesia/functions/js/shortcode.js | 242               |
| 0918  | 09       | 18     | /wp-includes/js/comment-reply.min.js?ver=3.6       | 223               |
+-------+----------+--------+----------------------------------------------------+-------------------+--+

访客分析

独立访客
按照时间维度比如小时来统计独立访客及其产生的pv
对于独立访客的识别，如果在原始日志中有用户标识，则根据用户标识即很好实现;此处，由于原始日志中并没有用户标识，以访客IP来模拟，技术上是一样的，只是精确度相对较低。

统计每小时的独立访客和产生的pv量

建表

CREATE TABLE dw_user_dstc_ip_h(
remote_addr string,
pvs bigint,
hour string);

统计数据

INSERT INTO dw_user_dstc_ip_h
SELECT remote_addr,count(1) AS pvs,concat(month,day,hour) AS hour
FROM ods_weblog_detail
WHERE datestr = '20130918'
GROUP BY remote_addr,concat(month,day,hour);

每日新访客

创建历日去重访客累积表

CREATE TABLE dw_user_dsct_history(
day string,
ip string)
partitioned by (datestr string);

创建每日新访客表

CREATE TABLE dw_user_new_d(
day string,
ip string)
partitioned by (datestr string);

每日新访客插入到新访客表

INSERT INTO TABLE dw_user_new_d PARTITION (datestr = '20130918')
SELECT tmp.day AS day,tmp.today_addr AS new_ip
FROM (
SELECT today.day AS day,today.remote_addr AS today_addr,old.ip AS old_addr
FROM (
SELECT DISTINCT remote_addr AS remote_addr,"20130918" AS day
FROM ods_weblog_detail
WHERE datestr = '20130918' ) today
LEFT OUTER JOIN dw_user_dsct_history old
ON today.remote_addr = old.ip ) tmp
WHERE tmp.old_addr IS NULL;

每日新访客追加到历日去重访客累积表

INSERT INTO TABLE dw_user_dsct_history
PARTITION (datestr = '20130918')
SELECT day,ip FROM dw_user_new_d
WHERE datestr = '20130918';

访客visit分析

回头/单次访客统计

创建回头访客表

CREATE TABLE dw_user_returning(
day string,
remote_addr string,
acc_cnt string)
partitioned by (datestr string);

统计回头访客数据

INSERT overwrite TABLE dw_user_returning
PARTITION (datestr = '20130918')
SELECT tmp.day,tmp.remote_addr,tmp.acc_cnt
FROM (
SELECT '20130918' AS day,remote_addr,count(session) AS acc_cnt
FROM ods_click_stream_visit
GROUP BY remote_addr ) tmp
WHERE tmp.acc_cnt > 1;

人均访问频次
就是总visit数除以去重后的总用户数

SELECT SUM(pagevisits)/COUNT(DISTINCT remote_addr)
FROM ods_click_stream_visit
WHERE datestr = '20130918';

关键路径转化率分析（漏斗模型）

见【Hadoop离线基础总结】关键路径转化率分析（漏斗模型）
级联求和

见【Hadoop离线基础总结】Hive级联求和

你可能感兴趣的:(Hadoop离线基础总结)

浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Go语言基础总结 Alice_小哪吒 Go学习笔记 golang 开发语言后端
一、Go语言结构包声明引入包函数变量语句&表达式注释下面简单给出hello.go文件。packagesrc/*定义包名*/import"fmt"/*引入包*/funchello(){/*函数*/fmt.Println("Hello,World!")/*语句&表达式*/fmt.Println("菜鸟教程：runoob.com")}二、Go语言基础语法Go程序可以由多个标记构成。可以是关键字、标识符、
鲲鹏 ARM 架构麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构 nginx 服务器
最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
talib的python库安装 jesonwz python 开发语言
talib的python库安装反正用清华源装不上发现talib的指标好多，想着用用，结果在python里装不上，清华源里提示找不到。也难怪，这个库上网查了一下，最新一次更新是在2013年，太老了。废话不说，上我的解决办法。解决方法步骤（靠谱的）思路：既然在线装不上，就用离线的1.下载对应python版本的talib的whl版本安装文件，链接在这：https://blog.csdn.net/FL16
hbase介绍 CrazyL- 云计算+大数据 hbase
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
python离线安装pip 于光yuguang python pip 开发语言
如果您的服务器没有互联网连接，您仍然可以通过其他方式将pip安装到服务器上。以下是一种可能的方法：方法一：离线安装下载pip安装文件：在另一台联网的计算机上，下载pip的安装文件（.whl文件）以及其依赖项的安装文件（如果有）。可以从PyPI下载pip的.whl文件。传输文件：将下载的.whl文件和依赖项文件通过USB等方式传输到没有互联网的服务器上。安装pip：在服务器上，使用pip的安装文件进
python 编译器spyder 安装_离线安装spyder的Python环境 weixin_39552037 python 编译器spyder 安装
一、介绍：要求在不联网、无法使用anaconda的情况下，在一台离线的win7设备上配置Spyder的python的开发环境，用于提高数据处理效率，且安装方法在win732位和64位的各种设备上均可流畅安装。二、问题难点总结：1.离线安装Python的第三方函数库Python在联网情况下安装第三方包很容易，但离线安装操作比较复杂，如某第三方库a，联网状态下仅一行代码pipinstalla，然而离线
Spark集群的三种模式 MelodyYN #Spark spark hadoop big data
文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
【Python】离线/无网/内网安装第三方库的一种方法 qilei2010 Python python 开发语言后端
有时候，我们使用的电脑没有接入互联网，或者是内部网络电脑，又或者是单机无网络，这时候使用Python，就不能自由的使用pipinstall命令了。下面是一种比较简单的无互联网安装第三方Python库的方法。此方法利用pipfreeze命令从已安装第三方库的电脑上移植库到内网电脑上。注意：以下命令中的D:\pkg文件夹需要自己提前创建。1.准备互联网电脑，优盘，无互联网电脑（下称无网电脑）无网电脑要
python离线安装一个第三方库 Lhj0616 python相关 python 第三方库
文章目录实例步骤下载`xlwt`库将文件转移到目标机器在目标机器上安装`xlwt`验证安装总结步骤可能的问题解决方法检查库的兼容性使用`pip`下载适配特定Python版本的库创建虚拟环境创建虚拟环境（Python3.6）创建虚拟环境（Python3.11）检查和验证库的安装下载多个版本的`.whl`文件总结更新：下载的第三方库有依赖库解决方案实例想离线安装一个第三方库xlwt，python版本分
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线「已注销」个人总结 hadoop
一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
HBase介绍 mingyu1016 数据库
概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
Docker-compose minio集群部署有点菜的运维 docker 容器运维
一、虚机准备192.168.40.174192.168.40.174192.168.40.176二、下载docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio的api端口为9000，控制台端口为9001174version:"3"
elasticsearch数据迁移之elasticdump 迷茫运维路 elasticsearch 中间件 elasticsearch linux 运维
系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？二、安装elasticdump工具1.离线安装2.在线安装三、elasticdump相关参数四、使用elasticdump进行数据备份五、使用elasticdump进行数据恢复前言在企业实际生产环境中,避免不了要对
Hadoop windows intelij 跑 MR WordCount piziyang12138
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
大模型框架：vLLM m0_37559973 大模型大模型通义千问 Qwen
目录一、vLLM介绍二、安装vLLM2.1使用GPU进行安装2.2使用CPU进行安装2.3相关配置三、使用vLLM3.1离线推理3.2适配OpenAI-API的API服务一、vLLM介绍vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。二、安装vLLM2.1使用GPU进行安装vLLM是一个Py
Swift基础语法学习中古传奇 swift c++面试 java
Swift基础语法学习0前言--Swift特点优势(忽悠点)1环境搭建1.1Xcode安装1.2离线安装踩坑指南2Swift语言2.1基本数据类型2.1.1申明常量和变量2.1.2整数类型2.1.3浮点数2.1.4布尔值2.1.5元组2.1.6可选类型2.1.7错误处理3断言和先决条件3.1断言和先决条件调试代码的好处3.2使用断言进行调试3.3强制执行先决条件3.4基本运算符时间：2021-22
Hadoop学习第三课（HDFS架构--读、写流程）小小程序员呀~ 数据库 hadoop 架构 big data
1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
hadoop启动HDFS命令 m0_67401228 java 搜索引擎 linux 后端
启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
IntelliJ IDEA下的使用 Lombok Artifacts
在idea安装lombok插件image在步骤4，应该是个install，我的这个截图是已经安装完成的。步骤5，如果在线安装不成，可以试试离线安装。开启EnableannotationprocessingimagePOM增加依赖org.projectlomboklombok1.16.18provided最后一步增加@Data标签，可以直接看到生成的getset等结构了image
R语言包AMORE安装报错问题以及RStudio与Rtools环境配置卡卡_R-Python R语言数据分析与可视化 r语言开发语言
在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现程序员-石头山大数据实战案例大数据 hadoop 毕业设计毕设
博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
分布式离线计算—Spark—基础介绍测试开发abbey 人工智能—大数据
原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
spark常用命令我是浣熊的微笑 spark
查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
Spring的注解积累 yijiesuifeng spring 注解
用注解来向Spring容器注册Bean。需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。如：在base-package指明一个包 <context:component-sc
传感器百合不是茶 android 传感器
android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件下面就以重力传感器为例; 1,在onCreate中获得传感器服务 private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
[光磁与探测]金吕玉衣的意义 comsci
这是一个古代人的秘密:现在告诉大家信不信由你们: 穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星这就是为什么古代
精简的反序打印某个数沐刃青蛟打印
以前看到一些让求反序打印某个数的程序。比如：输入123，输出321。记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。似乎最后是用到%和/方法解决的。而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）代码如下： long num, num1=0;
PHP：6种方法获取文件的扩展名 IT独行者 PHP 扩展名
PHP：6种方法获取文件的扩展名 1、字符串查找和截取的方法 1 $extension = substr ( strrchr ( $file , '.' ), 1); 2、字符串查找和截取的方法二 1 $extension = substr
面试111 文强chu 面试
1事务隔离级别有那些，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器（一次） 4 过滤器和拦截器的区别（频率也挺高） 5 final，finally final
XML的四种解析方式小桔子 dom jdom dom4j sax
在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。　　预备　　测试环境：　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
wordpress中常见的操作 aichenglong 中文注册 wordpress 移除菜单
1 wordpress中使用中文名注册解决办法 1)使用插件 2)修改wp源代码进入到wp-include/formatting.php文件中找到 function sanitize_user( $username, $strict = false
小飞飞学管理-1 alafqq 管理
项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。结合我自己经历写下心得对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
IO输入输出部分探讨百合不是茶 IO
//文件处理在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */ //1，运用File类对文件目录和属性进行操作 //在工程中线创建一个text.txt
getElementById的用法 bijian1013 element
getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。返回具有指定ID属性值的第一个对象的一个引用。语法： &n
励志经典语录 bijian1013 励志人生
经典语录1: 哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
[MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。本篇介绍MongoDB的切片(Sharding) 1.何时需要分片 &nbs
【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
yum方式部署zabbix ronin47 yum方式部署zabbix
安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EE Hibernate4
今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
Netty源码学习-FrameDecoder bylijinnan java netty
Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
SQL行列转换方法 chicony 行列转换
create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
中文编码测试 ctrain 编码
循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
hive 客户端查询报堆内存溢出解决方法 daizj hive 堆内存溢出
hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space 问题原因： hive堆内存默认为256M 这个问题的解决方法为：修改/us
人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
Eclipse简单有用的配置 dcj3sjt126com eclipse
1、显示行号 Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers 2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
在tomcat上面安装solr4.8.0全过程 eksliang Solr solr4.0后的版本安装 solr4.8.0安装
转载请出自出处： http://eksliang.iteye.com/blog/2096478 首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了第一步：当然是下载去官网上下载最新的solr版本，下载地址
Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞 android APP 分析
点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。 0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。针对序列化对象而出现的拒绝服务主要
HoverTree项目已经实现分层 hvt 编程 .net Web C#ASP.ENT
HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
Google Maps API v3: Remove Markers 移除标记天梯梦 google maps api
Simply do the following: I. Declare a global variable: var markersArray = []; II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
jQuery选择器总结 lq38366 jquery 选择器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
基础数据结构和算法六：Quick sort sunwinner Algorithm Quicksort
Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作刘星宇 html Web
今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。方法如下：
Mybatis实用Mapper SQL汇总示例 wdmcygah sql mysql mybatis 实用
Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，

【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

目录

数据仓库设计

维度建模概述

维度建模的三种模式

本项目中数据仓库的设计

ETL开发

创建ODS层数据表

导入ODS层数据

生成ODS层明细宽表

统计分析开发

流量分析

受访分析

访客visit分析

关键路径转化率分析（漏斗模型）

级联求和

你可能感兴趣的:(Hadoop离线基础总结)