随心所欲qbh
随心所欲qbh

大数据生态系统


一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

  1. 大数据工程师
  2. 数据分析师
  3. 大数据科学家
  4. 其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：

enter image description here

必须掌握的技能11条

  1. Java高级(虚拟机、并发)
  2. Linux 基本操作
  3. Hadoop（HDFS+MapReduce+Yarn ）
  4. HBase（JavaAPI操作+Phoenix ）
  5. Hive(Hql基本操作和原理理解）
  6. Kafka
  7. Storm/JStorm
  8. Scala
  9. Python
  10. Spark (Core+sparksql+Spark streaming ）
  11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

  1. 机器学习算法以及mahout库加MLlib
  2. R语言
  3. Lambda 架构
  4. Kappa架构
  5. Kylin
  6. Alluxio

三、学习路径

假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；

3个月会有（21*3+4*2*10）*3=423小时的学习时间。

第一阶段（基础阶段）

1）Linux学习（跟鸟哥学就ok了）—–20小时

  1. Linux操作系统介绍与安装。
  2. Linux常用命令。
  3. Linux常用软件安装。
  4. Linux网络。
  5. 防火墙。
  6. Shell编程等。

官网：https://www.centos.org/download/ 
中文社区：http://www.linuxidc.com/Linux/2017-09/146919.htm

2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时

  1. 掌握多线程。
  2. 掌握并发包下的队列。
  3. 了解JMS。
  4. 掌握JVM技术。
  5. 掌握反射和动态代理。

官网：https://www.java.com/zh_CN/ 
中文社区：http://www.java-cn.com/index.html

3）Zookeeper学习（可以参照这篇博客进行学习：http://www.cnblogs.com/wuxl360/p/5817471.html）

  1. Zookeeper分布式协调服务介绍。
  2. Zookeeper集群的安装部署。
  3. Zookeeper数据结构、命令。
  4. Zookeeper的原理以及选举机制。

官网：http://zookeeper.apache.org/ 
中文社区：http://www.aboutyun.com/forum-149-1.html

第二阶段（攻坚阶段）

4）Hadoop （《Hadoop 权威指南》）—80小时

  1. HDFS

    • HDFS的概念和特性。
    • HDFS的shell操作。
    • HDFS的工作机制。
    • HDFS的Java应用开发。

  2. MapReduce

    • 运行WordCount示例程序。
    • 了解MapReduce内部的运行机制。 
      • MapReduce程序运行流程解析。
      • MapTask并发数的决定机制。
      • MapReduce中的combiner组件应用。
      • MapReduce中的序列化框架及应用。
      • MapReduce中的排序。
      • MapReduce中的自定义分区实现。
      • MapReduce的shuffle机制。
      • MapReduce利用数据压缩进行优化。
      • MapReduce程序与YARN之间的关系。
      • MapReduce参数优化。

  3. MapReduce的Java应用开发

官网：http://hadoop.apache.org/ 
中文文档：http://hadoop.apache.org/docs/r1.0.4/cn/ 
中文社区：http://www.aboutyun.com/forum-143-1.html

5）Hive（《Hive开发指南》）–20小时

  1. Hive 基本概念

    • Hive 应用场景。
    • Hive 与hadoop的关系。
    • Hive 与传统数据库对比。
    • Hive 的数据存储机制。

  2. Hive 基本操作

    • Hive 中的DDL操作。
    • 在Hive 中如何实现高效的JOIN查询。
    • Hive 的内置函数应用。
    • Hive shell的高级使用方式。
    • Hive 常用参数配置。
    • Hive 自定义函数和Transform的使用技巧。
    • Hive UDF/UDAF开发实例。

  3. Hive 执行过程分析及优化策略

官网：https://hive.apache.org/ 
中文入门文档：http://www.aboutyun.com/thread-11873-1-1.html 
中文社区：http://www.aboutyun.com/thread-7598-1-1.html

6）HBase（《HBase权威指南》）—20小时

  1. hbase简介。
  2. habse安装。
  3. hbase数据模型。
  4. hbase命令。
  5. hbase开发。
  6. hbase原理。

官网：http://hbase.apache.org/ 
中文文档：http://abloz.com/hbase/book.html 
中文社区：http://www.aboutyun.com/forum-142-1.html

7）Scala（《快学Scala》）–20小时

  1. Scala概述。
  2. Scala编译器安装。
  3. Scala基础。
  4. 数组、映射、元组、集合。
  5. 类、对象、继承、特质。
  6. 模式匹配和样例类。
  7. 了解Scala Actor并发编程。
  8. 理解Akka。
  9. 理解Scala高阶函数。
  10. 理解Scala隐式转换。

官网：http://www.scala-lang.org/ 
初级中文教程：http://www.runoob.com/scala/scala-tutorial.html

8）Spark （《Spark 权威指南》）—60小时

enter image description here

  1. Spark core

    • Spark概述。
    • Spark集群安装。
    • 执行第一个Spark案例程序（求PI）。

  2. RDD

    enter image description here

    • RDD概述。
    • 创建RDD。
    • RDD编程API（Transformation 和 Action Operations）。
    • RDD的依赖关系
    • RDD的缓存
    • DAG（有向无环图）

  3. Spark SQL and DataFrame/DataSet

    enter image description here

    • Spark SQL概述。
    • DataFrames。
    • DataFrame常用操作。
    • 编写Spark SQL查询程序。

  4. Spark Streaming

    enter image description here

    enter image description here

    • park Streaming概述。
    • 理解DStream。
    • DStream相关操作（Transformations 和 Output Operations）。

  5. Structured Streaming

  6. 其他（MLlib and GraphX ）

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。

官网：http://spark.apache.org 
中文文档（但是版本有点老）：https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details 
中文社区：http://www.aboutyun.com/forum-146-1.html

9）Python (推荐廖雪峰的博客—30小时

10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo —30小时

可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）

集群搭建文档1.0版本

1. 集群规划

enter image description here

所有需要用到的软件：

链接：http://pan.baidu.com/s/1jIlAz2Y 
密码：kyxl

2. 前期准备

  1. 2.0 系统安装
  3. 2.1 主机名配置
  5. 2.1.0 vi /etc/sysconfig/network
  6. NETWORKING=yes
  8. 2.1.1 vi /etc/sysconfig/network
  9. NETWORKING=yes
  10. HOSTNAME=ys02
  12. 2.1.2 vi /etc/sysconfig/network
  13. NETWORKING=yes
  15. 2.1.3 vi /etc/sysconfig/network
  16. NETWORKING=yes
  17. HOSTNAME=ys04
  19. 2.2 host文件修改
  20. 2.2.0 vi /etc/hosts
  21. 10.1.1.149 ys01
  22. 10.1.1.148 ys02
  23. 10.1.1.146 ys03
  24. 10.1.1.145 ys04
  25. 2.3 关闭防火墙(centos 7默认使用的是firewall，centos 6 默认是iptables)
  27. 2.3.0 systemctl stop firewalld.service （停止firewall）
  29. 2.3 .1 systemctl disable firewalld.service （禁止firewall开机启动）
  31. 2.3 .2 firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
  33. 2.4 免密登录(ys01 ->ys02, 03, 04)
  34. ssh-keygen -t rsa
  35. ssh-copy- id ys02(随后输入密码)
  36. ssh-copy- id ys03（随后输入密码）
  37. ssh-copy- id ys04（随后输入密码）
  38. ssh ys02(测试是否成功)
  39. ssh ys03(测试是否成功)
  40. ssh ys04(测试是否成功)
  42. 2.5 系统时区与时间同步
  43. tzselect（生成日期文件）
  44. cp /usr/ share/zoneinfo/Asia/Shanghai /etc/ localtime（将日期文件copy到本地时间中）

3. 软件安装

  1. 3.0 安装目录规划（软件为所有用户公用）
  3. 3.0.0所有软件的安装放到/usr/ local/ys/soft目录下(mkdir /usr/ local/ys/soft)
  5. 3.0.1所有软件安装到/usr/ local/ys/app目录下(mkdir /usr/ local/ys/app)
  7. 3.1 JDK（jdk1.7）安装
  9. 3.1.1 alt+p 后出现sftp窗口， cd /usr/ local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/ local/ys/soft目录下
  11. 3.1.2解压jdk
  12. cd /usr/ local/ys/soft
  13. #解压
  14. tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/ local/ys/app
  16. 3.1.3将java添加到环境变量中
  17. vim /etc/profile
  18. #在文件最后添加
  19. export JAVA_HOME= /usr/ local/ys/app/ jdk-7u80
  20. export PATH= $PATH: $JAVA_HOME/bin
  22. 3.1.4 刷新配置
  23. source /etc/profile
  25. 3.2 Zookeeper安装
  27. 3.2.0解压
  28. tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/ local/ys/app（解压）
  30. 3.2.1 重命名
  31. mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）
  33. 3.2.2修改环境变量
  34. vi /etc/profile(修改文件)
  35. 添加内容：
  36. export ZOOKEEPER_HOME=/usr/ local/ys/app/zookeeper
  37. export PATH= $PATH: $ZOOKEEPER_HOME/bin
  39. 3.2.3 重新编译文件：
  40. source /etc/profile
  41. 注意：3台zookeeper都需要修改
  43. 3.2.4修改配置文件
  44. cd zookeeper/conf
  45. cp zoo_sample.cfg zoo.cfg
  46. vi zoo.cfg
  47. 添加内容：
  48. dataDir=/usr/ local/ys/app/zookeeper/data
  49. dataLogDir=/usr/ local/ys/app/zookeeper/ log
  50. server.1=ys01:2888:3888 (主机名, 心跳端口、数据端口)
  51. server.2=ys02:2888:3888
  52. server.3=ys04:2888:3888
  54. 3.2.5 创建文件夹
  55. cd /usr/ local/ys/app/zookeeper/
  56. mkdir -m 755 data
  57. mkdir -m 755 log
  59. 3.2.6 在data文件夹下新建myid文件，myid的文件内容为：
  60. cd data
  61. vi myid
  62. 添加内容：
  63. 1
  64. 将集群下发到其他机器上
  65. scp -r /usr/ local/ys/app/zookeeper ys02:/usr/ local/ys/app/
  66. scp -r /usr/ local/ys/app/zookeeper ys04:/usr/ local/ys/app/
  68. 3.2.7修改其他机器的配置文件
  69. 到ys02上：修改myid为：2
  70. 到ys02上：修改myid为：3
  72. 3.2.8启动（每台机器）
  73. zkServer.sh start
  74. 查看集群状态
  75. jps（查看进程）
  76. zkServer.sh status（查看集群状态，主从信息）
  78. 3.3 Hadoop（HDFS+Yarn）
  80. 3.3.0 alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/ local/ys/soft目录下
  82. 3.3.1 解压jdk
  83. cd /usr/ local/ys/soft
  84. #解压
  85. tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/ local/ys/app
  87. 3.3.2 修改配置文件
  89. core-site.xml

enter image description here

hdfs-site.xml

enter image description here

enter image description here

enter image description here

enter image description here

enter image description here

yarn-sifite.xml

enter image description here

  1. svales
  3. ys02
  4. ys03
  5. ys04
  7. 3.3.3集群启动（严格按照下面的步骤）
  8. 3.3.3.1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk）
  9. cd /usr/ local/ys/app/zookeeper-3.4.5/bin/
  10. ./zkServer.sh start
  11. #查看状态：一个leader，两个follower
  12. ./zkServer.sh status
  14. 3.3.3.2启动journalnode（分别在在mini5、mini6、mini7上执行）
  15. cd /usr/ local/ys/app/hadoop-2.6.4
  16. sbin/hadoop-daemon.sh start journalnode
  17. #运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程
  19. 3.3.3.3格式化HDFS
  20. #在ys01上执行命令:
  21. hdfs namenode -format
  22. #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
  23. scp -r tmp/ ys02:/usr/ local/ys /app/hadoop-2.6.4/
  24. ##也可以这样，建议hdfs namenode -bootstrapStandby
  26. 3.3.3.4格式化ZKFC(在ys01上执行一次即可)
  27. hdfs zkfc -formatZK
  29. 3.3.3.5启动HDFS(在ys01上执行)
  30. sbin/start-dfs.sh
  32. 3.3.3.6启动YARN
  33. sbin/start-yarn.sh
  35. 3.3MySQL-5.6安装
  36. 略过
  38. 3.4 Hive
  40. 3.4.1 alt+p 后出现sftp窗口， cd /usr/ local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/ local/ys/soft目录下
  42. 3.4.2解压
  43. cd /usr/ local/ys/soft
  44. tar -zxvf hive-0.9.0.tar.gz -C /usr/ local/ys/app
  46. 3.4.3 .配置hive
  48. 3.4.3.1配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的 $hadoop_home
  50. 3.4.3.2配置元数据库信息 vi hive-site.xml

添加如下内容：

enter image description here

enter image description here

  1. 3.4.4 安装hive和mysq完成后，将mysql的连接jar包拷贝到 $HIVE_HOME/lib目录下
  2. 如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
  3. mysql -uroot -p
  4. #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接)
  5. GRANT ALL PRIVILEGES ON *.* TO 'root'@ '%' IDENTIFIED BY 'root' WITH GRANT OPTION;
  6. FLUSH PRIVILEGES;
  8. 3.4.5 Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/ local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
  10. 3.4.6启动hive
  11. bin/hive
  13. 3.5 Kafka
  14. 3.5.1 下载安装包
  15. http://kafka.apache.org/downloads.html
  16. 在linux中使用wget命令下载安装包
  17. wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
  19. 3.5.2 解压安装包
  20. tar -zxvf /usr/ local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/ local/ys/app/
  21. cd /usr/ local/ys/app/
  22. ln -s kafka_2.11-0.8.2.2 kafka
  24. 3.5.3 修改配置文件
  25. cp
  26. /usr/ local/ys/app/kafka/config/server.properties
  27. /usr/ local/ys/app/kafka/config/server.properties.bak
  28. vi /usr/ local/ys/kafka/config/server.properties

输入以下内容：

enter image description here

  1. 3.5.4 分发安装包
  2. scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/ local/ys/app/
  3. scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/ local/ys/app/
  4. scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/ local/ys/app/
  5. 然后分别在各机器上创建软连
  6. cd /usr/ local/ys/app/
  7. ln -s kafka_2.11-0.8.2.2 kafka
  9. 3.5.5 再次修改配置文件（重要）
  10. 依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
  12. 3.5.6 启动集群
  13. 依次在各节点上启动kafka
  14. bin/kafka-server-start.sh config/server.properties
  16. 3.6 Spark
  18. 3.6.1 alt+p 后出现sftp窗口， cd /usr/ local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/ local/ys/soft目录下
  20. 3.6.2 解压安装包
  21. tar -zxvf /usr/ local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/ local/ys/app/
  23. 3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves)
  24. cd /usr/ local/ys/soft/spark-1.6.1-bin-hadoop2.6
  25. 进入conf目录并重命名并修改spark-env.sh.template文件
  26. cd conf/
  27. mv spark-env.sh.template spark-env.sh
  28. vi spark-env.sh
  29. 在该配置文件中添加如下配置
  30. export JAVA_HOME=/usr/java/jdk1.7.0_45
  31. export SPARK_MASTER_PORT=7077
  32. export SPARK_DAEMON_JAVA_OPTS= "-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
  33. 保存退出
  34. 重命名并修改slaves.template文件
  35. mv slaves.template slaves
  36. vi slaves
  37. 在该文件中添加子节点所在的位置（Worker节点）
  38. Ys02
  39. Ys03
  40. Ys04
  41. 保存退出
  43. 3.6.4 将配置好的Spark拷贝到其他节点上
  44. scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/ local/ys/app
  45. scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/ local/ys/app
  46. scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/ local/ys/app
  48. 3.6.5 集群启动
  49. 在ys01上执行sbin/start-all.sh脚本
  50. 然后在ys02上执行sbin/start-master.sh启动第二个Master
  52. 3.7 Azkaban
  54. 3.7.1 azkaban web服务器安装
  55. 解压azkaban-web-server-2.5.0.tar.gz
  56. 命令: tar –zxvf /usr/ local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/ local/ys/app/azkaban
  57. 将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver
  58. 命令: mv azkaban-web-server-2.5.0 ../azkaban
  59. cd ../azkaban
  60. mv azkaban-web-server-2.5.0 webserver
  62. 3.7.2 azkaban 执行服器安装
  63. 解压azkaban-executor-server-2.5.0.tar.gz
  64. 命令:tar –zxvf /usr/ local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/ local/ys/app/azkaban
  65. 将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor
  66. 命令:mv azkaban-executor-server-2.5.0 ../azkaban
  67. cd ../azkaban
  68. mv azkaban-executor-server-2.5.0 executor
  70. 3.7.3 azkaban脚本导入
  71. 解压: azkaban-sql-script-2.5.0.tar.gz
  72. 命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
  73. 将解压后的mysql 脚本,导入到mysql中:
  74. 进入mysql
  75. mysql> create database azkaban;
  76. mysql> use azkaban;
  77. Database changed
  78. mysql> source /usr/ local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;
  80. 3.7.4 创建SSL配置
  81. 参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
  82. 命令: keytool -keystore keystore - alias jetty -genkey -keyalg RSA
  83. 运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：123456)
  84. 输入keystore密码：
  85. 再次输入新密码:
  86. 您的名字与姓氏是什么？
  87. [Unknown]：
  88. 您的组织单位名称是什么？
  89. [Unknown]：
  90. 您的组织名称是什么？
  91. [Unknown]：
  92. 您所在的城市或区域名称是什么？
  93. [Unknown]：
  94. 您所在的州或省份名称是什么？
  95. [Unknown]：
  96. 该单位的两字母国家代码是什么
  97. [Unknown]： CN
  98. CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
  99. [否]： y
  100. 输入的主密码（如果和 keystore 密码相同，按回车）：
  101. 再次输入新密码
  102. 完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver
  104. 3.7.5 配置文件
  105. 注：先配置好服务器节点上的时区
  106. 先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
  107. 拷贝该时区文件，覆盖系统本地时区配置
  108. cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  110. 3.7.6 azkaban web服务器配置
  111. 进入azkaban web服务器安装目录 conf目录
  112. 修改azkaban.properties文件
  113. 命令vi azkaban.properties

内容说明如下：

  1. *Azkaban Personalization Settings
  2. azkaban .name=Test #服务器UI名称,用于服务器上方显示的名字
  3. azkaban .label=My Local Azkaban #描述
  4. azkaban .color= #FF3601 #UI颜色
  5. azkaban .default .servlet .path=/index #
  6. web .resource .dir=web/ #默认根web目录
  7. default .timezone .id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
  9. *Azkaban UserManager class
  10. user .manager .class=azkaban .user .XmlUserManager #用户权限管理默认类
  11. user .manager .xml .file=conf/azkaban-users .xml #用户配置,具体配置参加下文
  13. *Loader for projects
  14. executor .global .properties=conf/ global .properties # global配置文件所在位置
  15. azkaban .project .dir=projects #
  17. database .type=mysql #数据库类型
  18. mysql .port= 3306 #端口号
  19. mysql .host=localhost #数据库连接IP
  20. mysql .database=azkaban #数据库实例名
  21. mysql .user=root #数据库用户名
  22. mysql .password=Root123456 #数据库密码
  23. mysql .numconnections= 100 #最大连接数
  25. * Velocity dev mode
  26. velocity .dev .mode= false
  27. * Jetty服务器属性.
  28. jetty .maxThreads= 25 #最大线程数
  29. jetty .ssl .port= 8443 #Jetty SSL端口
  30. jetty .port= 8081 #Jetty端口
  31. jetty .keystore=keystore #SSL文件名
  32. jetty .password= 123456 #SSL文件密码
  33. jetty .keypassword= 123456 #Jetty主密码 与 keystore文件相同
  34. jetty .truststore=keystore #SSL文件名
  35. jetty .trustpassword= 123456 # SSL文件密码
  37. * 执行服务器属性
  38. executor .port= 12321 #执行服务器端
  40. *邮件设置
  41. mail .sender=xxxxxxxx @163 .com #发送邮箱
  42. mail .host=smtp .163 .com #发送邮箱smtp地址
  43. mail .user=xxxxxxxx #发送邮件时显示的名称
  44. mail .password=********** #邮箱密码
  45. job .failure .email=xxxxxxxx @163 .com #任务失败时发送邮件的地址
  46. job .success .email=xxxxxxxx @163 .com #任务成功时发送邮件的地址
  47. lockdown .create .projects= false #
  48. cache .directory=cache #缓存目录
  50. 3.7 .7azkaban 执行服务器executor配置
  51. 进入执行服务器安装目录conf,修改azkaban .properties
  52. vi azkaban .properties
  53. *Azkaban
  54. default .timezone .id=Asia/Shanghai #时区
  56. * Azkaban JobTypes 插件配置
  57. azkaban .jobtype .plugin .dir=plugins/jobtypes #jobtype 插件所在位置
  59. *Loader for projects
  60. executor .global .properties=conf/ global .properties
  61. azkaban .project .dir=projects
  63. *数据库设置
  64. database .type=mysql #数据库类型(目前只支持mysql)
  65. mysql .port= 3306 #数据库端口号
  66. mysql .host= 192.168 .20 .200 #数据库IP地址
  67. mysql .database=azkaban #数据库实例名
  68. mysql .user=root #数据库用户名
  69. mysql .password=Root23456 #数据库密码
  70. mysql .numconnections= 100 #最大连接数
  72. *执行服务器配置
  73. executor .maxThreads= 50 #最大线程数
  74. executor .port= 12321 #端口号(如修改,请与web服务中一致)
  75. executor .flow .threads= 30 #线程数
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  1. 3 .7 .8用户配置
  2. 进入 azkaban web服务器 conf目录,修改 azkaban-users .xml
  3. vi azkaban-users .xml 增加 管理员用户

enter image description here

  1. 3.7. 9 web服务器启动
  2. 在azkaban web服务器目录下执行启动命令
  3. bin/azkaban-web-start.sh
  4. 注:在web服务器根目录运行
  5. 或者启动到后台
  6. nohup bin/azkaban-web-start.sh 1>/tmp/azstd. out 2>/tmp/azerr. out &
  8. 3.7. 10执行服务器启动
  10. 在执行服务器目录下执行启动命令
  11. bin/azkaban-executor-start.sh
  12. 注:只能要执行服务器根目录运行
  14. 启动完成后,在浏览器(建议使用谷歌浏览器)中输入https: //服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login
  16. 3.8 Zeppelin
  17. 参照如下文件：
  18. http: //blog.csdn.net/chengxuyuanyonghu/article/details/54915817
  19. http: //blog.csdn.net/chengxuyuanyonghu/article/details/54915962
  21. 3.9 HBase
  22. 3.9. 1解压
  23. tar –zxvf /usr/ local/ys/soft/hbase- 0.99. 2-bin.tar.gz -C /usr/ local/ys/app
  25. 3.9. 2重命名
  26. cd /usr/ local/ys/app
  27. mv hbase- 0.99. 2 hbase
  29. 3.9. 3修改配置文件
  30. 每个文件的解释如下：
  31. hbase-env.sh
  32. export JAVA_HOME=/usr/ local/ys/app/jdk1. 7.0_80 //jdk安装目录
  33. export HBASE_CLASSPATH=/usr/ local/ys/app/hadoop- 2.6. 4/etc/hadoop //hadoop配置文件的位置
  34. export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）
  36. hbase-site.xml

enter image description here

enter image description here

  1. Regionservers //是从机器的域名
  2. Ys02
  3. ys03
  4. ys04
  6. 注：此处HBase配置是针对HA模式的hdfs
  8. 3.9. 4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中
  9. cp /usr/ local/ys/app/Hadoop- 2.6. 4/etc/hadoop/hdfs-site.xml /usr/ local/ys/app/hbase/conf
  10. cp /usr/ local/ys/app/hadoop- 2.6. 4/etc/hadoop/core-site.xml /usr/ local/ys/app/hbase/conf
  12. 3.9. 5发放到其他机器
  13. scp –r /usr/ local/ys/app/hbase ys02: /usr/ local/ys/app
  14. scp –r /usr/ local/ys/app/hbase ys03: /usr/ local/ys/app
  15. scp –r /usr/ local/ys/app/hbase ys04: /usr/ local/ys/app
  17. 3.9. 6启动
  18. cd /usr/ local/ys/app/hbase/bin
  19. ./ start-hbase.sh
  21. 3.9. 7查看
  22. 进程：jps
  23. 进入hbase的shell：hbase shell
  24. 退出hbase的shell：quit
  25. 页面：http: //master:60010/
  27. 3.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包)
  29. 3.10. 1上传jar包
  30. 略
  32. 3.10. 2 运行jar包
  33. nohup java -cp KafkaOffsetMonitor-assembly- 0.2. 1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

4. 集群调优

  1. 4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。
  3. 4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。
  5. 4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器 2份，然后其他机架机器 1份，可是两台机器四台虚机没有必要配感知个人感觉。
  7. 4.4 配置参数调优
  8. 可以参考http: //blog.csdn.net/chndata/article/details/46003399

第三阶段（辅助工具工学习阶段）

11）Sqoop（CSDN，51CTO ，以及官网）—20小时

enter image description here

  1. 数据导出概念介绍
  2. Sqoop基础知识
  3. Sqoop原理及配置说明
  4. Sqoop数据导入实战
  5. Sqoop数据导出实战、
  6. Sqoop批量作业操作

推荐学习博客：http://student-lp.iteye.com/blog/2157983 
官网：http://sqoop.apache.org/

12）Flume（CSDN，51CTO ，以及官网）—20小时

enter image description here

  1. FLUME日志采集框架介绍。
  2. FLUME工作机制。
  3. FLUME核心组件。
  4. FLUME参数配置说明。
  5. FLUME采集nginx日志案例（案例一定要实践一下）

推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html 
官网：http://flume.apache.org

13）Oozie（CSDN，51CTO ，以及官网）–20小时

enter image description here

  1. 任务调度系统概念介绍。
  2. 常用任务调度工具比较。
  3. Oozie介绍。
  4. Oozie核心概念。
  5. Oozie的配置说明。
  6. Oozie实现mapreduce/hive等任务调度实战案例。

你可能感兴趣的:(大数据生态系统)

  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • 最超值的Mac——Mac mini 初心么么哒
    你知道最超值的Mac是什么吗？自2005年以来，Macmini一直是Apple台式机产品线中的主要产品。最初推出是为了让对Mac好奇的Mac进入Apple生态系统的一种简单方式，现在新的AppleSiliconMacmini可能是任何寻找新Mac的人的最有吸引力的购买。什么是AppleSiliconMacmini？M1Macmini是Apple最小的台式电脑，同时也是最快的台式电脑之一。最新型号由
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
    1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
  • 如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
  • SpringBoot和SpringMVC是什么关系?SpringBoot替代SpringMVC了吗? 瑞金彭于晏 springboot后端javaMVCspring数据库
    SpringBoot和SpringMVC都是SpringFramework生态系统中的一部分，但它们各自扮演着不同的角色和提供不同的功能集。理解它们之间的关系，首先需要了解SpringFramework本身。SpringFrameworkSpringFramework是一个全面的、开源的应用程序开发框架，它提供了广泛的功能来支持企业应用开发的几乎所有方面。SpringFramework的核心特性之
  • 未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
  • Rust是否会取代C/C++？Rust与C/C++的较量 AI与编程之窗 源码编译与开发rustc语言c++内存安全并发编程代码安全性能优化
    目录引言第一部分：Rust语言的优势内存安全性并发性性能社区和生态系统的成长第二部分：C/C++语言的优势和地位历史积淀和成熟度广泛的库和工具支持性能优化和硬件控制丰富的行业应用社区和行业支持第三部分：挑战和阻碍学习曲线现有代码库的迁移成本生态系统和工具链的完善度社区和人才培养行业应用和推广法规和标准化第四部分：未来趋势和可能性行业趋势教育和人才培养兼容和共存行业标准化企业支持和应用开源社区和生态
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • [转载] NoSQL简介 weixin_30325793 大数据数据库运维
    摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
  • Kafka详细解析与应用分析 芊言芊语 kafka分布式
    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • 疫情，疫情 东山草
    2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
  • 在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
    JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
  • 为用户都喜欢购买阿里云服务器？阿里云服务器有何优势？ 阿里云最新优惠和活动汇总
    随着企业数字化转型的加速和云计算技术的日益成熟，云服务器已成为企业搭建应用、存储和处理数据的重要基础设施。在众多云服务提供商中，阿里云以其卓越的性能、丰富的产品线、出色的技术支持和强大的生态系统，赢得了众多用户的青睐。那么，阿里云服务器到底有哪些优势？为何如此多的用户选择使用阿里云服务器呢？阿里云服务器优势图.jpg阿里云服务器的优势一、技术领先，性能卓越阿里云作为国内最早涉足云计算领域的企业之一
  • 大数据真实面试题---SQL The博宇 大数据面试题——SQL大数据mysqlsql数据库bigdata
    视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
  • Flume：大规模日志收集与数据传输的利器 傲雪凌霜，松柏长青 后端大数据flume大数据
    Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
  • 云服务业界动态简报-20180128 Captain7
    一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 架构评审的自动化与人工智能: 如何提高效率 光剑书架上的书 架构自动化人工智能运维
    1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
  • 【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案 数字化建设方案 数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
    原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
  • 80 鑫_259b
    科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
  • 解锁企业潜能，Vatee万腾平台引领智能新纪元 自媒体经济说 其他
    在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
  • 释放“AI+”新质生产力，深算院如何“把大数据变小”？ YashanDB YashanDB国产数据库数据库数据库大数据
    近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
  • 数字化智能工厂数字化供应链架构、全景管理、全流程贯通方案 数字化建设方案 智能制造数字工厂制造业数字化转型工业互联网架构
    随着信息技术的飞速发展，数字化转型已成为制造企业提升竞争力的关键途径。数字化智能工厂通过集成先进的物联网(IoT)、大数据、云计算、人工智能(AI)等技术，实现了生产过程的智能化、供应链管理的精准化及决策的科学化。本方案旨在构建一套完善的数字化供应链架构，实现全景管理、全流程贯通、智慧化升级，以数据为驱动，强化技术支撑与安全管理体系，推动企业向智能制造迈进。一、数字化供应链架构1.**集成化平台构
  • 日记——我的歌单 静若小猴
    又到一年一度大数据汇总的时候了，听歌已经成为很多人生活里的一种乐趣。春夏秋冬，我们都有自己喜欢的歌，歌词歌曲唱出沃尔玛你的心声。还记得大学时候最喜欢听的《春天里》，我有一天单曲回放了30遍，总觉得听着仿佛看到自己声音。还有的歌，初听不知曲中意，再听已经是曲终人，听着歌流泪，听着歌入睡……还记得那些年少的故事吗，总觉得自己才是故事外的人，却不是自己已经入歌。一段时间会喜欢一个人的音乐，一段时间会沉静
  • Linux dmesg命令：显示开机信息 fafadsj666 linux数据库数据挖掘机器学习大数据
    通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
  • 大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍 青云交 大数据新视界Excel数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
  • Java实现的简单双向Map，支持重复Value superlxw1234 java双向map
    关键字：Java双向Map、DualHashBidiMap     有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。   数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修改。   即：既要根据Key找Value，又要根据Value
  • PL/SQL触发器基础及例子 百合不是茶 oracle数据库触发器PL/SQL编程
      触发器的简介; 触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。触发器和过程函数类似 过程函数必须要调用,   一个表中最多只能有12个触发器类型的,触发器和过程函数相似 触发器不需要调用直接执行, 触发时间：指明触发器何时执行，该值可取： before：表示在数据库动作之前触发
  • [时空与探索]穿越时空的一些问题 comsci 问题
          我们还没有进行过任何数学形式上的证明,仅仅是一个猜想.....       这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
  • easy ui datagrid上移下移一行 商人shang js上移下移easyuidatagrid
    /** * 向上移动一行 * * @param dg * @param row */ function moveupRow(dg, row) { var datagrid = $(dg); var index = datagrid.datagrid("getRowIndex", row); if (isFirstRow(dg, row)) {
  • Java反射 oloz 反射
    本人菜鸟，今天恰好有时间，写写博客，总结复习一下java反射方面的知识，欢迎大家探讨交流学习指教 首先看看java中的Class package demo; public class ClassTest { /*先了解java中的Class*/ public static void main(String[] args) { //任何一个类都
  • springMVC 使用JSR-303 Validation验证 杨白白 springmvc
    JSR-303是一个数据验证的规范，但是spring并没有对其进行实现，Hibernate Validator是实现了这一规范的，通过此这个实现来讲SpringMVC对JSR-303的支持。 JSR-303的校验是基于注解的，首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。 登录需要验证类 public class Login { @NotEmpty
  • log4j 香水浓 log4j
    log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE #log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML #console log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender log4
  • 使用ajax和history.pushState无刷新改变页面URL agevs jquery框架Ajaxhtml5chrome
    表现 如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时，细心的你会发现页面之间的点击是通过ajax异步请求的，同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。 是什么有这么强大的功能呢？ HTML5里引用了新的API，history.pushState和history.replaceState，就是通过
  • centos中文乱码 AILIKES centosOSssh
    一、CentOS系统访问 g.cn ，发现中文乱码。 于是用以前的方式：yum -y install fonts-chinese CentOS系统安装后，还是不能显示中文字体。我使用 gedit 编辑源码，其中文注释也为乱码。       后来，终于找到以下方法可以解决，需要两个中文支持的包： fonts-chinese-3.02-12.
  • 触发器 baalwolf 触发器
    触发器(trigger)：监视某种情况，并触发某种操作。 触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) 语法： create trigger triggerName after/before 
  • JS正则表达式的i m g bijian1013 JavaScript正则表达式
            g:表示全局（global)模式，即模式将被应用于所有字符串，而非在发现第一个匹配项时立即停止。         i:表示不区分大小写（case-insensitive）模式，即在确定匹配项时忽略模式与字符串的大小写。         m:表示
  • HTML5模式和Hashbang模式 bijian1013 JavaScriptAngularJSHashbang模式HTML5模式
            我们可以用$locationProvider来配置$location服务（可以采用注入的方式，就像AngularJS中其他所有东西一样）。这里provider的两个参数很有意思，介绍如下。 html5Mode         一个布尔值，标识$location服务是否运行在HTML5模式下。 ha
  • [Maven学习笔记六]Maven生命周期 bit1129 maven
    从mvn test的输出开始说起   当我们在user-core中执行mvn test时，执行的输出如下：   /software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
  • 【Hadoop七】基于Yarn的Hadoop Map Reduce容错 bit1129 hadoop
    运行于Yarn的Map Reduce作业，可能发生失败的点包括 Task Failure Application Master Failure Node Manager Failure Resource Manager Failure 1. Task Failure 任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
  • 记一次数据推送的异常解决端口解决 ronin47 记一次数据推送的异常解决
    　　 需求：从db获取数据然后推送到B         程序开发完成，上jboss,刚开始报了很多错，逐一解决，可最后显示连接不到数据库。机房的同事说可以ping 通。 　　  自已画了个图，逐一排除，把linux 防火墙　和　setenforce　设置最低。 　　　service iptables stop
  • 巧用视错觉-UI更有趣 brotherlamp UIui视频ui教程ui自学ui资料
    我们每个人在生活中都曾感受过视错觉（optical illusion）的魅力。 视错觉现象是双眼跟我们开的一个玩笑，而我们往往还心甘情愿地接受我们看到的假象。其实不止如此，视觉错现象的背后还有一个重要的科学原理——格式塔原理。 格式塔原理解释了人们如何以视觉方式感觉物体，以及图像的结构，视角，大小等要素是如何影响我们的视觉的。 在下面这篇文章中，我们首先会简单介绍一下格式塔原理中的基本概念，
  • 线段树-poj1177-N个矩形求边长（离散化+扫描线） bylijinnan 数据结构算法线段树
    package com.ljn.base; import java.util.Arrays; import java.util.Comparator; import java.util.Set; import java.util.TreeSet; /** * POJ 1177 (线段树+离散化+扫描线)，题目链接为http://poj.org/problem?id=1177
  • HTTP协议详解 chicony http协议
    引言                                 
  • Scala设计模式 chenchao051 设计模式scala
    Scala设计模式                我的话： 在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译
  • 安装mysql daizj mysql安装
    安装mysql   (1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps (强制删除)      执行命令rpm -qa |grep mysql 检查是否删除干净   (2)执行命令  rpm -i MySQL-server-5.5.31-2.el
  • HTTP状态码大全 dcj3sjt126com http状态码
    完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request
  • asihttprequest上传图片 dcj3sjt126com ASIHTTPRequest
    NSURL *url =@"yourURL"; ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url]; [currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
  • C语言中，关键字static的作用 e200702084 C++cC#
    在C语言中，关键字static有三个明显的作用： 1)在函数体，局部的static变量。生存期为程序的整个生命周期，（它存活多长时间）；作用域却在函数体内（它在什么地方能被访问（空间））。 一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区，函数调用结束后并不释放单元，但是在其它的作用域的无法访问。当再次调用这个函数时，这个局部的静态变量还存活，而且用在它的访
  • win7/8使用curl geeksun win7
    1.  WIN7/8下要使用curl，需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。 下载地址：  http://curl.haxx.se/download.html 请选择不带SSL的版本，否则还需要安装SSL的支持包   2.  可以给Windows增加c
  • Creating a Shared Repository; Users Sharing The Repository hongtoushizi git
    转载自：   http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section: git init –bare git clone git remote git pull git p
  • Java实现字符串反转的8种或9种方法 Josh_Persistence 异或反转递归反转二分交换反转java字符串反转栈反转
    注：对于第7种使用异或的方式来实现字符串的反转，如果不太看得明白的，可以参照另一篇博客： http://josh-persistence.iteye.com/blog/2205768   /** * */ package com.wsheng.aggregator.algorithm.string; import java.util.Stack; /**
  • 代码实现任意容量倒水问题 home198979 PHP算法倒水
    形象化设计模式实战             HELLO!架构                     redis命令源码解析   倒水问题：有两个杯子，一个A升，一个B升，水有无限多，现要求利用这两杯子装C
  • Druid datasource zhb8015 druid
    推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证，稳定可靠。 它最重要的特点是：监控、扩展和性能。 下载和Maven配置看这里： http
  • 两种启动监听器ApplicationListener和ServletContextListener spjich javaspring框架
    引言:有时候需要在项目初始化的时候进行一系列工作，比如初始化一个线程池，初始化配置文件，初始化缓存等等，这时候就需要用到启动监听器，下面分别介绍一下两种常用的项目启动监听器   ServletContextListener  特点: 依赖于sevlet容器，需要配置web.xml 使用方法: public class StartListener implements
  • JavaScript Rounding Methods of the Math object 何不笑 JavaScriptMath
        The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(),  Math.floor(), and  Math.round() — handle rounding in differen
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他