- hadoop@bigdate-VirtualBox:/mnt/shared$ tar -xzvf hadoop-2.10.2.tar.gz tar (child): hadoop-2.10.2.tar
北辰Charih
大数据挖掘hadoop大数据分布式
在virtualbox的ubuntu虚拟机上使用共享文件夹安装hadoop大数据软件在在virtualbox的ubuntu虚拟机上设置共享文件夹步骤:1.设置共享文件夹自行设定共享文件夹路径以及名称,记得勾选自动挂载(A),运行虚拟机的时候才会自动加载该文件夹。小提示:我按和下面连接的教程差不多的步骤安装配置VM虚拟机Ubuntu系统https://blog.csdn.net/duchenlong
- 【Vmware】vmware脚本一键启动/关闭虚拟机集群
qq_24699905
vmware虚拟机使用运维
一.安装vmwareworkstationpro17(确保windows宿主机环境变量中存在可执行程序路径)参考:windows10安装VMwareWorkstation17Pro二.编写bat脚本启动虚拟机集群.batmodeconcols=20lines=10vmrun-Twsstart"D:\ProgramFiles(x86)\VMware\VOS\bigdate00\bg00.vmx"no
- SparkSQL抽取Mysql全量数据到Hive动态分区表中
月亮给我抄代码
hivemysqlsparkscala大数据
部分概念内容:hive学习(七)------创建动态分区_BigDate_小学生的博客-CSDN博客进阶篇:spark增量抽取MySQL中的数据存入hive动态分区表(2)_月亮给我抄代码的博客-CSDN博客前言:我这里把hive-site.xml文件放在了resource目录中,相关配置及依赖在后面。不要用中文值作为静态分区或动态分区字段!!!packagemy_projectimportorg
- 阿里云dataworks中业务流程中问题(odps2)
大数据小理
大数据大数据异常处理数据库sqldataworks阿里云maxcomputer
bigdate形式的数据在odps的2.0版本中无法隐式转换,应将一个参数改为false如下setprojectodps.sql.type.system.odps2=false;上面的语句应该与insert…table表名select…一起使用例如setprojectodps.sql.type.system.odps2=false;INSERTOVERWRITETABLEyhxxgxSELECTy
- SparkStreaming--输入源(本地文件)
wangfutai91
SparkStreaming
//输入源objectWordCountHDFSSource{defmain(args:Array[String]):Unit={System.setProperty("hadoop.home.dir","E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0")valconf=newSparkConf();con
- linux基础命令 学习第一天
Firtslei
互联网+ABCA----->AI(ArtificialIntelligence)人工智能B----->BIgDate大数据C----->CloudComputing云计算服务器就是一个电脑超级大的内存超级大的硬盘5操作系统(微软苹果IBMGOOGLE惠普)Window(微内核)(win32,win95,win98,winme,win2000,winxp,winvista,win7,win8,win
- #BigDate_01--hadoop的安装
dreamer11712
bigdate
环境:VMware虚拟机----centOS71).下载jdk并在Linux目录下tar开$>tar-xzvfjdk-xxx-linux-x64.tar.gz2).将tar开的文件移到对应目录(这里自己创建了/soft),并创建符号链接$>mv~/downloads/jdk-xxx/soft/$>ln-s/soft/jdk-1.8.0_65/soft/jdk3).进入bin目录测试是否安装成功$>
- 欺骗与被欺骗,大数据时代给世人真相
初人未勒
若至今仍停留在过去思维模式,那很善意的告诉你,这个时代你已经脱节!今天想与大家分享的是:时代发展相关的两个重要概念“信用”和“数据”BigDate信用:是指依附在人之间、单位之间和商品交易之间形成的一种相互信任的生产关系和社会关系。——人无信不立,国无信则衰数据:是指对客观事件进行记录并可以鉴别的符号,是对客观事物性质、状态以及相互关系等进行记录的物理符号或这些物理符号的组合,同时数据拥有三大特征
- 第6章 HBase API操作(二)---数据封装与数据迁移
江湖侠客
HBase
上篇:第6章HBaseAPI操作(二)1、数据的封装使用多线程的线程安全对数据进行封装首先,创建一个工具类:HbaseUtil(操作工具类)具体代码实现:packagestudey.bigdate.util;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;impo
- linux 获取磁盘信息, 添加硬盘, 分区
孙小二wuk
title:linux获取磁盘信息,添加硬盘,分区date:2018-02-1120:50:48categories:[Linux]tags:[Linux,notes,BigDate,LinuxCommand]磁盘分区Linux系统默认所有文件都在/dev目录下satasasscsiide常用接口类型fdisk-l查看系统所有硬盘的分区情况系统一共有几块硬盘每个硬盘的分区情况(硬盘空间是否有空余)
- Linux 初识
孙小二wuk
title:Linux初识date:2018-02-0920:42:38categories:[coding]tags:[Linux,notes,BigDate]前言Linux还是要系统的掌握下,重新跟着学习资料系统的整理下笔记Linux实际为大神LinusTorvalds开发的并开源发行于GPL下的unix类的系统内核官网http://www.kernel.orgLinux是开源的,由志愿者贡献
- linux 连接工具
孙小二wuk
title:linux连接工具date:2018-02-1000:10:55categories:[coding]tags:[Linux,notes,BigDate,env,software]前言linux基本都是远程操作,根据需求,有不同常用工具toolsshell,bash,sshsecureCRTXshell(用这个的人比较多)cmder(我用多一些)其实都差不多,都是命令行工具而已连接ss
- linux 基本命令
孙小二wuk
title:linux基本命令date:2018-02-1000:35:22categories:[coding]tags:[Linux,notes,BigDate,env,software]前言我觉得,我应该跳一下进度了有点太初级了连接操作ifconfig=ipa查看ip,内网ip之类image.pngsshusername@ipaddress连接image.pngclear清屏目录操作目录结构
- PHPMailer function set_magic_quotes_runtime() is deprecated
r_martian
PHPPHP技术分享
测试代码$mailer=newMailer();$mailer->FromName='BigDataTechTeam';$mailer->Subject="【报警提醒】广告主[{$adv_id}]充值异常";$body="广告主:{$adv_id}";$mailer->MsgHTML($body);$mailer->AddAddress('
[email protected]');
- 拼命Girl_Hadoop笔记(一):大数据概念、Hadoop框架概述
拼命菇凉
hadoopHadoop概述大数据
要了解Hadoop首先我们要知道大数据的概念是什么?1.大数据概念(1)大数据是什么官方理解:大数据(BigDate):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。自己理解:数据量大、数据种类多样、要求实时性强。也就是一种规模非常大的,在分析、管理、存储和获取等方面都超出了传统
- pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中
浮云6363
spark
目录PvUvToMysql类ConnectionUtils类jdbc.properties文件在IDEA中打jar包的两种方式IDEA打jar包IDEA中maven方式打jar包提交spark程序jar包运行参数解释本地模式运行集群上运行yarn上运行PvUvToMysql类packagecom.fuyun.bigdate.sparkimportjava.sql.{Connection,Prepa
- 例:Hbase+Map Reduce解决word count
科大勒布朗
大数据
Hbase+MapReduce解决wordcountMapper类packagecn.bigdate01.hadoop.mr.wordcount;importjava.io.IOException;importorg.apache.commons.lang.StringUtils;importorg.apache.hadoop.io.LongWritable;importorg.apache.ha
- linux 虚拟机安装
孙小二wuk
title:linux虚拟机安装date:2018-02-0921:41:46categories:[coding]tags:[Linux,notes,BigDate,env]步骤bios开启虚拟化选项安装vmimage.pngimage.pngios镜像CentOs646.9(资料是6.4的,考虑到一致性,打算找6.4,可不好找,7的话怕有不同,耽误时间)Linux虚拟机操作系统安装买了一个12
- 【知识积累】BigDate介绍
Date
BigData技术综述BigData是近来的一个技术热点,但从名字就能判断它并不是什么新词。毕竟,大是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常将BigData挂在嘴边了。 然而,BigData作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的
- java 比较日期大小
William0219
java日期比较
//比较两个字符串日期相差的天数
//1秒=1000毫秒
public int compDate(String bigDate,String smallDate){ int day = 0;
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-mm-dd");
try {
//将"yyyy-mm-dd"字符串格式的日期转换
- mysql存储过程--返回两个时间的最大最小值
sunhj000java
javamysql
返回较大值
create function bigdate(first date, last date ) returns date
begin
declare datetemp date;
set datetemp = last;
if first > last then
set datetemp = first;
end if;
return dat
- 矩阵求逆(JAVA)初等行变换
qiuwanchi
矩阵求逆(JAVA)
package gaodai.matrix;
import gaodai.determinant.DeterminantCalculation;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
/**
* 矩阵求逆(初等行变换)
* @author 邱万迟
*
- JDK timer
antlove
javajdkschedulecodetimer
1.java.util.Timer.schedule(TimerTask task, long delay):多长时间(毫秒)后执行任务
2.java.util.Timer.schedule(TimerTask task, Date time):设定某个时间执行任务
3.java.util.Timer.schedule(TimerTask task, long delay,longperiod
- JVM调优总结 -Xms -Xmx -Xmn -Xss
coder_xpf
jvm应用服务器
堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。
典型设置:
java -Xmx
- JDBC连接数据库
Array_06
jdbc
package Util;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBCUtil {
//完
- Unsupported major.minor version 51.0(jdk版本错误)
oloz
java
java.lang.UnsupportedClassVersionError: cn/support/cache/CacheType : Unsupported major.minor version 51.0 (unable to load class cn.support.cache.CacheType)
at org.apache.catalina.loader.WebappClassL
- 用多个线程处理1个List集合
362217990
多线程threadlist集合
昨天发了一个提问,启动5个线程将一个List中的内容,然后将5个线程的内容拼接起来,由于时间比较急迫,自己就写了一个Demo,希望对菜鸟有参考意义。。
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
public c
- JSP简单访问数据库
香水浓
sqlmysqljsp
学习使用javaBean,代码很烂,仅为留个脚印
public class DBHelper {
private String driverName;
private String url;
private String user;
private String password;
private Connection connection;
privat
- Flex4中使用组件添加柱状图、饼状图等图表
AdyZhang
Flex
1.添加一个最简单的柱状图
? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
<?xml version=
"1.0"&n
- Android 5.0 - ProgressBar 进度条无法展示到按钮的前面
aijuans
android
在低于SDK < 21 的版本中,ProgressBar 可以展示到按钮前面,并且为之在按钮的中间,但是切换到android 5.0后进度条ProgressBar 展示顺序变化了,按钮再前面,ProgressBar 在后面了我的xml配置文件如下:
[html]
view plain
copy
<RelativeLa
- 查询汇总的sql
baalwolf
sql
select list.listname, list.createtime,listcount from dream_list as list , (select listid,count(listid) as listcount from dream_list_user group by listid order by count(
- Linux du命令和df命令区别
BigBird2012
linux
1,两者区别
du,disk usage,是通过搜索文件来计算每个文件的大小然后累加,du能看到的文件只是一些当前存在的,没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。
- AngularJS中的$apply,用还是不用?
bijian1013
JavaScriptAngularJS$apply
在AngularJS开发中,何时应该调用$scope.$apply(),何时不应该调用。下面我们透彻地解释这个问题。
但是首先,让我们把$apply转换成一种简化的形式。
scope.$apply就像一个懒惰的工人。它需要按照命
- [Zookeeper学习笔记十]Zookeeper源代码分析之ClientCnxn数据序列化和反序列化
bit1129
zookeeper
ClientCnxn是Zookeeper客户端和Zookeeper服务器端进行通信和事件通知处理的主要类,它内部包含两个类,1. SendThread 2. EventThread, SendThread负责客户端和服务器端的数据通信,也包括事件信息的传输,EventThread主要在客户端回调注册的Watchers进行通知处理
ClientCnxn构造方法
&
- 【Java命令一】jmap
bit1129
Java命令
jmap命令的用法:
[hadoop@hadoop sbin]$ jmap
Usage:
jmap [option] <pid>
(to connect to running process)
jmap [option] <executable <core>
(to connect to a
- Apache 服务器安全防护及实战
ronin47
此文转自IBM.
Apache 服务简介
Web 服务器也称为 WWW 服务器或 HTTP 服务器 (HTTP Server),它是 Internet 上最常见也是使用最频繁的服务器之一,Web 服务器能够为用户提供网页浏览、论坛访问等等服务。
由于用户在通过 Web 浏览器访问信息资源的过程中,无须再关心一些技术性的细节,而且界面非常友好,因而 Web 在 Internet 上一推出就得到
- unity 3d实例化位置出现布置?
brotherlamp
unity教程unityunity资料unity视频unity自学
问:unity 3d实例化位置出现布置?
答:实例化的同时就可以指定被实例化的物体的位置,即 position
Instantiate (original : Object, position : Vector3, rotation : Quaternion) : Object
这样你不需要再用Transform.Position了,
如果你省略了第二个参数(
- 《重构,改善现有代码的设计》第八章 Duplicate Observed Data
bylijinnan
java重构
import java.awt.Color;
import java.awt.Container;
import java.awt.FlowLayout;
import java.awt.Label;
import java.awt.TextField;
import java.awt.event.FocusAdapter;
import java.awt.event.FocusE
- struts2更改struts.xml配置目录
chiangfai
struts.xml
struts2默认是读取classes目录下的配置文件,要更改配置文件目录,比如放在WEB-INF下,路径应该写成../struts.xml(非/WEB-INF/struts.xml)
web.xml文件修改如下:
<filter>
<filter-name>struts2</filter-name>
<filter-class&g
- redis做缓存时的一点优化
chenchao051
redishadooppipeline
最近集群上有个job,其中需要短时间内频繁访问缓存,大概7亿多次。我这边的缓存是使用redis来做的,问题就来了。
首先,redis中存的是普通kv,没有考虑使用hash等解结构,那么以为着这个job需要访问7亿多次redis,导致效率低,且出现很多redi
- mysql导出数据不输出标题行
daizj
mysql数据导出去掉第一行去掉标题
当想使用数据库中的某些数据,想将其导入到文件中,而想去掉第一行的标题是可以加上-N参数
如通过下面命令导出数据:
mysql -uuserName -ppasswd -hhost -Pport -Ddatabase -e " select * from tableName" > exportResult.txt
结果为:
studentid
- phpexcel导出excel表简单入门示例
dcj3sjt126com
PHPExcelphpexcel
先下载PHPEXCEL类文件,放在class目录下面,然后新建一个index.php文件,内容如下
<?php
error_reporting(E_ALL);
ini_set('display_errors', TRUE);
ini_set('display_startup_errors', TRUE);
if (PHP_SAPI == 'cli')
die('
- 爱情格言
dcj3sjt126com
格言
1) I love you not because of who you are, but because of who I am when I am with you. 我爱你,不是因为你是一个怎样的人,而是因为我喜欢与你在一起时的感觉。 2) No man or woman is worth your tears, and the one who is, won‘t
- 转 Activity 详解——Activity文档翻译
e200702084
androidUIsqlite配置管理网络应用
activity 展现在用户面前的经常是全屏窗口,你也可以将 activity 作为浮动窗口来使用(使用设置了 windowIsFloating 的主题),或者嵌入到其他的 activity (使用 ActivityGroup )中。 当用户离开 activity 时你可以在 onPause() 进行相应的操作 。更重要的是,用户做的任何改变都应该在该点上提交 ( 经常提交到 ContentPro
- win7安装MongoDB服务
geeksun
mongodb
1. 下载MongoDB的windows版本:mongodb-win32-x86_64-2008plus-ssl-3.0.4.zip,Linux版本也在这里下载,下载地址: http://www.mongodb.org/downloads
2. 解压MongoDB在D:\server\mongodb, 在D:\server\mongodb下创建d
- Javascript魔法方法:__defineGetter__,__defineSetter__
hongtoushizi
js
转载自: http://www.blackglory.me/javascript-magic-method-definegetter-definesetter/
在javascript的类中,可以用defineGetter和defineSetter_控制成员变量的Get和Set行为
例如,在一个图书类中,我们自动为Book加上书名符号:
function Book(name){
- 错误的日期格式可能导致走nginx proxy cache时不能进行304响应
jinnianshilongnian
cache
昨天在整合某些系统的nginx配置时,出现了当使用nginx cache时无法返回304响应的情况,出问题的响应头: Content-Type:text/html; charset=gb2312 Date:Mon, 05 Jan 2015 01:58:05 GMT Expires:Mon , 05 Jan 15 02:03:00 GMT Last-Modified:Mon, 05
- 数据源架构模式之行数据入口
home198979
PHP架构行数据入口
注:看不懂的请勿踩,此文章非针对java,java爱好者可直接略过。
一、概念
行数据入口(Row Data Gateway):充当数据源中单条记录入口的对象,每行一个实例。
二、简单实现行数据入口
为了方便理解,还是先简单实现:
<?php
/**
* 行数据入口类
*/
class OrderGateway {
/*定义元数
- Linux各个目录的作用及内容
pda158
linux脚本
1)根目录“/” 根目录位于目录结构的最顶层,用斜线(/)表示,类似于
Windows
操作系统的“C:\“,包含Fedora操作系统中所有的目录和文件。 2)/bin /bin 目录又称为二进制目录,包含了那些供系统管理员和普通用户使用的重要
linux命令的二进制映像。该目录存放的内容包括各种可执行文件,还有某些可执行文件的符号连接。常用的命令有:cp、d
- ubuntu12.04上编译openjdk7
ol_beta
HotSpotjvmjdkOpenJDK
获取源码
从openjdk代码仓库获取(比较慢)
安装mercurial Mercurial是一个版本管理工具。 sudo apt-get install mercurial
将以下内容添加到$HOME/.hgrc文件中,如果没有则自己创建一个: [extensions] forest=/home/lichengwu/hgforest-crew/forest.py fe
- 将数据库字段转换成设计文档所需的字段
vipbooks
设计模式工作正则表达式
哈哈,出差这么久终于回来了,回家的感觉真好!
PowerDesigner的物理数据库一出来,设计文档中要改的字段就多得不计其数,如果要把PowerDesigner中的字段一个个Copy到设计文档中,那将会是一件非常痛苦的事情。