- hadoop@bigdate-VirtualBox:/mnt/shared$ tar -xzvf hadoop-2.10.2.tar.gz tar (child): hadoop-2.10.2.tar
北辰Charih
大数据挖掘hadoop大数据分布式
在virtualbox的ubuntu虚拟机上使用共享文件夹安装hadoop大数据软件在在virtualbox的ubuntu虚拟机上设置共享文件夹步骤:1.设置共享文件夹自行设定共享文件夹路径以及名称,记得勾选自动挂载(A),运行虚拟机的时候才会自动加载该文件夹。小提示:我按和下面连接的教程差不多的步骤安装配置VM虚拟机Ubuntu系统https://blog.csdn.net/duchenlong
- 【Vmware】vmware脚本一键启动/关闭虚拟机集群
qq_24699905
vmware虚拟机使用运维
一.安装vmwareworkstationpro17(确保windows宿主机环境变量中存在可执行程序路径)参考:windows10安装VMwareWorkstation17Pro二.编写bat脚本启动虚拟机集群.batmodeconcols=20lines=10vmrun-Twsstart"D:\ProgramFiles(x86)\VMware\VOS\bigdate00\bg00.vmx"no
- SparkSQL抽取Mysql全量数据到Hive动态分区表中
月亮给我抄代码
hivemysqlsparkscala大数据
部分概念内容:hive学习(七)------创建动态分区_BigDate_小学生的博客-CSDN博客进阶篇:spark增量抽取MySQL中的数据存入hive动态分区表(2)_月亮给我抄代码的博客-CSDN博客前言:我这里把hive-site.xml文件放在了resource目录中,相关配置及依赖在后面。不要用中文值作为静态分区或动态分区字段!!!packagemy_projectimportorg
- 阿里云dataworks中业务流程中问题(odps2)
大数据小理
大数据大数据异常处理数据库sqldataworks阿里云maxcomputer
bigdate形式的数据在odps的2.0版本中无法隐式转换,应将一个参数改为false如下setprojectodps.sql.type.system.odps2=false;上面的语句应该与insert…table表名select…一起使用例如setprojectodps.sql.type.system.odps2=false;INSERTOVERWRITETABLEyhxxgxSELECTy
- SparkStreaming--输入源(本地文件)
wangfutai91
SparkStreaming
//输入源objectWordCountHDFSSource{defmain(args:Array[String]):Unit={System.setProperty("hadoop.home.dir","E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0")valconf=newSparkConf();con
- linux基础命令 学习第一天
Firtslei
互联网+ABCA----->AI(ArtificialIntelligence)人工智能B----->BIgDate大数据C----->CloudComputing云计算服务器就是一个电脑超级大的内存超级大的硬盘5操作系统(微软苹果IBMGOOGLE惠普)Window(微内核)(win32,win95,win98,winme,win2000,winxp,winvista,win7,win8,win
- #BigDate_01--hadoop的安装
dreamer11712
bigdate
环境:VMware虚拟机----centOS71).下载jdk并在Linux目录下tar开$>tar-xzvfjdk-xxx-linux-x64.tar.gz2).将tar开的文件移到对应目录(这里自己创建了/soft),并创建符号链接$>mv~/downloads/jdk-xxx/soft/$>ln-s/soft/jdk-1.8.0_65/soft/jdk3).进入bin目录测试是否安装成功$>
- 欺骗与被欺骗,大数据时代给世人真相
初人未勒
若至今仍停留在过去思维模式,那很善意的告诉你,这个时代你已经脱节!今天想与大家分享的是:时代发展相关的两个重要概念“信用”和“数据”BigDate信用:是指依附在人之间、单位之间和商品交易之间形成的一种相互信任的生产关系和社会关系。——人无信不立,国无信则衰数据:是指对客观事件进行记录并可以鉴别的符号,是对客观事物性质、状态以及相互关系等进行记录的物理符号或这些物理符号的组合,同时数据拥有三大特征
- 第6章 HBase API操作(二)---数据封装与数据迁移
江湖侠客
HBase
上篇:第6章HBaseAPI操作(二)1、数据的封装使用多线程的线程安全对数据进行封装首先,创建一个工具类:HbaseUtil(操作工具类)具体代码实现:packagestudey.bigdate.util;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;impo
- linux 获取磁盘信息, 添加硬盘, 分区
孙小二wuk
title:linux获取磁盘信息,添加硬盘,分区date:2018-02-1120:50:48categories:[Linux]tags:[Linux,notes,BigDate,LinuxCommand]磁盘分区Linux系统默认所有文件都在/dev目录下satasasscsiide常用接口类型fdisk-l查看系统所有硬盘的分区情况系统一共有几块硬盘每个硬盘的分区情况(硬盘空间是否有空余)
- Linux 初识
孙小二wuk
title:Linux初识date:2018-02-0920:42:38categories:[coding]tags:[Linux,notes,BigDate]前言Linux还是要系统的掌握下,重新跟着学习资料系统的整理下笔记Linux实际为大神LinusTorvalds开发的并开源发行于GPL下的unix类的系统内核官网http://www.kernel.orgLinux是开源的,由志愿者贡献
- linux 连接工具
孙小二wuk
title:linux连接工具date:2018-02-1000:10:55categories:[coding]tags:[Linux,notes,BigDate,env,software]前言linux基本都是远程操作,根据需求,有不同常用工具toolsshell,bash,sshsecureCRTXshell(用这个的人比较多)cmder(我用多一些)其实都差不多,都是命令行工具而已连接ss
- linux 基本命令
孙小二wuk
title:linux基本命令date:2018-02-1000:35:22categories:[coding]tags:[Linux,notes,BigDate,env,software]前言我觉得,我应该跳一下进度了有点太初级了连接操作ifconfig=ipa查看ip,内网ip之类image.pngsshusername@ipaddress连接image.pngclear清屏目录操作目录结构
- PHPMailer function set_magic_quotes_runtime() is deprecated
r_martian
PHPPHP技术分享
测试代码$mailer=newMailer();$mailer->FromName='BigDataTechTeam';$mailer->Subject="【报警提醒】广告主[{$adv_id}]充值异常";$body="广告主:{$adv_id}";$mailer->MsgHTML($body);$mailer->AddAddress('
[email protected]');
- 拼命Girl_Hadoop笔记(一):大数据概念、Hadoop框架概述
拼命菇凉
hadoopHadoop概述大数据
要了解Hadoop首先我们要知道大数据的概念是什么?1.大数据概念(1)大数据是什么官方理解:大数据(BigDate):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。自己理解:数据量大、数据种类多样、要求实时性强。也就是一种规模非常大的,在分析、管理、存储和获取等方面都超出了传统
- pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中
浮云6363
spark
目录PvUvToMysql类ConnectionUtils类jdbc.properties文件在IDEA中打jar包的两种方式IDEA打jar包IDEA中maven方式打jar包提交spark程序jar包运行参数解释本地模式运行集群上运行yarn上运行PvUvToMysql类packagecom.fuyun.bigdate.sparkimportjava.sql.{Connection,Prepa
- 例:Hbase+Map Reduce解决word count
科大勒布朗
大数据
Hbase+MapReduce解决wordcountMapper类packagecn.bigdate01.hadoop.mr.wordcount;importjava.io.IOException;importorg.apache.commons.lang.StringUtils;importorg.apache.hadoop.io.LongWritable;importorg.apache.ha
- linux 虚拟机安装
孙小二wuk
title:linux虚拟机安装date:2018-02-0921:41:46categories:[coding]tags:[Linux,notes,BigDate,env]步骤bios开启虚拟化选项安装vmimage.pngimage.pngios镜像CentOs646.9(资料是6.4的,考虑到一致性,打算找6.4,可不好找,7的话怕有不同,耽误时间)Linux虚拟机操作系统安装买了一个12
- 【知识积累】BigDate介绍
Date
BigData技术综述BigData是近来的一个技术热点,但从名字就能判断它并不是什么新词。毕竟,大是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常将BigData挂在嘴边了。 然而,BigData作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的
- java 比较日期大小
William0219
java日期比较
//比较两个字符串日期相差的天数
//1秒=1000毫秒
public int compDate(String bigDate,String smallDate){ int day = 0;
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-mm-dd");
try {
//将"yyyy-mm-dd"字符串格式的日期转换
- mysql存储过程--返回两个时间的最大最小值
sunhj000java
javamysql
返回较大值
create function bigdate(first date, last date ) returns date
begin
declare datetemp date;
set datetemp = last;
if first > last then
set datetemp = first;
end if;
return dat
- VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite
iwindyforest
vmwaremac os10.10workstationplayer
最近尝试了下VMware下安装MacOS 系统,
安装过程中发现网上可供参考的文章都是VMware Workstation 10以下, MacOS X 10.9以下的文章,
只能提供大概的思路, 但是实际安装起来由于版本问题, 走了不少弯路, 所以我尝试写以下总结, 希望能给有兴趣安装OSX的人提供一点帮助。
写在前面的话:
其实安装好后发现, 由于我的th
- 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑?
deathwknight
JavaScriptjava框架
本人从学习Java开发到现在已有10年整,从一个要自学 java买成javascript的小菜鸟,成长为只会java和javascript语言的老菜鸟(个人邮箱:
[email protected])
一路走来,跌跌撞撞。用自己的三年多业余时间,瞎搞一个小东西(基于模型驱动的B/S在线开发平台,非MVC框架、非代码生成)。希望与大家一起分享,同时有许些疑虑,希望有人可以交流下
平台
- 如何把maven项目转成web项目
Kai_Ge
mavenMyEclipse
创建Web工程,使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
- 主管???
Array_06
工作
转载:http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html
很久以前跟同事参加的培训,同事整理得很详细,必须得转!
前段时间,公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来,虽然内容较多,因对老师三天来的课程内容深有感触,故借着整理学习心得的机会,将三天来的培训课程做了一个
- python内置函数大全
2002wmj
python
最近一直在看python的document,打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面,其实在看的时候发现整个《The Python Standard Library》章节都是很不错的,其中描述了很多不错的主题。先把Build-in Fu
- JSP页面通过JQUERY合并行
357029540
JavaScriptjquery
在写程序的过程中我们难免会遇到在页面上合并单元行的情况,如图所示
如果对于会的同学可能很简单,但是对没有思路的同学来说还是比较麻烦的,提供一下用JQUERY实现的参考代码
function mergeCell(){
var trs = $("#table tr");
&nb
- Java基础
冰天百华
java基础
学习函数式编程
package base;
import java.text.DecimalFormat;
public class Main {
public static void main(String[] args) {
// Integer a = 4;
// Double aa = (double)a / 100000;
// Decimal
- unix时间戳相互转换
adminjun
转换unix时间戳
如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)? Java time JavaScript Math.round(new Date().getTime()/1000)
getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
- 作为一个合格程序员该做的事
aijuans
程序员
作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志,把自己今天完成了什么事情,遇见了什么问题都记录下来,日后翻看好处多多
2、考虑自己明天应该做的主要工作 把明天要做的事情列出来,并按照优先级排列,第二天应该把自己效率最高的时间分配给最重要的工作
3、考虑自己一天工作中失误的地方,并想出避免下一次再犯的方法 出错不要紧,最重
- 由html5视频播放引发的总结
ayaoxinchao
html5视频video
前言
项目中存在视频播放的功能,前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备,必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解,不了解不知道,水真是很深。本文所记录的知识一些浅尝辄止的知识,说起来很惭愧。
视频结构
本该直接介绍html5的<video>的,但鉴于本人对视频
- 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat
bewithme
httpclient
如果你构建了一个https协议的站点,而此站点的安全证书并不是合法的第三方证书颁发机构所签发,那么你用httpclient去访问此站点会报如下错误
javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
- Jedis连接池的入门级使用
bijian1013
redisredis数据库jedis
Jedis连接池操作步骤如下:
a.获取Jedis实例需要从JedisPool中获取;
b.用完Jedis实例需要返还给JedisPool;
c.如果Jedis在使用过程中出错,则也需要还给JedisPool;
packag
- 变与不变
bingyingao
不变变亲情永恒
变与不变
周末骑车转到了五年前租住的小区,曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在,
各种店铺都换了好几茬,这些是变的。
三年前还很流行的一款手机在今天看起来已经落后的不像样子。
三年前还运行的好好的一家公司,今天也已经不复存在。
一座座高楼拔地而起,
- 【Scala十】Scala核心四:集合框架之List
bit1129
scala
Spark的RDD作为一个分布式不可变的数据集合,它提供的转换操作,很多是借鉴于Scala的集合框架提供的一些函数,因此,有必要对Scala的集合进行详细的了解
1. 泛型集合都是协变的,对于List而言,如果B是A的子类,那么List[B]也是List[A]的子类,即可以把List[B]的实例赋值给List[A]变量
2. 给变量赋值(注意val关键字,a,b
- Nested Functions in C
bookjovi
cclosure
Nested Functions 又称closure,属于functional language中的概念,一直以为C中是不支持closure的,现在看来我错了,不过C标准中是不支持的,而GCC支持。
既然GCC支持了closure,那么 lexical scoping自然也支持了,同时在C中label也是可以在nested functions中自由跳转的
- Java-Collections Framework学习与总结-WeakHashMap
BrokenDreams
Collections
总结这个类之前,首先看一下Java引用的相关知识。Java的引用分为四种:强引用、软引用、弱引用和虚引用。
强引用:就是常见的代码中的引用,如Object o = new Object();存在强引用的对象不会被垃圾收集
- 读《研磨设计模式》-代码笔记-解释器模式-Interpret
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
package design.pattern;
/*
* 解释器(Interpreter)模式的意图是可以按照自己定义的组合规则集合来组合可执行对象
*
* 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值
* 多
- After Effects操作&快捷键
cherishLC
After Effects
1、快捷键官方文档
中文版:https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html
英文版:https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html
2、常用快捷键
- Maven 常用命令
crabdave
maven
Maven 常用命令
mvn archetype:generate
mvn install
mvn clean
mvn clean complie
mvn clean test
mvn clean install
mvn clean package
mvn test
mvn package
mvn site
mvn dependency:res
- shell bad substitution
daizj
shell脚本
#!/bin/sh
/data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
- Java SE 第二讲(原生数据类型 Primitive Data Type)
dcj3sjt126com
java
Java SE 第二讲:
1. Windows: notepad, editplus, ultraedit, gvim
Linux: vi, vim, gedit
2. Java 中的数据类型分为两大类:
1)原生数据类型 (Primitive Data Type)
2)引用类型(对象类型) (R
- CGridView中实现批量删除
dcj3sjt126com
PHPyii
1,CGridView中的columns添加
array(
'selectableRows' => 2,
'footer' => '<button type="button" onclick="GetCheckbox();" style=&
- Java中泛型的各种使用
dyy_gusi
java泛型
Java中的泛型的使用:1.普通的泛型使用
在使用类的时候后面的<>中的类型就是我们确定的类型。
public class MyClass1<T> {//此处定义的泛型是T
private T var;
public T getVar() {
return var;
}
public void setVa
- Web开发技术十年发展历程
gcq511120594
Web浏览器数据挖掘
回顾web开发技术这十年发展历程:
Ajax
03年的时候我上六年级,那时候网吧刚在小县城的角落萌生。传奇,大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩,然后接下来的一个小时我一直在,注,册,账,号。
彼时网吧用的512k的带宽,注册的时候,填了一堆信息,提交,页面跳转,嘣,”您填写的信息有误,请重填”。然后跳转回注册页面,以此循环。我现在时常想,如果当时a
- openSession()与getCurrentSession()区别:
hetongfei
javaDAOHibernate
来自 http://blog.csdn.net/dy511/article/details/6166134
1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。
2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。
这里getCurrentSession本地事务(本地
- 第一章 安装Nginx+Lua开发环境
jinnianshilongnian
nginxluaopenresty
首先我们选择使用OpenResty,其是由Nginx核心加很多第三方模块组成,其最大的亮点是默认集成了Lua开发环境,使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO,可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等,使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
- HSQLDB In-Process方式访问内存数据库
liyonghui160com
HSQLDB一大特色就是能够在内存中建立数据库,当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。
先睹为快!
下面是一个In-Process方式访问内存数据库的代码示例:
下面代码需要引入hsqldb.jar包 (hsqldb-2.2.8)
import java.s
- Java线程的5个使用技巧
pda158
java数据结构
Java线程有哪些不太为人所知的技巧与用法? 萝卜白菜各有所爱。像我就喜欢Java。学无止境,这也是我喜欢它的一个原因。日常
工作中你所用到的工具,通常都有些你从来没有了解过的东西,比方说某个方法或者是一些有趣的用法。比如说线程。没错,就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候,通常会面临各种各样的并发编程的问题,不过我们现在所要讲的可能会略有不同。
- 开发资源大整合:编程语言篇——JavaScript(1)
shoothao
JavaScript
概述:本系列的资源整合来自于github中各个领域的大牛,来收藏你感兴趣的东西吧。
程序包管理器
管理javascript库并提供对这些库的快速使用与打包的服务。
Bower - 用于web的程序包管理。
component - 用于客户端的程序包管理,构建更好的web应用程序。
spm - 全新的静态的文件包管
- 避免使用终结函数
vahoa.ma
javajvmC++
终结函数(finalizer)通常是不可预测的,常常也是很危险的,一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能,以及带来移植性问题。不要把终结函数当做C++中的析构函数(destructors)的对应物。
我自己总结了一下这一条的综合性结论是这样的:
1)在涉及使用资源,使用完毕后要释放资源的情形下,首先要用一个显示的方