我还不够强
我还不够强

hadoop集群的安装

1、CDH软件版本重新进行编译
1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库
2、编译环境的准备
2.1：准备Linux环境
准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统

2.2：虚拟机联网，关闭防火墙，关闭selinux
关闭防火墙命令：
server iptables stop
chkconfig iptables off
关闭selinux
vim /etc/selinux/config

2.3：安装jdk1.7
hadoop2.6.0-cdh5.14.2这个版本的编译只能使用jdk1.7，
上传jdk安装包到/kkb/soft目录
解压jdk压缩包
mkdir -p /kkb/soft
mkdir -p /kkb/install
cd /kkb/soft
tar -zvxf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/kkb/install/jdk1.7.0_71
export PATH=:PATH
让修改立即生效
source /etc/profile

2.4：安装maven
这里使用maven3.x以上的版本，这里使用3.0.5
maven上传到/kkb/soft
解压maven的安装包/kkb/instll
cd /kkb/soft/
tart -zvxf apache-maven-3.0.5-bin.tar.gz -C ../install/
配置mavne的环境变量
vim /etc/profile
export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:PATH
让修改立即生效
source /etc/profile

2.5：安装findbugs
下载findbugs
cd /kkb/soft
wget --no-check-certificate https://sourceforge.net/projects/findbugs/files/findbugs/1.3.9/findbugs-1.3.9.tar.gz/download -0 findbugs-1.3.9.tar.gz
解压findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../install/
配置findbugs的环境变量
vim /etc/progile
export JAVA_HOME=/kkb/install/jdk1.7.0_75
export PATH=:PATH

export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export PATH=:PATH
export FINDBUGS_HOME=/kkb/install/findbugs-1.3.9
export PATH=PATH
让修改立即生效
source /etc/profile

2.6：在线安装一下依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-++
yum install -y bzip2-devel

2.7安装protobuf
cd /kkb/soft
tar -zvxf protobuf-2.5.0.tar.gz -C ../servers/
cd /kkb/install/protobuf-2.5.0
./configure
make && make install

2.8、安装snappy
snappy下载地址
http://code.google.com/p/snappy/
cd /kkb/soft/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install

2.9：下载cdh源码准备编译
源码下载地址：
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
下载源码进行编译
cd /kkb/soft
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
tar -zxvf hadoop2.6.0-cdh5.14.2-src.tar.gz -C ../servers/
cd /kkb/install/hadoop-2.6.0-cdh5.14.2
编译不支持snappy压缩
mvnpackage -Pdis,native -DskipTests - Dtar
编译至此snappy压缩：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译完成后压缩包就在这个路径下

2.10：场景编译错误
如果编译之后出现这个错误
An Ant BuildException has occured:exec returned:2
这里因为tomcat的压缩包没有下载完成，需要自己下载一个对应版本的apache-tomcat-6.0.53.tar.gz的压缩包放到指定路径下面去即可
这两个路径下面需要放上这个tomcat的压缩包
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-common-project/hadoop-kms/downloads

2、hadoop集群的安装
安装服务不熟规划
服务器IP 192.168.52.100 192.168.52.110 192.168.52.120
HDFS NameNode
HDFS SecondaryNameNode
HDFS DataNode DataNode DataNode
YARN ResourceManager
YARN NodeManager NodeManager NodeManager
历史日志服务器 JobHistoryServer

第一步：上传压缩包并解压
将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令
cd /kkb/soft/
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../servers/
第二步：查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2
bin/hadoop checknative
如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
sudo yum -y install openssl-devel
第三步：修改配置文件
修改core-sit.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim core-site.xml



fs.defaultFS
hdfs://node01:8082


hadoop.tmp.dir
/kkb/install/hadoop2.6.0-cdh5.14.2/hadoopDatas/tempDatas



io.file.buffer.size
4096



fs.trash.interval
10080

修改hdfs-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim hdfs-site.xml



dfs.namenode.secondary.http-address node01:50090


dfs.namenode.http-adress
node01:50070


dfs.namenode.name.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas



dfs.datanode.data.dir
file:///kkb/instll/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas


dfs.namenode.edits.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits


dfs.namenode.chekpoint.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name


dfs.namenode.checkpoint.edits.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits


dfs.replication
2


dfs.permissions
false


dfs.blocksize
134217728

修改hadoop-env.sh
第一台机器执行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/kkb/install/jdk1.8.0_141

修改mapred-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim mapred-site.xml



mapreduce.framework.name
yarn


mapreduce.job.ubertask.enable
true


mapreduce.jobhistory.address
node01:10020


mapreduce.jobhistory.webapp.address
node01:19888

修改yarn-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml



yarn.resourcmanager.hostname
node01


yarn.nodemanager.aux-services
mapreduce_shuffle

修改slaves文件
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim slaves
node01
node02
node03

第四步：创建文件存放目录
第一台机器执行以下命令
node01 机器上面创建以下目录
mkdir -p /kkb/install/haoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发scp与rsync

第六步：配置hadoop的环境变量
三台机器都要进行配置hadoop的环境变量
三台机器执行以下命令
sudo vim /etc/profile
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=:HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile

第七部：集群启动
格式化集群
第一次启动集群要格式化
bin/hdfs namenode -format 或者bin/hadoop namenode -format

单个节点逐一启动
在主节点使用以上命令启动HDFS NameNode:
hadoop-daemon.sh start namenode
在每个从节点使用以上命令启动HDFS DataNode:
hadoop-daemon.sh start datanode
在主节点上使用以上命令启动YARN ResourceManager:
yarn-daemon.sh start resourcemanager
在每个从节点使用以下命令启动YARn nodemanager:
yarn-daemon.sh start nodemanager

停止脚本start换成stop

脚本一键启动，要ssh免密登录

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/
sbin/start-dfs.sh
sbin/start-yarn.sh
停止集群
sbin/stop-dfs.sh
sbin/stop-yarn.sh

第八步浏览器查看启动页面
hdfs集群访问地址

http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群访问地址

http://192.168.52.100:8088/cluster

jobhistory访问地址：

http://192.168.52.100:19888/jobhistory

我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程

你可能感兴趣的:(hadoop集群的安装)

  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • Python入门之Lesson2:Python基础语法 小熊同学哦 Python入门课程python开发语言算法数据结构青少年编程
    目录前言一.介绍1.变量和数据类型2.常见运算符3.输入输出4.条件语句5.循环结构二.练习三.总结前言欢迎来到《Python入门》系列博客的第二课。在上一课中，我们了解了Python的安装及运行环境的配置。在这一课中，我们将深入学习Python的基础语法，这是编写Python代码的根基。通过本节内容的学习，你将掌握变量、数据类型、运算符、输入输出、条件语句等Python编程的基础知识。一.介绍1
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • sublime个人设置 bawangtianzun sublimetext编辑器
    如何拥有jiangly蒋老师同款编译器(sublimec++配置竞赛向）_哔哩哔哩_bilibiliSublimeText4的安装教程（新手竞赛向）-知乎(zhihu.com)创建文件自动保存为c++打开SublimeText软件。转到"Tools"（工具）>"Developer"（开发者）>"NewPlugin"（新建插件）。在打开的新文件中，粘贴以下代码：importsublimeimport
  • ansible的安装、使用 ytym00
    简介高度模块化，调用特定的模块，完成特定的任务，基于Yaml，来完成批量任务的模板化，来支持playbook。基于Python语言实现，主要使用Paramiko、PyYAML和JinJa2三个关键模块，部署简单(agentless)，主从模式，支持自定义模块，支持playbook，幂等性：允许重复执行N次，没有变化时，只会执行第一次。特点：1、Configuration(cfengine,chef
  • MacOS Catalina 从源码构建Qt6.2开发库之01: 编译Qt6.2源代码 捕鲸叉 QTmacosc++QT
    安装xcode，cmake，ninjabrewinstallnodemac下安装OpenGL库并使之对各项目可见在macOS上安装OpenGL通常涉及到安装一些依赖库，如MGL、GLUT或者是GLEW等，同时确保LLVM的OpenGL框架和相关工具链的兼容性。以下是一个基本的安装步骤，你可以在终端中执行：安装Homebrew（如果还没有安装的话）：/bin/bash-c"$(curl-fsSLht
  • 【安装环境】配置MMTracking环境 xuanyu22 安装环境机器学习神经网络深度学习python
    版本v0.14.0安装torchnumpy的版本不能太高，否则后面安装时会发生冲突。先安装numpy，因为pytorch的安装会自动配置高版本numpy。condainstallnumpy=1.21.5mmtracking支持的torch版本有限，需要找到合适的condainstallpytorch==1.11.0torchvision==0.12.0cudatoolkit=10.2-cpytor
  • linux的安装程序 与 文件 相关的命令 可能只会写BUG c语言c/c++linuxlinux服务器运维
    软件安装卸载命令软件包介绍软件包命名格式dpkg命令apt-get命令apt-get命令压缩和解压命令压缩文件后缀压缩命令打包和解包命令tar命令文件分割命令split命令文件操作相关命令cat命令head命令tail命令more命令less命令管道命令wc命令grep命令find命令cut命令sort命令uniq命令diff命令文件属性命令chmod命令chown命令chgrp命令ln命令硬链接
  • Conda的清理（一下少了14G） Pin_BOY 配置TSC服务器linusanaconda
    一般使用conda命令清理condaclean-p//删除没有用的包（推荐）condaclean-t//tar打包condaclean-y-all//删除全部的安装包及cache如果想看看到底占多大存储空间可以往下看进入Anconda目录，通过命令du-sh*查看当下目录的所占内存为什么pkgs这么大！查阅资料后发现Anaconda文件夹下有个pkgs文件夹。据我观测（没找到正式说明），里面是各种
  • node初 奶瓶SAMA
    www.nodejs.org下载nodejs的安装文件,然后就直接下一步，下一步，下一步傻瓜式安装（打开命令符widow+r输入cmd）node-v查单当前node的版本号安装nodejs时，会自动安装npm包管理工具npm-v查看npm的版本可以直接在黑窗口中输入node然后点击回车以后，就可以输入javascripnt的代码了既然在浏览器鼠标右键中console和在黑窗口中输入node点击回车
  • Windows多版本python共存 翟光 PythonPython
    1.简介Python自从进入3.x版本后，与2.x的版本发生了许多变化，3.x对2.x也不兼容。在实际应用中，可能会2.x和3.x的版本交叉应用，因此，需要在本地安装多个版本的Python。本处介绍一种在Windows系统下安装多个不同版本的python的方法，安装后无需进行任何特殊的处理（例如将python.exe更名为python2.exe什么的）即可使用。2.安装环境本人的安装环境如下：系统
  • 【YashanDB知识库】YashanDB 开机自启 YashanDB YashanDB知识库数据库数据库系统崖山数据库YashanDBoracle
    【问题分类】YashanDB开机自启【关键字】开机自启，依赖包【问题描述】数据库所在服务器重启后只拉起monit、yasom、yasom进程，缺少yasdb进程：【问题原因分析】数据库安装的时候未启动守护进程【解决/规避方法】进入数据库之前的安装目录，启动守护进程：Shellcd/home/yashan/install./bin/yasbootmonitstart--clusteryashandb
  • nginx部署前端项目的一些配置【刚入门】 weixin_30847271 运维前端ViewUI
    前期准备：在linux上安装nginx，我用的是腾讯云centos7服务器，具体的安装过程可以到腾讯云的开发者实验室里体验，自己先试试水。修改nginx.conf配置文件，我用到的修改只是以下的部分。1.端口号2.项目的存放位置server{listen8088default_server;#访问的端口号。listen[::]:8088default_server;server_name_;#ro
  • 基于Prometheus和Grafana的现代服务器监控体系构建 golove666 运维prometheusgrafana服务器
    构建一个基于Prometheus和Grafana的现代服务器监控体系涉及多个步骤。以下是大体的流程和步骤说明：1.Prometheus监控系统Prometheus是一个开源的系统监控和报警工具，专门设计用于抓取时间序列数据。1.1Prometheus的安装Docker安装Prometheusdockerrun-d--name=prometheus-p9090:9090prom/prometheus
  • 手把手教你企业微信SCRM源码下载和私有化部署教程 MoChat-1号 php微信微信公众平台微信开放平台
    服务器要求MoChat对系统环境有一些要求，仅可运行于Linux和Mac环境下，但由于Docker虚拟化技术的发展，在Windows下也可以通过DockerforWindows来作为运行环境，通常来说Mac环境下，我们更推荐本地环境部署，以避免Docker共享磁盘缓慢导致MoChat启动速度慢的问题。提示MoChat基于Docker-compose方式的安装视频https://www.bilibi
  • python离线安装pip 于光yuguang pythonpip开发语言
    如果您的服务器没有互联网连接，您仍然可以通过其他方式将pip安装到服务器上。以下是一种可能的方法：方法一：离线安装下载pip安装文件：在另一台联网的计算机上，下载pip的安装文件（.whl文件）以及其依赖项的安装文件（如果有）。可以从PyPI下载pip的.whl文件。传输文件：将下载的.whl文件和依赖项文件通过USB等方式传输到没有互联网的服务器上。安装pip：在服务器上，使用pip的安装文件进
  • python离线安装一个第三方库 Lhj0616 python相关python第三方库
    文章目录实例步骤下载`xlwt`库将文件转移到目标机器在目标机器上安装`xlwt`验证安装总结步骤可能的问题解决方法检查库的兼容性使用`pip`下载适配特定Python版本的库创建虚拟环境创建虚拟环境（Python3.6）创建虚拟环境（Python3.11）检查和验证库的安装下载多个版本的`.whl`文件总结更新：下载的第三方库有依赖库解决方案实例想离线安装一个第三方库xlwt，python版本分
  • win10配置python环境变量 四月一日 君寻 python
    在使用python时往往要配置环境变量，方便我们进行工作（比如说要使用pip库），如何进行配置呢？小编在此分享下自己的配置过程工具：python过程：第一步在我们的电脑上鼠标右键此电脑，选择属性，进去之后，点击高级系统设置，如下图所示：第二步进去之后，点击环境变量，如下图所示：第三步进去环境变量界面之后，点击path，进行编辑，如下图所示：第四步在path中添加上python的安装路径，倘若读者忘
  • [INSTALL] MSYS2 -- Windows下的类Linux环境 ERIC-ZI 工具类Windowswindowslinux运维
    一、安装1.从https://www.msys2.org/下载安装msys2也可以从镜像:http://mirrors.aliyun.com/msys2/distrib/x86_64/下载最新的安装包msys2-x86_64-20230718.exe2.更新下载源为阿里云sed-i"s#https\?://mirror.msys2.org/#http://mirrors.aliyun.com/ms
  • 学习小组Day4笔记—蓝海松茶 蓝海松茶LHSC
    一、下载安装R和Rstudio1.下载安装RGoogle搜索https://mirrors.tuna.tsinghua.edu.cn/CRAN/选择匹配自己电脑的安装包下载安装一直点下一步，直到安装完成Tips确认自己电脑的用户名是英文名，若不是，请修改2.下载安装RstudioGoogle搜索https://www.rstudio.com/products/rstudio/download/下载
  • Linux下apache的安装 轴儿
    1.获取软件：http://httpd.apache.org/httpd-2.4.25.tar.gz并上传至服务器。运行以上命令时，可能会出现“APRnotfound.”的错误。此时需要下载依赖包。2.下载安装依赖包：创建文件夹：mkdir/usr/httpd-refercd/usr/httpd-refer/下载依赖包：wgethttp://p5osdejt4.bkt.clouddn.com/ap
  • 从零开始！Jupyter Notebook的安装教程 yunquantong jupyteridepython
    以下是从零开始安装JupyterNotebook的教程，适用于Windows、macOS和Linux系统。1.安装PythonJupyterNotebook需要Python环境。你可以从Python官方网站下载并安装Python。Windows用户:运行安装程序时，请确保勾选“AddPythontoPATH”选项。macOS用户:使用安装程序或通过Homebrew安装(brewinstallpyt
  • CentOS下php安装mcrypt扩展 天咋哭了
    （以下步骤均为本人实际操作，可能与你的安装方法有所区别，但我会尽量排除疑惑）大致步骤（1）安装mcrypt，（2）安装php对mcrypt的扩展，（3）重启apache（1）、确认你的linux没有安装mcrypt库，如果已安装，跳过安装步骤[root@test-206~]#yumlistinstalled|grepmcryptlibmcrypt.x86_642.5.8-4.el5.centosi
  • 从零开始!Jupyter Notebook的安装教程 109702008 人工智能编程#pythonjupyter人工智能
    GPT-4o(OpenAI)安装JupyterNotebook是一个相对简单的过程，特别是在大多数现代操作系统（如Windows、macOS和Linux）上。以下是详细的步骤指南，从安装Python开始，到JupyterNotebook的使用。步骤1：安装PythonJupyterNotebook需要Python环境。你可以从[Python官网](https://www.python.org/do
  • 多版本cuda安装及灵活切换详细教程 Fzc_PCL CUDALinux记录cudalinux
    一、首先介绍下我所使用的环境ubuntu18.04+1080ti二、下载安装包1.cudatoolkit下载①环境选择，想要多版本共存的，尽量选择runfile文件进行安装②有些cudatoolkit下载页面，和我上边的一样，没有对应的安装包下载按钮，BaseInstaller中只给了两行命令，如果运行第一行命令的话，下载会比较慢，我是直接复制wget后边的链接在新网页窗口中打开，会自动弹出下载窗
  • 零基础入门AI：一键本地运行各种开源大语言模型 - Ollama AI大模型知识分享 人工智能开源语言模型pytorchgpt-3chatgptopenvino
    什么是Ollama？Ollama是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46kstar。不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。ModelParametersSizeD
  • Mysql 8.0 的主从搭建 一切皆是命，万般不由人 LinuxMySQLmysql数据库服务器
    Mysql8.0的主从搭建上次说到mysql的安装，没有安装好的可以参考这里CentOs7.064mysql8.0安装MYSQL8.0主从搭建Mysql8.0的主从搭建一、为什么需要主从复制？二、什么是mysql的主从复制？三、mysql复制原理四、如何配置？五、配置从服务器登录主服务器的账号授权1.mysql5.0版本设置2.mysql8.0版本设置六、查看主机File和Position的值,并
  • VS2022使用C++20模块功能 水龙月 C++c++visualstudio
    VS2022刚刚升级到了17.2.0的版本，宣称是已完全支持C++20。按默认的安装方式，一般是不会安装标准库的模块文件的，需要打开VisualStudioInstaller，安装单独的“C++模块”组件（在单个组件搜索时一定得加那个空格）。模块安装完成后，按微软的官方文档，将项目属性->C/C++->语言页内：C++语言标准设置成：/std:c++20，启用实验性的C++标准库模块：是(/exp
  • ubuntu opencv 安装 科学的发展-只不过是读大自然写的代码 opencv基础ubuntuopencvlinux
    1.ubuntuopencv安装在Ubuntu系统中安装OpenCV，可以通过多种方式进行，以下是一种常用的安装方法，包括从源代码编译安装。请注意，安装步骤可能会因OpenCV的版本和Ubuntu系统的具体版本而略有不同。一、安装准备更新系统（确保你的Ubuntu系统是最新的）：sudoaptupdatesudoaptupgrade安装必要的依赖项：sudoaptinstallbuild-esse
  • FFmpeg安装与使用教程 vvvae1234 ffmpeg
    FFmpeg是一个强大且灵活的命令行工具，用于处理音频和视频文件。无论是视频格式转换、音频提取还是视频编辑，FFmpeg都能够轻松完成。掌握FFmpeg，将为你的视频处理工作提供极大的便利。在本教程中，我们将详细介绍FFmpeg的安装和使用，包括一些实用的操作案例，帮助你更好地理解如何使用这个强大的工具。2.FFmpeg简介2.1什么是FFmpegFFmpeg是一个开源的音视频处理库，提供了丰富的
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他