aaron1993
aaron1993

sqoop命令

本文是基于hive-1.4.6文档

sqoop从rdbms导数据到hdfs

  1. 连接数据库
    sqoop import --connect jdbc:mysql://database_host/database_name
    使用用户名和密码连接
    sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword
  2. 选择要导入的数据，包括导入的表，要导入的列
    --table table_name指定要导入的表。默认情况下会选择表中的所有列。
    --columns "col1,col2,...,"，选择要导入的列。
    --where condition 选择满足condition的行导入。
  3. 也可以指定一个查询语句，以这个查询语句的结果作为导入的数据：
    --query 'select xxx from xxx where $CONDITION'
    where $CONDITION不是必须的，除非当需要sqoop并行的导入查询语句的结果时，sqoop会根据--split-by指定的列分区，然后将$CONDITION 替换为分区条件。
    使用了where $CONDITION就意味着必须使用--split-by
  4. 并行导入
    sqoop通过运行map-reduce完成数据导入，sqoop需要知道：1. 如何划分mr任务(即没个任务负责导入哪些数据,)；2. 任务并行度.
    • -m num_map 指定任务并行度为num_map，也就是map任务的个数
    • --split-by col_name, 划分mr任务，当指定--split-by时，sqoop会运行select min(col_name), max(col_name) from 来确定col_name范围，返回根据-m选项值平均划分这个范围，作为每个mr任务负责数据范围，
    • 没有指定--split-by时，会根据主键划分
    • 没有主键又没有--split-by时，任务就不能并行的运行，此时必须指定-m 1或者--autoreset-to-one-mapper只运行一个map任务。
    • 控制从rdbms导入数据时事务隔离级别
      sqoop导入数据应该是通过查询语句从rdbms中获取数据，默认的隔离级别是read-commit, 通过--relaxed-isolation将隔离级别降至read-uncommited.
    • 设置输出行格式
      sqoop从rdbms导入然后输出到hdfs上普通的text文件时，总是需要特定分隔符确定rdbms中的一行，以及分隔符确定列。mysql默认是'\n'分割行，','分割列。这种分割方式在数据库列中存在'\n'或者'，'时会出错。
      通过如下选项避免：
      • --enclosed-by 用来包围列的，比如：
      // 假设下面字符串是数据库表中三列，用|隔开每列
      this is a test, must be in one column | 1 | test
      // --enclosed-by '"'，用引号包围每列，假设输出hdfs文件以，分割列
      "this is a test, must be in one column", "1", "test"
      • --escaped-by
        配合上面的一起用，如果列中有字符和enclosed-by指定的一样，使用es
        caped-by，比如：
        // 假设下面字符串是数据库表中三列，用|隔开每列
   this is a test ", must be in one column   |  1  |  test 
 // --enclosed-by '\"' --escaped-by '\\'，用引号包围每列，假设输出hdfs文件以，分割列
  "this is a test \", must be in one column", "1", "test"
   ```
- --fields-terminated-by 
 指定域分割符，也就是输出到hdfs text文件时分割用的，默认 ','
- --lines-terminated-by 
  行分割符，rdbms中一行对应到hdfs text文件中一行，指定行分割符，默认'\n'

## 增量导入
 增量导入有两种模式：1. 导入新加到数据库中的数据；2. 导入修改的数据。
 无论哪种模式都需一个比较基准判断什么数据是新加的（比如大于某个id的都是新加的），或者什么数据是修改的（大于某个时间都是新修改的）。
- `--check-column col` 用于判断的列，检查这个列的值并和基准比较判断是否要被增量导入。
-  `--incremental mode` mode可选：1. append, 只导入新加的数据；2. lastmodified，导入更新的数据。
-  `--last-value`,判断基准，对于append，它可能是整型的id值，大于该id的导入，对于lasmodified它可能是时间戳。

##sqoop从rdbms导入到hive
1. 使用`sqoop import  --hive-import ...`
     目标hive表的名字默认和--table中名字一样。
2. `--hive-overwrite`会在目标hive存在是丢弃其中所有数据。
3. `--create-hive-table `会在目标hive不存在是创建，存在会抛异常
4. `--hive-home path/to/your/hive_home`sqoop会创建hive表，设置hive home，sqoop会使用HIVE_HOME/bin/hive命令
5. 当hive使用文本格式存储数据时，默认的行分隔符为'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果数据库表中列数据中包含这些hive默认分割符，显然存储的数据在hive解析时会出错。
  - --hive-drop-import-delims , 用于import时丢弃rdbms中这个字段丢弃。
  -  --hive-delims-replacement, 用于import时将rdbms中这些分隔符字段替换成另外的。
6. 关与数据库中的列为NULL的字段，默认sqoop会使用字符串"null"表示，而HIVE中NULL使用\N表示，显然使用HIVE SQL ‘is null‘判断会出错。
  - --null-string '\\N'， 用于import时将rdbms中的NULL替换成HIVE使用的'\\N', 这个选项用于rdbms中的string类型的列。
  -  --null-non-string '\\N'，和上面作用一样，设置非string列
  -  --input-null-string，--input-null-non-string,用于从hdfs导出到rdbms时，设置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，将数据导到指定的HIVE表分区， hive-partition-key设置成hive表的分区列，hive-partition-value设置成该列的值。sqoop应该会运行:
    `load data inpath hdfs_path into table table_name partition(par-key=par-value)`

      你可能感兴趣的:(sqoop命令)

      • git常用命令笔记 咩酱-小羊 git笔记
        ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
      • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
        最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
      • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
        目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
      • Git常用命令－修改远程仓库地址 猿大师 LinuxJavagitjava
        查看远程仓库地址gitremote-v返回结果originhttps://git.coding.net/＊＊＊＊＊.git(fetch)originhttps://git.coding.net/＊＊＊＊＊.git(push)修改远程仓库地址gitremoteset-urloriginhttps://git.coding.net/＊＊＊＊＊.git先删除后增加远程仓库地址gitremotermori
      • log4j配置 yy爱yy
        #log4j.rootLogger配置的是大于等于当前级别的日志信息的输出#log4j.rootLogger用法:（注意appenderName可以是一个或多个）#log4j.rootLogger=日志级别,appenderName1,appenderName2,....#log4j.appender.appenderName2定义的是日志的输出方式，有两种：一种是命令行输出或者叫控制台输出，另一
      • 01-Git初识 Meereen Gitgit
        01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
      • docker igotyback eureka云原生
        Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
      • mac电脑命令行获取电量 小米人er 我的博客macos命令行
        在macOS上，有几个命令行工具可以用来获取电量信息，最常用的是pmset命令。你可以通过以下方式来查看电池状态和电量信息：查看电池状态：pmset-gbatt这个命令会返回类似下面的输出：Nowdrawingfrom'BatteryPower'-InternalBattery-0(id=1234567)95%;discharging;4:02remainingpresent:true输出中包括电
      • 【Git】常见命令(仅笔记) 好想有猫猫 GitLinux学习笔记git笔记elasticsearchlinuxc++
        文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
      • 简介Shell、zsh、bash zhaosuningsn Shellzshbashshelllinuxbash
        Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
      • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
        1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
      • CentOS的根目录下，/bin 和 /sbin 用途和权限 Energet!c Linux日常centoslinux运维
        CentOS的根目录下，/bin和/sbin用途和权限一、/bin(Binary)二、/sbin(SystemBinary)三、总结在CentOS的根目录下，/bin和/sbin目录有不同的用途和权限一、/bin(Binary)用途:存放系统的基本命令，这些命令对所有用户都是可用的。例如：ls、cp、mv、rm等。权限:普通用户和系统管理员都可以使用这些命令。二、/sbin(SystemBinar
      • Some jenkins settings SnC_
        Jenkins连接到特定gitlabproject的特定branch我采用的方法是在pipeline的script中使用git命令来指定branch。如下：stage('Clonerepository'){steps{gitbranch:'develop',credentialsId:'gitlab-credential-id',url:'http://gitlab.com/repo.git'}}
      • Linux sh命令 fengyehongWorld Linuxlinux
        目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
      • Linux vi常用命令 fengyehongWorld Linuxlinux
        参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
      • MongoDB知识概括 GeorgeLin98 持久层mongodb
        MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
      • 【Bugs】Python：“ModuleNotFoundError: No module named ‘XXX‘” 系'辞 工具箱pythonbuganaconda
        问题描述Python使用库的前提是必须已安装了相应的库，往往利用“命令行指令”实现安装，一般安装解法类似。但，还是具有延伸问题，本博客对此作记录。【1】Nomodulenamed‘seaborn’(1.1):情况1：为Anaconda安装【图1-2】.定位Anaconda路径【图3】.Anaconda路径加入Path>&
      • Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python开发语言
        在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
      • ubuntu安装wordpress lissettecarlr
        1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
      • python结束子进程_如何清除python中的子进程 weixin_39995943 python结束子进程
        我们使用python进程来管理长时间运行的python子进程。有时需要终止子进程。kill命令不会完全终止进程，只会使其失效。运行以下脚本将演示此行为。importsubprocessp=subprocess.Popen(['sleep','400'],stdout=subprocess.PIPE,shell=False)或者p=subprocess.Popen('sleep400',stdout
      • 解决Obsidian写笔记中的＜img＞标签无法显示图片的问题 全能全知者 笔记
        Obsidian中写md笔记如果使用标签会显示不出图案，后来才知道因为Obsidian的问题导致只能用绝对路径定位。所以我本人写了一个py插件，将md笔记里的img标签批量替换成Obsidian能够读取的形式。安装FixObsImgDpy:pipinstallFixObsImgDpy安装完成后在需要修复的md文件的父目录下运行命令:FixObsImgDpy就会自动修复父目录以下的全部md文件 仓库
      • pyhon+ffmpeg 常用音视频处理命令 不再游移 ffmpeg音视频python
        FFmpeg是多媒体领域的万能工具。只要涉及音视频领域的处理，基本上没有它做不了的事情！通俗点讲，从视频录制、视频编辑再到播放，它都能做！前段时间做了个短视频自动化脚本项目，需要自动处理音视频（包括一些合成、拼接、转场、调色等等），当时做的时候找各种命令还是很痛苦的，因此对用到的所有处理命令做了个汇总，方便以后使用。目录一、获取音频时长二、获取视频信息三、获取视频时长四、多个视频合并五、视频提取视
      • NPM私库搭建-verdaccio（Linux） Beam007 npmlinux前端
        1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
      • linux脚本sed替换变量,sed 命令中替换值为shell变量 诺坎普之约 linux脚本sed替换变量
        文章目录sed命令中替换值为shell变量替换基本语法sed中替换使用shell变量总结参考文档sed命令中替换值为shell变量替换基本语法大家都是sed有很多用法，最多就应该是替换一些值了。让我们先回忆sed的替换语法。在sed进行替换的时候sed-i's/old/new/g'1.txtecho"hellooldfrank"|sed's/old/new/g'结果如下：hellonewfrank
      • Dockerfile命令详解之 FROM 清风怎不知意 容器化java前端javascript
        许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
      • Dockerfile（1） - FROM 指令详解 小菠萝测试笔记 dockerpythonjavacmd大数据
        FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
      • Shell脚本中sed使用 jcrhl321 linux
        目录一、sed编辑器1、sed概述2、sed的工作流程3、sed命令的常见格式4、sed命令常用操作二、sed常用命令使用1、sed打印2、sed删除3、sed替换4、sed插入与增加4、sed剪切粘贴与复制粘贴一、sed编辑器sed（StreamEDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出
      • linux 安装Sublime Text 3 hhyiyuanyu Python学习linuxsublimetext
        方法/步骤打开官网http://www.sublimetext.com/3，选择64位进行下载执行命令wgethttps://download.sublimetext.com/sublime_text_3_build_3126_x64.tar.bz2进行下载3、下载完成进行解压,执行tar-xvvfsublime_text_3_build_3126_x64.tar.bz解压4、解压完成以后，移动到
      • ubuntu22.04环境中安装pylint 歪歪的酒壶 pythonlinux开发语言
        ubuntu22.04环境中安装pylintsudoapt-getinstallpython3-pipsudoaptitudeinstallpython3-pipsudopipinstallpylintsudoapt-getinstallpython3-pip在安装pylint的时候，需要使用pip命令，在ubuntu22.04环境中命令如下：$sudoapt-getinstallpython3-
      • 使用selenium调用firefox提示Profile Missing的问题解决 歪歪的酒壶 selenium测试工具python
        在Ubuntu22.04环境中，使用python3运行selenium提示ProfileMissing，具体信息为：YourFirefoxprofilecannotbeloaded.Itmaybemissingorinaccessible在这个问题的环境中firefox浏览器工作正常。排查中，手动在命令行执行firefox可以打开浏览器，但是出现如下提示Gtk-Message:15:32:09.9
      • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
        昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
      • android 网络 百合不是茶 网络
        android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
      • [读书笔记]读法拉第传 comsci 读书笔记
              1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
      • 随机数的产生 沐刃青蛟 随机数
        c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
      • PHP检测函数所在的文件名 IT独行者 PHP函数
        很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
      • 银行各系统功能简介 文强chu 金融
        银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
      • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
            最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
      • php 数组 aichenglong PHP排序数组循环多维数组
        1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
      • 安装python2.7 AILIKES python
        安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
      • java异常的处理探讨 百合不是茶 JAVA异常
        //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
      • getElementsByName实例 bijian1013 element
        实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
      • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
                参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
      • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
        1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
      • 【Spark八十一】Hive in the spark assembly bit1129 assembly
        Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
      • Nginx问题定位之监控进程异常退出 ronin47
        nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
      • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
        方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
      • Netty源码学习-DefaultChannelPipeline bylijinnan netty
        package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
      • MYSQL数据库常用备份及恢复语句 chicony mysql
        备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
      • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
            之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
      • hadoop 平衡空间设置方法 daizj hadoopbalancer
        在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
      • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
          判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
      • Android学习之路 dcj3sjt126com Android学习
        转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
      • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
        转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
      • 【精典】数据库相关相关 gengzg 数据库
        package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
      • 自动补全 huyana_town 自动补全
        <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
      • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
        最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
      • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
          使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
      • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
        以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
      • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
        　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
      • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
        /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul