aaron1993
aaron1993

sqoop命令

本文是基于hive-1.4.6文档

sqoop从rdbms导数据到hdfs

  1. 连接数据库
    sqoop import --connect jdbc:mysql://database_host/database_name
    使用用户名和密码连接
    sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword
  2. 选择要导入的数据，包括导入的表，要导入的列
    --table table_name指定要导入的表。默认情况下会选择表中的所有列。
    --columns "col1,col2,...,"，选择要导入的列。
    --where condition 选择满足condition的行导入。
  3. 也可以指定一个查询语句，以这个查询语句的结果作为导入的数据：
    --query 'select xxx from xxx where $CONDITION'
    where $CONDITION不是必须的，除非当需要sqoop并行的导入查询语句的结果时，sqoop会根据--split-by指定的列分区，然后将$CONDITION 替换为分区条件。
    使用了where $CONDITION就意味着必须使用--split-by
  4. 并行导入
    sqoop通过运行map-reduce完成数据导入，sqoop需要知道：1. 如何划分mr任务(即没个任务负责导入哪些数据,)；2. 任务并行度.
    • -m num_map 指定任务并行度为num_map，也就是map任务的个数
    • --split-by col_name, 划分mr任务，当指定--split-by时，sqoop会运行select min(col_name), max(col_name) from 来确定col_name范围，返回根据-m选项值平均划分这个范围，作为每个mr任务负责数据范围，
    • 没有指定--split-by时，会根据主键划分
    • 没有主键又没有--split-by时，任务就不能并行的运行，此时必须指定-m 1或者--autoreset-to-one-mapper只运行一个map任务。
    • 控制从rdbms导入数据时事务隔离级别
      sqoop导入数据应该是通过查询语句从rdbms中获取数据，默认的隔离级别是read-commit, 通过--relaxed-isolation将隔离级别降至read-uncommited.
    • 设置输出行格式
      sqoop从rdbms导入然后输出到hdfs上普通的text文件时，总是需要特定分隔符确定rdbms中的一行，以及分隔符确定列。mysql默认是'\n'分割行，','分割列。这种分割方式在数据库列中存在'\n'或者'，'时会出错。
      通过如下选项避免：
      • --enclosed-by 用来包围列的，比如：
      // 假设下面字符串是数据库表中三列，用|隔开每列
      this is a test, must be in one column | 1 | test
      // --enclosed-by '"'，用引号包围每列，假设输出hdfs文件以，分割列
      "this is a test, must be in one column", "1", "test"
      • --escaped-by
        配合上面的一起用，如果列中有字符和enclosed-by指定的一样，使用es
        caped-by，比如：
        // 假设下面字符串是数据库表中三列，用|隔开每列
   this is a test ", must be in one column   |  1  |  test 
 // --enclosed-by '\"' --escaped-by '\\'，用引号包围每列，假设输出hdfs文件以，分割列
  "this is a test \", must be in one column", "1", "test"
   ```
- --fields-terminated-by 
 指定域分割符，也就是输出到hdfs text文件时分割用的，默认 ','
- --lines-terminated-by 
  行分割符，rdbms中一行对应到hdfs text文件中一行，指定行分割符，默认'\n'

## 增量导入
 增量导入有两种模式：1. 导入新加到数据库中的数据；2. 导入修改的数据。
 无论哪种模式都需一个比较基准判断什么数据是新加的（比如大于某个id的都是新加的），或者什么数据是修改的（大于某个时间都是新修改的）。
- `--check-column col` 用于判断的列，检查这个列的值并和基准比较判断是否要被增量导入。
-  `--incremental mode` mode可选：1. append, 只导入新加的数据；2. lastmodified，导入更新的数据。
-  `--last-value`,判断基准，对于append，它可能是整型的id值，大于该id的导入，对于lasmodified它可能是时间戳。

##sqoop从rdbms导入到hive
1. 使用`sqoop import  --hive-import ...`
     目标hive表的名字默认和--table中名字一样。
2. `--hive-overwrite`会在目标hive存在是丢弃其中所有数据。
3. `--create-hive-table `会在目标hive不存在是创建，存在会抛异常
4. `--hive-home path/to/your/hive_home`sqoop会创建hive表，设置hive home，sqoop会使用HIVE_HOME/bin/hive命令
5. 当hive使用文本格式存储数据时，默认的行分隔符为'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果数据库表中列数据中包含这些hive默认分割符，显然存储的数据在hive解析时会出错。
  - --hive-drop-import-delims , 用于import时丢弃rdbms中这个字段丢弃。
  -  --hive-delims-replacement, 用于import时将rdbms中这些分隔符字段替换成另外的。
6. 关与数据库中的列为NULL的字段，默认sqoop会使用字符串"null"表示，而HIVE中NULL使用\N表示，显然使用HIVE SQL ‘is null‘判断会出错。
  - --null-string '\\N'， 用于import时将rdbms中的NULL替换成HIVE使用的'\\N', 这个选项用于rdbms中的string类型的列。
  -  --null-non-string '\\N'，和上面作用一样，设置非string列
  -  --input-null-string，--input-null-non-string,用于从hdfs导出到rdbms时，设置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，将数据导到指定的HIVE表分区， hive-partition-key设置成hive表的分区列，hive-partition-value设置成该列的值。sqoop应该会运行:
    `load data inpath hdfs_path into table table_name partition(par-key=par-value)`

      你可能感兴趣的:(sqoop命令)

      • Ubuntu 常用解压、压缩命令 PlanOne_A Ubuntuubuntubashunix
        .tar文件#仅打包，并非压缩tar-xvfFileName.tar#解包tar-cvfFileName.tarDirName#将DirName和其下所有文件（夹）打包.gz文件#.gzgunzipFileName.gz#解压1gzip-dFileName.gz#解压2gzipFileName#压缩，只能压缩文件.tar.gz文件、.tgz文件#.tar.gz和.tgztar-zxvfFileNa
      • origin和python有什么不同_python爬虫之git的使用（origin说明） weixin_39878760
        1、首先我们回忆两个命令#gitremoteaddorigin远程仓库链接#gitpush-uoriginmaster我们一起看看这个命令，git是git的一级命令，push就是下载，-u应该使用用账户验证maser就是分支的名字(前面我们说过)，那么这个origin是个什么鬼？大家看看下面的这个5毛钱图，就能发现，其实origin就是远程仓库的名称。如果不相信在看看我的配置文件#vi.git/c
      • YOLO 安装 并且命令行指定配置文件 ELI_He999 python人工智能YOLO人工智能深度学习
        pipinstallultralyticssettings.yaml保存到当前目录，data参数yolo命令行指定配置文件{"settings_version":"0.0.6","datasets_dir":"xxxx\\datasets","weights_dir":"xxxx\\weights","runs_dir":"xxxx\\runs","uuid":"xxxx","sync":true
      • 【Mac】Python相关知识经验 水银嘻嘻 Pythonmacospython开发语言
        一、给Python3安装第三方库mac下给Python3安装第三方库pillow，处理图片【安装方式】：终端中输入命令：python3-mpipinstallpillow按回车，等待pillow下载安装NOTE:其他模块同理，如pytesseract二、Python版本升级1.终端执行命令：brewinstallpython32.安装Python3版本成功后，系统默认的仍旧是之前的版本，注意不要去
      • Hadoop、Hive、Hbase集群间的数据迁移 这个操蛋的人生！！！
        一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73:50070/hive3/20171008/hive3/如果两个集群的版本相同，则可以使用hdfs协议，命令如下：hadoopdistcphdfs://namenodeip:9000/foohdfs
      • VASP6.3.2和6.4.3安装问题 江河盈满 开源软件
        在参考B站的VASP安装教程，运行“makeDEPS=1-j8”命令时报错在运行“makeDEPS=1-j8”之前，已做了以下修改vimakefile.include#进入makefile文件#将文件中的“icc”修改为“icx”，“icpc”修改为“icpx”#将文件中的“xHost”替换成了“-march=core-avx2”，如下图所示在运行“makeDEPS=1-j8”时报错提示“fpp:
      • python处理excel的具体操作 若木胡 toolspython
        安装相关库openpyxl库：用于读取和写入Excel文件（.xlsx/.xlsm）。可以使用pipinstallopenpyxl命令进行安装。pandas库：提供了高效的数据结构和数据分析工具，它对openpyxl进行了封装，使操作Excel文件更加方便。安装命令是pipinstallpandas。使用openpyxl读取Excel文件打开工作簿：首先要导入openpyxl库，然后使用load_
      • GaussDB 24.1.30 分布式3节点命令行方式部署（1） 没有星期叭 gaussdb分布式
        GaussDB介绍华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。服务器环境–查操作系统版本cat/etc/.kyinfo
      • .NET 9 微软官方推荐使用 Scalar 替代传统的 Swagger zzlyx99 microsoft.netjavascript
        在.NET9中，微软官方推荐使用Scalar替代传统的Swagger（Swashbuckle）作为API文档和交互工具。Scalar是一个现代化的API平台，支持OpenAPI/Swagger规范，提供精美的文档界面和强大的功能。一、如何在.NET9中集成Scalar安装Scalar.AspNetCore包在项目中安装Scalar.AspNetCoreNuGet包。可以通过以下命令完成：bash复
      • Django学习笔记 mengmwng Djangodjango学习笔记
        学习视频来源：最新Python的web开发全家桶代码仓库：https://gitee.com/m_engmeng/django-learning1.创建项目Django中项目会有一些默认的文件和文件夹1.1在终端打开终端进入某个目录(项目放在哪里)输入命令——创建项目(最后一个参数是项目名)django-adminstartprojectmysite继续输入——创建app（最后一个参数是app所处
      • MySQL常用命令大全 DK_521 数据库mysql数据库
        目录1、mysql服务的启动和停止2、登陆mysql3、增加新用户4、操作数据库Ⅰ、显示数据库列表:Ⅱ、显示库中的数据表：Ⅲ、显示数据表的结构：Ⅳ、建库与删库：Ⅴ、建表与删表：Ⅵ、清空表中记录：Ⅶ、显示表中的记录：Ⅷ、往表中加入记录：Ⅹ、更新表中数据5、导出和导入数据Ⅰ.导出数据：Ⅱ.导入数据:Ⅲ.将文本数据导入数据库:6、退出MYSQL命令打开Linux或MacOS的Terminal（终端）直接
      • Maven修改默认编码格式UTF-8 程柯梦想 mavenjava
        文章目录查看当前编码格式修改编码格式查看修改后编码查看当前编码格式cmd命令C:\Users>mvn-vApacheMaven3.9.9(8e8579a9e76f7d015ee5ec7bfcdc97d260186937)Mavenhome:D:\develop\apache-maven-3.9.9Javaversion:1.8.0_421,vendor:OracleCorporation,runt
      • 【MYSQL】mysql 常用命令 roman_日积跬步-终至千里 常用命令mysql数据库
        文章目录1.数据库管理命令2.表管理命令3.数据操作命令4.数据查询进阶5.用户与权限管理6.使用脚本操作数据库1.数据库管理命令--查看所有数据库SHOWDATABASES;--创建数据库CREATEDATABASE数据库名;--选择数据库USE数据库名;--删除数据库DROPDATABASE数据库名;2.表管理命令--查看所有表SHOWTABLES;--查看表结构DESCRIBE表名;--或S
      • vim在命令模式下的查找功能 千航@abc vim编辑器linux
        /ab从上往下n下一个N上一个示例：在命令模式下直接点击键盘上的/就可以进行查找，比如我要查找a，输入a后再回车，就可以检索出文件中所有和a有关的内容。?ab从下往上N下一个n上一个示例：和上图相同，这里就不再做示范，唯一的区别就是一个是？一个是/，其他的没有什么区别，功能完全一致，使用哪个就看个人的喜好了。（vim查找如何不区分大小写：vim查找如何忽略字母的大小写-CSDN博客）
      • 【2024最新】Arduino通过Python进行串口通信控制电机 YLCHUP Arduinopython单片机开发语言c++arduino人工智能硬件工程
        1.背景最近想研究一下用Python控制Arduino的技术，通过上网查询，发现可以用Python中的serial库来实现和Arduino主板的串口通信，从而控制Arduino。特此记录一下这个小项目的过程及出现的问题。2.基础准备主板：ArduinoAVR开发板配件：LED灯、按钮、电机Python版本：Python3.8.1所需类库：Python-serial（安装：命令行输入pipinsta
      • 【Docker系列】容器基础、Docker镜像管理_docker 博客镜像 2401_86963185 docker容器运维
        2容器基础2.1Docker镜像查找命令查找dockersearchmysqldocker官网查找https://hub.docker.com2.2Docker镜像管理拉取MySQL镜像dockerpullmysql:latest查看本地镜像dockerimages镜像加速（阿里云）sudomkdir-p/etc/dockersudotee/etc/docker/daemon.json<<-'EO
      • 融云IM干货丨在SwiftUI中集成IMKit，集成IMKit的基本步骤有哪些 融云im即时通讯
        创建项目：打开Xcode并创建一个新的Swift项目。RongCloudIM/IMKit支持Swift，确保你的项目设置为使用Swift语言。安装IMKit：你可以通过CocoaPods来安装iOS版本的IMKit（含UISDK）。在Podfile中添加以下内容：rubypod'RongCloudIM/IMKit','~>x.y.z'然后，在终端中运行以下命令：podrepoupdatepodin
      • 56.命令绑定 C#例子 WPF例子 军训猫猫头 c#wpf开发语言
        一共是两个控件，绑定了属性和命令。用的是最简做法创建依赖：publicclassRelayCommand:ICommand{privatereadonlyAction_execute;publiceventEventHandlerCanExecuteChanged;publicRelayCommand(Actionexecute)=>_execute=execute;publicboolCanEx
      • Linux lsblk 命令详解 linux
        简介Linux中的lsblk命令，全称叫做：listblockdevices用于列出块设备的信息，如硬盘、ssd盘及其分区。它提供了系统上所有块设备的树形结构，显示了它们的安装方式、大小和类型。lsblk命令读取sysfs文件系统和udevdb收集信息。如果udevdb不可用或在没有udev支持的情况下编译lsblk，然后它尝试读取来自块设备的标签、uuid和文件系统类型基础语法lsblk[opt
      • linux 扩容 未来之窗软件服务 linux运维centos
        tmpfstmpfs82M082M0%/run/user/1002tmpfstmpfs82M082M0%/run/user/0[输入命令]#fdisk-luDisk/dev/vda:40GiB,42949672960bytes,83886080sectorsUnits:sectorsof1*512=512bytesSectorsize(logical/physical):512bytes/512b
      • 安卓动态设置Unity图形API Jack Yan Unity进阶androidunity游戏引擎
        命令行方式Unity图像api设置为自动，安卓动态设置Vulkan、OpenGLESUnity设置安卓设置创建自定义活动并将其设置为应用程序入口点。在自定义活动中，覆盖字符串UnityPlayerActivity。updateunitycommandlineararguments（StringcmdLine）方法。在该方法中，将cmdLine参数与您自己的启动参数连接起来，然后返回结果。重要：cm
      • 在Python中运行JavaScript代码（使用execjs模块） 飞起来fly呀 Pythonpython开发语言
        使用execjs模块可以在Python中运行JavaScript代码。以下是使用execjs模块的基本步骤：1.安装execjs模块:可以使用pip命令进行安装:pipinstall execjs2.导入execjs模块:import execjs3.使用compile方法可以将JavaScript代码编译为可执行的函数compiled_func = execjs.compile(code)#执行
      • Python快速使用js接口 程序媛小本 pythonjavascriptudp
        在跨语言编程和Web开发中，Python和JavaScript是两种常用的编程语言。有时候，我们可能需要在Python环境中执行JavaScript代码。这就是execjs库发挥作用的地方。一、安装ExecJS在命令行中输入以下命令：pipinstallPyExecJS二、ExecJS的基本使用ExecJS支持多种JavaScript运行时环境，包括Node.js、SpiderMonkey、Web
      • Linux 如何使用dd命令来复制和转换数据？ 我是唐青枫 Linuxlinux服务器运维
        简介Linux中的dd命令是一个功能强大的数据复制和转换实用程序。它以较低级别运行，通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务。dd全称可以为：dataduplicator、diskdestroyer和DataDefinition功能和能力磁盘映像：创建整个磁盘或分区的精确、逐位副本数据擦除：使用零或随机数据安全地覆盖驱动器文件转换：ASCII和EBCDIC之间的转换、字节顺序
      • git 回退远端的分支 hss2799 git
        要将Git远端的分支（例如dev-windows）回退到特定的提交（例如61e836f3bfc04688a56fc6dca601c7d56c395cc8(通过gitlog可以查看)），可以按照以下步骤操作：1.回退到指定提交并更新本地分支首先，确保你有最新的远端分支信息。你可以使用以下命令拉取远端更新：gitfetchorigin然后，切换到你要回退的分支（本地需要和远端分支同名）：gitchec
      • git 回退代码 John_desheng git版本控制gitgithub
        Gitpush在使用gitcommit命令将修改从暂存区提交到本地版本库后，只剩下最后一步将本地版本库的分支推送到远程服务器上对应的分支了，如果不清楚版本库的构成，可以查看我的另一篇，git仓库的基本结构。gitpush的一般形式为gitpush，例如gitpushoriginmaster：refs/for/master，即是将本地的master分支推送到远程主机origin上的对应master分
      • linux开启samba共享文件夹 linux运维samba
        一：安装samba#检查是否安装sambarpm-qisamba #如未安装，使用命令安装yuminstallsamba二：系统用户配置#添加系统用户useraddyouboshare#设置系统用户登陆密码passwdyouboshare#添加共享文件夹的用户(youboshare为要共享的用户)smbpasswd-ayouboshare三：配置共享文件夹1：添加共享文件夹并设置权限#创建共享文件
      • 【Pip】深入理解 `requirements.txt` 文件：Python 项目依赖管理的核心工具 丶2136 #pippippython
        目录引言1.什么是`requirements.txt`？2.创建`requirements.txt`文件2.1手动创建2.2使用`pipfreeze`命令2.3使用`pipreqs`生成2.4使用`pipenv`或`poetry`3.安装依赖4.版本管理与更新4.1版本管理的最佳实践5.依赖关系的管理5.1使用`pip-tools`5.2使用虚拟环境5.3使用Docker5.4`requireme
      • Linux中的相关命令 向上_50358291 linux运维服务器
        1、adbshelldumpsysactivitylru//查看最近的应用排列顺序2、adbshelldumpsysactivitytop//打印activity堆栈信息3、adbshelldumpsysactivity|grep“mFocuse”//只打印TopActivity信息4、adbshellamstart-ncom.example.myapplication/.MainActivity
      • ADB相关命令 张一一呀 adb
        1.列出所有包名：adbshellpmlistpackages2.查看当前运行的包名：adbshelldumpsysactivityactivities|grepmFocusedActivityadbshelldumpsysactivityactivities|sed-En-e'/Runningactivities/,/Run#0/p'1、查看连接的设备adbdevices该命令可以查看连接的ad
      • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
        昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
      • android 网络 百合不是茶 网络
        android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
      • [读书笔记]读法拉第传 comsci 读书笔记
              1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
      • 随机数的产生 沐刃青蛟 随机数
        c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
      • PHP检测函数所在的文件名 IT独行者 PHP函数
        很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
      • 银行各系统功能简介 文强chu 金融
        银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
      • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
            最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
      • php 数组 aichenglong PHP排序数组循环多维数组
        1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
      • 安装python2.7 AILIKES python
        安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
      • java异常的处理探讨 百合不是茶 JAVA异常
        //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
      • getElementsByName实例 bijian1013 element
        实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
      • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
                参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
      • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
        1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
      • 【Spark八十一】Hive in the spark assembly bit1129 assembly
        Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
      • Nginx问题定位之监控进程异常退出 ronin47
        nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
      • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
        方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
      • Netty源码学习-DefaultChannelPipeline bylijinnan netty
        package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
      • MYSQL数据库常用备份及恢复语句 chicony mysql
        备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
      • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
            之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
      • hadoop 平衡空间设置方法 daizj hadoopbalancer
        在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
      • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
          判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
      • Android学习之路 dcj3sjt126com Android学习
        转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
      • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
        转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
      • 【精典】数据库相关相关 gengzg 数据库
        package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
      • 自动补全 huyana_town 自动补全
        <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
      • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
        最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
      • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
          使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
      • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
        以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
      • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
        　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
      • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
        /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul