weixin_30777913
weixin_30777913

本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装Apache Hive的Linux服务器集群，它可以连接到一个SQL Server RDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQL Server RDS数据库。

以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQL Server RDS：

1. 安装Sqoop

步骤：

  1. 下载Sqoop
    前往Apache Sqoop下载页面，选择稳定版本（如1.4.7）：

    wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop

  2. 配置环境变量
    编辑~/.bashrc或/etc/profile：

    export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

    应用配置：

    source ~/.bashrc

  3. 验证安装

    sqoop version

2. 配置SQL Server JDBC驱动

步骤：

  1. 下载驱动
    从Microsoft下载JDBC驱动，选择最新版本（如mssql-jdbc-12.2.0.jre8.jar）。

  2. 复制驱动到Sqoop的lib目录

    cp mssql-jdbc-12.2.0.jre8.jar $SQOOP_HOME/lib/

  3. 测试连接

    sqoop list-databases \
--connect "jdbc:sqlserver://:;databaseName=" \
--username <USER> \
--password <PASSWORD>

    替换, , , , 为实际值。

3. 生成SQL Server表结构

步骤：

  1. 获取Hive表列表

    hive -e 'SHOW TABLES;' > hive_tables.txt

  2. 生成SQL Server DDL
    编写脚本generate_ddl.sh：

    #!/bin/bash
while read table; do
  # 获取Hive表结构
  hive -e "DESCRIBE FORMATTED $table" > describe_$table.txt
  
  # 转换为SQL Server DDL（示例，需根据实际类型调整）
  awk '/^col_name/{getline; while($0 !~ /^#/) {print $0; getline}}' describe_$table.txt | 
  awk '{printf "%s %s,\n", $1, 
    ($2 == "string") ? "VARCHAR(255)" : 
    ($2 == "int") ? "INT" : 
    ($2 == "timestamp") ? "DATETIME" : 
    "VARCHAR(255)"}' | 
  sed '$s/,$//' > $table.sql
  
  echo "CREATE TABLE $table (" > ddl_$table.sql
  cat $table.sql >> ddl_$table.sql
  echo ");" >> ddl_$table.sql
done < hive_tables.txt

    运行脚本：

    chmod +x generate_ddl.sh
./generate_ddl.sh

  3. 在SQL Server中创建表
    使用sqlcmd或客户端工具执行生成的DDL。

4. 使用Sqoop导出数据

步骤：

  1. 获取Hive表HDFS路径
    通常路径为：/user/hive/warehouse/.db/

    。确认路径：

    hdfs dfs -ls /user/hive/warehouse/

  2. 导出命令示例
    编写脚本export_all.sh：

    #!/bin/bash
while read table; do
  sqoop export \
  --connect "jdbc:sqlserver://:;databaseName=" \
  --username <USER> \
  --password <PASSWORD> \
  --table $table \
  --export-dir /user/hive/warehouse/<database>.db/$table \
  --input-fields-terminated-by '\001' \
  --input-lines-terminated-by '\n' \
  -m 4
done < hive_tables.txt

    替换占位符并运行：

    chmod +x export_all.sh
./export_all.sh

    3. 5. 验证数据

    • 在SQL Server中查询记录数：
      SELECT COUNT(*) FROM <table>;
    • 检查数据一致性，对比Hive和SQL Server的数据样本。

    常见问题处理

    • 数据类型不匹配：调整DDL中的类型映射。
    • 分隔符错误：使用--input-fields-terminated-by指定正确的分隔符（Hive默认\001）。
    • 连接超时：增加--connection-param-file中的超时设置。
    • 权限问题：确保Hadoop用户有权访问HDFS路径，SQL Server用户有写入权限。

    完整流程图

    安装Sqoop → 配置JDBC驱动 → 生成Hive表列表 → 转换DDL → 创建SQL表 → Sqoop导出数据 → 验证

    通过以上步骤，您可以将Hive中的所有表数据迁移到SQL Server RDS。根据数据量和网络情况，可能需要调整并行度（-m参数）和内存设置。

    你可能感兴趣的:(数据库,数据仓库,hive,sqlserver)

    • django数据迁移失败，数据库未创建 No changes detected 随心但不率性 djangopython后端
      接手一个django新项目，启动服务前首先需要做数据迁移python3manage.pymakemigrationspython3manage.pymigrate如果执行上述命令后需要的数据表未创建，且报Nochangesdetected可以检查下每个app目录下是否有migrations目录，若没有，则需要新建，且在该目录下创建文件__init__.py该文件可以为空migrations/__i
    • flutter 中使用什么本地数据存储 草明 Flutterflutter
      在Flutter中，你可以使用多种本地数据存储方式来保存和管理应用程序的数据。以下是一些常用的本地数据存储方式：1.SharedPreferences：shared_preferences包是Flutter的一个插件，用于在应用程序的持久化存储中存储小量的键值对数据。这对于存储用户偏好设置和应用程序配置等数据非常有用。2.SQLite：SQLite是一个轻量级的关系型数据库引擎，可以嵌入到Flut
    • Django数据迁移 jay丿 django数据库sqlite
      在Django中，数据迁移是一个核心功能，它允许你通过定义模型（Models）来自动生成数据库表，并且能够随着模型的变化更新数据库结构。下面是对上述命令的详细解释和扩写，以及一些额外的注意事项和技巧。1.检查应用下的模型是否存在异常在执行任何迁移之前，确保你的模型没有语法错误或逻辑问题是很重要的。你可以使用以下命令来检查特定应用下的模型：pythonmanage.pycheckappNameapp
    • 开源项目austin学习day01 努力向前ing 开源项目austin学习学习开源
      尝试本地运行项目，遇到如下几个报错：1.om.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:Couldnotcreateconnectiontodatabaseserver.Attemptedreconnect3times.Givingup.问题：jdbc版本与数据库版本不匹配解决方案：更改配置中的jdbc版本使与
    • 面试题-秒杀系统的设计 java路飞 面试复习java面试秒杀系统
      文章目录什么是秒杀经典秒杀问题1.如何防止超卖？2.如何防止恶意请求？3.如何提高系统的并发能力？4.如何保证数据的一致性？你如何设计一个秒杀系统1.系统架构设计2.数据库设计3.秒杀流程设计4.安全性设计总结什么是秒杀秒杀是一种特殊的电商营销活动，通常指在一个短暂时间内，以极低的价格售卖限量商品的一种销售模式。秒杀活动通常会吸引大量用户参与，因此需要系统具备高并发、高可用和高性能等特点。在秒杀活
    • 【自学笔记】大数据基础知识点总览-持续更新 Long_poem 笔记大数据
      提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览1.大数据概述定义：大数据是指数据量巨大、类型多样、处理速度快的数据集合。特征：4V（Volume、Velocity、Variety、Veracity）描述了大数据的主
    • 说下 Oracle 的导入导出有几种方式，有何区别？思维导图 代码示例（java 架构) 用心去追梦 oraclejava架构
      在Oracle数据库中，导入（Import）和导出（Export）数据是日常维护和迁移任务中的重要操作。Oracle提供了多种工具来完成这些任务，每种工具都有其特点和适用场景。以下是几种常见的导入导出方式及其区别。Oracle导入导出方式DataPump(expdp/impdp)：这是Oracle10g及之后版本推荐使用的高效工具。传统Export/Import(exp/imp)：适用于早期版本的
    • 类似于 FastAdmin的快速后台开发框架都有哪些 zhangfeng1133 php
      类似于FastAdmin，能够根据数据表直接生成程序、语言包和界面的框架，确实存在一些其他的选项。以下是一些推荐：ThinkPHP框架的扩展与工具：除了FastAdmin，ThinkPHP作为一个流行的PHP框架，有很多扩展和工具可以帮助你实现根据数据表自动生成代码的功能。你可以查找一些基于ThinkPHP的CRUD生成器或者代码生成器，它们通常能够根据你的数据库表结构快速生成对应的控制器、模型、
    • 【Django REF】Django REF 常用知识点汇总 小C学安全 Pythondjangosqlite数据库
      1.序列化器（Serializers）1.1自定义字段1.1.1、直接继承**serializers.Field**并重写关键方法通过继承serializers.Field类，并重写to_representation和to_internal_value方法来实现自定义序列化逻辑。to_representation用于控制从Python对象到原始数据类型的转换（例如，在返回给客户端之前将数据库中的d
    • 基于SSM框架的校园订餐小程序设计与实现 源码空间站11 课程设计点餐系统微信小程序小程序开发毕业设计
      内容概要：该文章介绍了使用SSM（Spring+SpringMVC+MyBatis）框架及Java开发语言和MySQL数据库，设计并实现了一款名为“校园订餐”的小程序。文中从系统需求出发，阐述了系统背景意义与国内外研究现状发展趋势，明确了需求并分析了系统可行性。随后详细讲解了系统的功能模块、数据库设计方案、微信小程序前端和后台管理的具体实现过程，包括登录注册、餐厅信息管理、美食信息管理和订单管理等
    • 数据库设计报告 爱因斯坦乐 数据库
      一、概述本数据库设计用于支持「晨光宅配」小程序的业务需求，涵盖用户、商家、配送员、订单、评价等核心模块。设计目标是保证数据一致性、查询性能和高可用性。二、逻辑模型1.实体关系图（ERD）```mermaiderDiagramuser||--o{address:"1:N"user||--o{subscription:"1:N"user||--o{order:"1:N"user||--o{review
    • 【新手入门】SQL注入之数据库数据读取 见青.. sql数据库web安全前端
      数据库数据读取获取当前数据库名、用户名、版本等信息'unionselectuser(),version()--+获取mysql所有库名'unionselect1,group_concat(schema_name)frominformation_schema.schemata+--+获取所有字段数据比如获取users表的所有数据指令:'unionselect1,group_concat(id,0x7
    • 【新手入门】SQL注入之防御代码的绕过、数据库数据读取 见青.. sql数据库web安全前端
      一、前端防御代码绕过有些输入数据的地方（如登陆页面），当输入的数据不太合适时，直接就有提示，并且不符合要求的话，就不能点击提交按钮，即不能和后台进行交互，像这种行为就都属于前端代码的限制。绕过前端代码最好的方式就是先输入一个符合格式要求的数据，然后抓包--处理--放包。所以前端代码限制的绕过很简单,但碰到js加密和混淆技术（代码语句顺序打乱）时，前端代码绕过也是比较有难度的。二、后端防御代码绕过<
    • 数据库原理与使用全解析：从理论到实践 和舒貌 数据库windows
      数据库原理与使用全解析：从理论到实践文章大纲数据库基础概念数据库的定义与核心特性数据库管理系统（DBMS）的作用SQL语言的角色与分类数据库体系结构三级模式结构（外模式/模式/内模式）数据独立性原理（逻辑/物理）客户端-服务器架构存储引擎与数据存储常见存储引擎对比（InnoDBvsMyISAM）数据页结构与B+树索引事务日志（Redo/UndoLog）SQL语法与优化DDL/DML/DQL/DCL
    • redis 快速入门 栀夏613 数据库redis数据库缓存
      目录数据库的分类NoSQL非结构化认识redis特征安装redis单机安装Docker安装redis的基本配置启动redis关闭redisredis开机自启redis客户端redis数据结构介绍基本类型String的基础操作List基本操作Set基本操作SortedSet基本操作Hash基本操作redis通用命令key的层级格式数据库的分类关系型数据库结构化数据表中存储的数据格式是一样的数据与数据
    • MySQL限制登陆失败次数配置 泠然一梦 mysqladb数据库linux服务器运维windows
      目录一、限制登陆策略1、Windows2、Linux一、限制登陆策略1、Windows1）安装插件登录MySQL数据库mysql-uroot-p执行命令安装插件#限制登陆失败次数插件installpluginCONNECTION_CONTROLsoname'connection_control.dll';installpluginCONNECTION_CONTROL_FAILED_LOGIN_AT
    • 简单爬取一下电影排行 孟婆来包棒棒糖～ 数据库python爬虫
      主要用到了requests和xpath来解析数据,然后储存在mysql数据库中,不过代码方面我是先写好简单实现工作,然后让ai帮我用类封装来成功实现,博主比较菜,如果有反爬措施可以找js逆向视频来学习importrequestsfromfake_useragentimportUserAgentfromlxmlimportetreeimportpymysqlfrompymysql.cursorsim
    • 昆仑通态-数据显示 创益无界 工业控制分享数据库
      我遇到一个问题，在上位机界面给设备设参数时，某一个参数的值大于一个常数时给不下去，我检查了数据类型没有问题，我在显示界面打开参数的属性设置面板，最大值设置没有问题。后发现在实时数据库对数据范围也做了限制昆仑通态有两个数据库：分别是设备窗口的数据库和实时数据库。设备窗口的数据库可以添加多个设备分别存储数据，对数据类型、数据长度等自由定义；实时数据库存储所有的数据，确保数据共享。设备窗口的数据库数据存
    • 一个Spring框架笔记 A_cot spring数据库java后端开发语言springcloudspringboot
      Spring框架基于JavaEE的轻量级框架，使用spring可以降低模块的耦合度，提高开发效率。Spring框架的两大核心技术：IOCIOC：控制反转DI：依赖注入AOP面向切面编程Spring的模块划分：SpringIOCSpringAOPSpringJDBC（Spring+MyBatis）Spring事务Spring作用Dao层（数据访问层）数据库的JDBC操作对应的框架：MyBatis或H
    • Linux上用C++和GCC开发程序实现两个不同PostgreSQL实例下单个数据库中多个Schema稳定高效的数据迁移到其它PostgreSQL实例 weixin_30777913 c++数据库开发语言postgresql服务器
      设计一个在Linux上运行的GCCC++程序，同时连接三个不同的PostgreSQL实例，其中两个实例中分别有两个数据库中多个Schema的表结构分别与第三实例中两个数据库中多个Schema个结构完全相同，同时复制两个实例中两个数据库中多个Schema里的所有表的数据到第三个实例中两个数据库中多个Schema里，使用以下快速高效的方法，加入异常处理，支持每隔固定时间重试一定次数，每张表的复制运行状
    • 魔鬼存在于细节中：从Redshift迁移到ClickHouse后再无数据丢失 flybirding10011
      \nFunCorp是一家国际性娱乐App开发商，知名AppiFunny就是由FunCorp出品的。iFunny是一款非常有趣的图片和GIFApp，用户可以用它来打发时间，比如看模因、漫画、有趣的图片、宠物GIF等，也可以上传和分享自己的内容。iFunny一直使用Redshift作为后端服务和移动App的事件存储数据库。他们之所以选择Redshift，是因为当时从成本和便利性方面来看确实没有更好的选
    • Mybatis框架的基本流程 乐楽樂o 学习日志
      1、读取Mybatis配置文件2、根据读取到的配置文件生成SqlSessionFactory3、创建SqlSession对象（开启事务）4、操作目标数据库5、提交事务6、关闭SqlSession
    • myabtis入门案例 HPF_99 mybatisjavamysqljavamybatis
      mybatis入门案例1.新建项目（Maven），搭建环境数据库（名：mybatis，表user）导出sql：/*NavicatMySQLDataTransferSourceServer:localhost_3306SourceServerVersion:50162SourceHost:localhost:3306SourceDatabase:mybatisTargetServerType:MYS
    • Express + MongoDB 实现 VOD 视频点播 yqcoder expressmongodb数据库
      一、安装依赖npminstallexpressmongoosemulterffmpeg-staticfluent-ffmpegexpress：用于构建Web服务器。mongoose：用于与MongoDB进行交互。multer：用于处理文件上传。ffmpeg-static：提供FFmpeg的静态二进制文件。fluent-ffmpeg：用于视频处理。二、数据库连接与模型定义创建models目录并在其中
    • Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序 weixin_30777913 pythonspark云计算
      设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序，实现根据不同的输入参数，用Airflow进行调度，自动批量地将AmazonRedshift数据仓库的数据导出为Parquet、CSV和Excel文件到S3上，标签和多个参数（以“_”分割）为组成导出数据文件名，文件已经存在则覆盖原始文件。PySpark程序需要异常处理，输出带时间戳和每个运行批次和每个导出文件作业运行状
    • 前端项目中脚本文件打包，vscode中如何正确使用gtar命令 今天吃了嘛o 前端vscodeide
      1、下载gtarhttps://gnuwin32.sourceforge.net/packages/libarchive.htm2、傻瓜式安装一路下一步即可。3、配置环境变量高级系统设置”在弹出的“系统属性”窗口中，点击“环境变量”。在“系统变量”列表中找到“Path”变量，点击“编辑”。点击“新建”，将gtar可执行文件所在的目录路径（例如C:\ProgramFiles(x86)\GnuWin3
    • 服务器基础知识科普（二） 随&心 服务器服务器基础知识
      什么是服务器服务器也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。在网络环境下，根据服务器提供的服务类型不同，分为文件服务器、数据库服务器、应用程
    • TypeScript 与后端开发Node.js m0_74825223 面试学习路线阿里巴巴typescriptnode.jsjavascript
      文章目录一、搭建TypeScript+Node.js项目（一）初始化项目并安装相关依赖1、创建项目目录并初始化2、安装必要的依赖包（二）配置TypeScript编译选项（如模块解析方式适合后端）二、编写服务器代码（一）定义路由类型（使用Express等框架）（二）处理请求和响应的类型（包括中间件的类型）1、请求类型处理2、响应类型处理3、中间件类型处理三、数据库交互（一）使用Type-Safe的数
    • 【云原生之kubernetes实战】在k8s环境中高效部署Vikunja任务管理工具（含数据库配置） 江湖有缘 云原生kubernetes数据库
      【【云原生之kubernetes实战】在k8s环境中高效部署Vikunja任务管理工具（含数据库配置）前言一、Vikunja介绍1.1Vikunja简介1.2Vikunja主要特点1.3使用场景二、相关知识介绍2.1本次实践存储介绍2.2k8s存储介绍三、本次实践介绍3.1本次实践简介3.2本次环境规划3.3部署前需准备工作四、检查k8s环境4.1检查工作节点状态4.2检查系统pod状态五、创建m
    • .Net 不同版本的.Net框架的代码之间互相引用 这个月太忙没时间看C++ 技术.net
      有时候想用高版本的.Net框架,而某一部分封装好的工具类是低版本的例:使用.Net4.7.2写的主程序,需要引用.Net4.5.2写的数据库帮助类,因为数据库帮助类已经引用了对应4.5版本的Mysql.dll或其他的数据库引擎提供的dll,不方便更改帮助类的框架就可以使用这个方法对.Net4.5.2的数据库帮助类进行调用Config配置文件里:标记每个程序集。-->调用时:Assemblyass=
    • Maven Array_06 eclipsejdkmaven
      Maven Maven是基于项目对象模型(POM)， 信息来管理项目的构建，报告和文档的软件项目管理工具。 Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Maven，而且公司
    • ibatis的queyrForList和queryForMap区别 bijian1013 javaibatis
      一.说明         iBatis的返回值参数类型也有种：resultMap与resultClass，这两种类型的选择可以用两句话说明之：         1.当结果集列名和类的属性名完全相对应的时候，则可直接用resultClass直接指定查询结果类
    • LeetCode[位运算] - #191 计算汉明权重 Cwind java位运算LeetCodeAlgorithm题解
      原题链接：#191 Number of 1 Bits 要求： 写一个函数，以一个无符号整数为参数，返回其汉明权重。例如，‘11’的二进制表示为'00000000000000000000000000001011', 故函数应当返回3。 汉明权重：指一个字符串中非零字符的个数；对于二进制串，即其中‘1’的个数。 难度：简单 分析： 将十进制参数转换为二进制，然后计算其中1的个数即可。 “
    • 浅谈java类与对象 15700786134 java
            java是一门面向对象的编程语言，类与对象是其最基本的概念。所谓对象，就是一个个具体的物体，一个人，一台电脑，都是对象。而类，就是对象的一种抽象，是多个对象具有的共性的一种集合，其中包含了属性与方法，就是属于该类的对象所具有的共性。当一个类创建了对象，这个对象就拥有了该类全部的属性，方法。相比于结构化的编程思路，面向对象更适用于人的思维
    • linux下双网卡同一个IP 被触发 linux
      转自： http://q2482696735.blog.163.com/blog/static/250606077201569029441/ 由于需要一台机器有两个网卡，开始时设置在同一个网段的IP，发现数据总是从一个网卡发出，而另一个网卡上没有数据流动。网上找了下，发现相同的问题不少： 一、 关于双网卡设置同一网段IP然后连接交换机的时候出现的奇怪现象。当时没有怎么思考、以为是生成树
    • 安卓按主页键隐藏程序之后无法再次打开 肆无忌惮_ 安卓
      遇到一个奇怪的问题，当SplashActivity跳转到MainActivity之后，按主页键，再去打开程序，程序没法再打开（闪一下），结束任务再开也是这样，只能卸载了再重装。而且每次在Log里都打印了这句话"进入主程序"。后来发现是必须跳转之后再finish掉SplashActivity   本来代码：   // 销毁这个Activity fin
    • 通过cookie保存并读取用户登录信息实例 知了ing JavaScripthtml
      通过cookie的getCookies()方法可获取所有cookie对象的集合；通过getName()方法可以获取指定的名称的cookie；通过getValue()方法获取到cookie对象的值。另外，将一个cookie对象发送到客户端，使用response对象的addCookie()方法。 下面通过cookie保存并读取用户登录信息的例子加深一下理解。 （1）创建index.jsp文件。在改
    • JAVA 对象池 矮蛋蛋 javaObjectPool
      原文地址： http://www.blogjava.net/baoyaer/articles/218460.html Jakarta对象池       ☆为什么使用对象池   恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化
    • ArrayList根据条件+for循环批量删除的方法 alleni123 java
      场景如下： ArrayList<Obj> list Obj-> createTime, sid. 现在要根据obj的createTime来进行定期清理。（释放内存） ------------------------- 首先想到的方法就是 for(Obj o:list){ if(o.createTime-currentT>xxx){
    • 阿里巴巴“耕地宝”大战各种宝 百合不是茶 平台战略
      “耕地保”平台是阿里巴巴和安徽农民共同推出的一个 “首个互联网定制私人农场”，“耕地宝”由阿里巴巴投入一亿 ，主要是用来进行农业方面，将农民手中的散地集中起来 不仅加大农民集体在土地上面的话语权，还增加了土地的流通与 利用率，提高了土地的产量，有利于大规模的产业化的高科技农业的 发展，阿里在农业上的探索将会引起新一轮的产业调整，但是集体化之后农民的个体的话语权 将更少，国家应出台相应的法律法规保护
    • Spring注入有继承关系的类（1） bijian1013 javaspring
      一个类一个类的注入 1.AClass类 package com.bijian.spring.test2; public class AClass { String a; String b; public String getA() { return a; } public void setA(Strin
    • 30岁转型期你能否成为成功人士 bijian1013 成功
              很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
    • [Velocity三]基于Servlet+Velocity的web应用 bit1129 velocity
      什么是VelocityViewServlet 使用org.apache.velocity.tools.view.VelocityViewServlet可以将Velocity集成到基于Servlet的web应用中，以Servlet+Velocity的方式实现web应用   Servlet + Velocity的一般步骤 1.自定义Servlet，实现VelocityViewServl
    • 【Kafka十二】关于Kafka是一个Commit Log Service bit1129 service
      Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？   A message is considered "committed" when all in sync replicas for that partition have applied i
    • NGINX + LUA实现复杂的控制 ronin47 lua nginx 控制
      安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
    • java-14.输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字 bylijinnan java
      public class TwoElementEqualSum { /** * 第 14 题： 题目：输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字。 要求时间复杂度是 O(n) 。如果有多对数字的和等于输入的数字，输出任意一对即可。 例如输入数组 1 、 2 、 4 、 7 、 11 、 15 和数字 15 。由于
    • Netty源码学习-HttpChunkAggregator-HttpRequestEncoder-HttpResponseDecoder bylijinnan javanetty
      今天看Netty如何实现一个Http Server org.jboss.netty.example.http.file.HttpStaticFileServerPipelineFactory： pipeline.addLast("decoder", new HttpRequestDecoder()); pipeline.addLast(&quo
    • java敏感词过虑-基于多叉树原理 cngolon 违禁词过虑替换违禁词敏感词过虑多叉树
      基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右，纯文本35毫秒左右。   2、如需自定义词库，将jar包考入WEB-INF工程的lib目录，在WEB-INF/classes目录下建一个 utf-8的words.dict文本文件，
    • 多线程知识 cuishikuan 多线程
      T1，T2，T3三个线程工作顺序，按照T1，T2，T3依次进行 public class T1 implements Runnable{           @Override      
    • spring整合activemq dalan_123 java spring jms
      整合spring和activemq需要搞清楚如下的东东1、ConnectionFactory分：     a、spring管理连接到activemq服务器的管理ConnectionFactory也即是所谓产生到jms服务器的链接      b、真正产生到JMS服务器链接的ConnectionFactory还得
    • MySQL时间字段究竟使用INT还是DateTime？ dcj3sjt126com mysql
        环境：Windows XPPHP Version 5.2.9MySQL Server 5.1 第一步、创建一个表date_test（非定长、int时间） CREATE TABLE `test`.`date_test` (`id` INT NOT NULL AUTO_INCREMENT ,`start_time` INT NOT NULL ,`some_content`
    • Parcel: unable to marshal value dcj3sjt126com marshal
      在两个activity直接传递List<xxInfo>时，出现Parcel: unable to marshal value异常。   在MainActivity页面（MainActivity页面向NextActivity页面传递一个List<xxInfo>）：   Intent intent = new Intent(this, Next
    • linux进程的查看上（ps） eksliang linux pslinux ps -llinux ps aux
      ps:将某个时间点的进程运行情况选取下来 转载请出自出处：http://eksliang.iteye.com/admin/blogs/2119469 http://eksliang.iteye.com         ps 这个命令的man page 不是很好查阅，因为很多不同的Unix都使用这儿ps来查阅进程的状态，为了要符合不同版本的需求，所以这个
    • 为什么第三方应用能早于System的app启动 gqdy365 System
      Android应用的启动顺序网上有一大堆资料可以查阅了，这里就不细述了，这里不阐述ROM启动还有bootloader，软件启动的大致流程应该是启动kernel -> 运行servicemanager 把一些native的服务用命令启动起来（包括wifi, power, rild, surfaceflinger, mediaserver等等）-> 启动Dalivk中的第一个进程Zygot
    • App Framework发送JSONP请求(3) hw1287789687 jsonp跨域请求发送jsonpajax请求越狱请求
      App Framework 中如何发送JSONP请求呢? 使用jsonp,详情请参考:http://json-p.org/ 如何发送Ajax请求呢? (1)登录 /*** * 会员登录 * @param username * @param password */ var user_login=function(username,password){ // aler
    • 发福利，整理了一份关于“资源汇总”的汇总 justjavac 资源
      觉得有用的话，可以去github关注：https://github.com/justjavac/awesome-awesomeness-zh_CN 通用 free-programming-books-zh_CN 免费的计算机编程类中文书籍 精彩博客集合 hacke2/hacke2.github.io#2 ResumeSample 程序员简历
    • 用 Java 技术创建 RESTful Web 服务 macroli java编程WebREST
      转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/   JAX-RS (JSR-311) 【 Java API for RESTful Web Services 】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位
    • CentOS6.5-x86_64位下oracle11g的安装详细步骤及注意事项 超声波 oraclelinux
      前言： 这两天项目要上线了，由我负责往服务器部署整个项目，因此首先要往服务器安装oracle，服务器本身是CentOS6.5的64位系统，安装的数据库版本是11g，在整个的安装过程中碰到很多的坑，不过最后还是通过各种途径解决并成功装上了。转别写篇博客来记录完整的安装过程以及在整个过程中的注意事项。希望对以后那些刚刚接触的菜鸟们能起到一定的帮助作用。   安装过程中可能遇到的问题（注
    • HttpClient 4.3 设置keeplive 和 timeout 的方法 supben httpclient
      ConnectionKeepAliveStrategy kaStrategy = new DefaultConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { long keepAlive
    • Spring 4.2新特性-@Import注解的升级 wiselyman spring 4
      3.1 @Import @Import注解在4.2之前只支持导入配置类 在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean 3.2 示例 演示java类 package com.wisely.spring4_2.imp; public class DemoService { public void doSomethin