weixin_30777913
weixin_30777913

本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装Apache Hive的Linux服务器集群，它可以连接到一个SQL Server RDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQL Server RDS数据库。

以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQL Server RDS：

1. 安装Sqoop

步骤：

  1. 下载Sqoop
    前往Apache Sqoop下载页面，选择稳定版本（如1.4.7）：

    wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop

  2. 配置环境变量
    编辑~/.bashrc或/etc/profile：

    export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

    应用配置：

    source ~/.bashrc

  3. 验证安装

    sqoop version

2. 配置SQL Server JDBC驱动

步骤：

  1. 下载驱动
    从Microsoft下载JDBC驱动，选择最新版本（如mssql-jdbc-12.2.0.jre8.jar）。

  2. 复制驱动到Sqoop的lib目录

    cp mssql-jdbc-12.2.0.jre8.jar $SQOOP_HOME/lib/

  3. 测试连接

    sqoop list-databases \
--connect "jdbc:sqlserver://:;databaseName=" \
--username <USER> \
--password <PASSWORD>

    替换, , , , 为实际值。

3. 生成SQL Server表结构

步骤：

  1. 获取Hive表列表

    hive -e 'SHOW TABLES;' > hive_tables.txt

  2. 生成SQL Server DDL
    编写脚本generate_ddl.sh：

    #!/bin/bash
while read table; do
  # 获取Hive表结构
  hive -e "DESCRIBE FORMATTED $table" > describe_$table.txt
  
  # 转换为SQL Server DDL（示例，需根据实际类型调整）
  awk '/^col_name/{getline; while($0 !~ /^#/) {print $0; getline}}' describe_$table.txt | 
  awk '{printf "%s %s,\n", $1, 
    ($2 == "string") ? "VARCHAR(255)" : 
    ($2 == "int") ? "INT" : 
    ($2 == "timestamp") ? "DATETIME" : 
    "VARCHAR(255)"}' | 
  sed '$s/,$//' > $table.sql
  
  echo "CREATE TABLE $table (" > ddl_$table.sql
  cat $table.sql >> ddl_$table.sql
  echo ");" >> ddl_$table.sql
done < hive_tables.txt

    运行脚本：

    chmod +x generate_ddl.sh
./generate_ddl.sh

  3. 在SQL Server中创建表
    使用sqlcmd或客户端工具执行生成的DDL。

4. 使用Sqoop导出数据

步骤：

  1. 获取Hive表HDFS路径
    通常路径为：/user/hive/warehouse/.db/

    。确认路径：

    hdfs dfs -ls /user/hive/warehouse/

  2. 导出命令示例
    编写脚本export_all.sh：

    #!/bin/bash
while read table; do
  sqoop export \
  --connect "jdbc:sqlserver://:;databaseName=" \
  --username <USER> \
  --password <PASSWORD> \
  --table $table \
  --export-dir /user/hive/warehouse/<database>.db/$table \
  --input-fields-terminated-by '\001' \
  --input-lines-terminated-by '\n' \
  -m 4
done < hive_tables.txt

    替换占位符并运行：

    chmod +x export_all.sh
./export_all.sh

    3. 5. 验证数据

    • 在SQL Server中查询记录数：
      SELECT COUNT(*) FROM <table>;
    • 检查数据一致性，对比Hive和SQL Server的数据样本。

    常见问题处理

    • 数据类型不匹配：调整DDL中的类型映射。
    • 分隔符错误：使用--input-fields-terminated-by指定正确的分隔符（Hive默认\001）。
    • 连接超时：增加--connection-param-file中的超时设置。
    • 权限问题：确保Hadoop用户有权访问HDFS路径，SQL Server用户有写入权限。

    完整流程图

    安装Sqoop → 配置JDBC驱动 → 生成Hive表列表 → 转换DDL → 创建SQL表 → Sqoop导出数据 → 验证

    通过以上步骤，您可以将Hive中的所有表数据迁移到SQL Server RDS。根据数据量和网络情况，可能需要调整并行度（-m参数）和内存设置。

    你可能感兴趣的:(数据库,数据仓库,hive,sqlserver)

    • 安装wordpress报错(完美解决) 光头程序员em wordpress报错
      #错误1#YourserverisrunningPHPversion7.2.1butWordPress6.7.1requiresatleast7.2.24.这是因为wordpress6.7.1需要7.2.24及以上版本，解决方法就是下载低版本wordpress或者升级高版本的php运行环境#错误2#不能选择数据库可以连接到数据库服务器（这说明您的用户名和密码正确），但是不能选择wordpress数
    • K8S必问面试题之：K8S架构中每个组件的作用 运维爱背锅 K8S面试题kubernetes架构容器K8S面试题面试devops运维
      微信关注运维爱背锅，用通俗易懂的方式教你运维K8S面试题：K8S架构中每个组件的作用大家好！今天我们来聊聊Kubernetes（简称K8S）中各个组件的作用，这是一道必问的面试题——各个组件就像一支分工明确的足球队，有人守门、有人射门，还有人负责喊战术。下面咱们就用“人话”拆解一下这些组件的职责。1.etcd：集群的“八卦的小本本”作用：分布式K-V（键值）存储数据库，专门记录集群的所有“秘密”，
    • MyBatis 简介 hweiyu00 技术栈杂谈mybatis
      MyBatis简介MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射，能够帮助开发者将Java对象与数据库表进行灵活映射，简化数据持久化操作。以下从多个维度详细介绍MyBatis：一、核心定位与优势轻量级框架：相比Hibernate等全自动ORM框架，MyBatis更“轻”，开发者需手动编写SQL语句，灵活性更高，便于优化性能。ORM映射功能：通过XML或注解方式，将J
    • Go 语言高效连接 SQL Server（MSSQL）数据库实战指南 程序员爱钓鱼 数据库golangsqlserver
      在Go语言的开发过程中，与MicrosoftSQLServer(MSSQL)数据库的交互是常见需求之一。本文将详细介绍如何使用Go语言高效、安全地连接SQLServer，并进行基本的CRUD（增删改查）操作。1.安装MSSQL驱动Go语言使用github.com/denisenkom/go-mssqldb作为SQLServer驱动，首先需要安装它：goget-ugithub.com/denisen
    • Spring AI 结合 MCP MySQL 实现对话式数据库查询 没刮胡子 软件开发技术实战专栏人工智能AISpring数据库spring人工智能spring-aimcp-servermysql
      在现代应用开发中，将人工智能与数据库查询结合可以创造更自然、更智能的用户交互方式。下面我将详细介绍如何使用SpringAI框架结合MCP（可能指MySQL连接池或相关组件）实现对话中的数据库查询功能。什么是SpringAI和MCPMySQLSpringAI框架概述SpringAI是基于Spring生态的人工智能集成框架，它提供了：与大型语言模型(LLM)的集成能力对话管理和自然语言处理功能业务逻辑
    • sqlserver 中的go的作用 NaiQai SqlServer
      如果只是执行一条语句，有没有go都一样，如果多条语句之间用go分隔开就不一样了，每个被go分隔的语句都是一个单独的事务，一个语句执行失败不会影响其他语句执行。例如:首先同时执行下边的语句select*fromsysobjectswhereid=aselectgetdate()你会发现会报错，并且不会显示任何结果集而你再执行select*fromsysobjectswhereid=agoselect
    • Go 语言单例模式全解析：从青铜到王者段位的实现方案 后端
      什么是单例模式？单例模式（SingletonPattern）是一种创建型设计模式，它确保一个类（或结构体，在Go语言中）只有一个实例，并提供一个全局访问点来访问这个实例。这个模式在需要协调系统中动作的场景下非常有用，例如日志记录、配置管理或数据库连接池。为什么在Go中需要单例模式？Go语言以其简洁和高效的并发能力而闻名，支持goroutine和通道（channel）来实现并发编程。在并发环境中，确
    • 数据库的查询 爱吃草莓的土拨鼠️ 数据库
      一.单表查询1.简单数据查询a.显示指定字段列：使用“*”显示全部字段列；列出字段名显示指定字段列。b.显示字段列别名：使用AS关键字为字段指定别名，方便理解。c.显示计算的列值：通过算术运算符(+-*/%)对字段进行计算，得到新的列值。d.消除重复行：使用DISTINCT参数消除查询结果中的重复行。e.限制行数：利用LIMIT控制返回的行数，可指定偏移量和行数。f.排序：ORDERBY子句按指定
    • next-hexagonal-starter：前端六边形架构的简约实践 翟珊兰
      next-hexagonal-starter：前端六边形架构的简约实践next-hexagonal-starter项目地址:https://gitcode.com/gh_mirrors/ne/next-hexagonal-starter项目介绍在软件开发中，六边形架构（HexagonalArchitecture）是一种设计模式，它通过将应用程序的业务逻辑与外部关注点（如UI、数据库、框架等）解耦，
    • 非结构化数据真“野”？聊聊AI处理它时踩过的那些坑 Echo_Wish Python进阶人工智能
      非结构化数据真“野”？聊聊AI处理它时踩过的那些坑在AI圈子里有一句“老话”：真正的世界，是非结构化的。图像、音频、视频、文本、传感器原始数据……这些在数据库里没个字段、没个主键的家伙，占据了全世界80%以上的数据量。咱们都喜欢说“数据是新时代的石油”，但很少人说：非结构化数据，就是粘稠未提炼的原油——处理它，才是最累的活。这篇文章，我不想跟你讲那些“炫技”的论文和模型，而是从一个一线AI工程师的
    • 横向移动02
      基于wmic的横向移动本文章中的192.168.3.32是目标地址，就是靶机ip地址条件：wmi服务开启，端口135，默认开启     防火墙允许135、445等端口通信     知道目标机的账户密码或HASH内置（单执行）shell wmic /node:192.168.3.32 /user:sqlserver\administrator /password:admin!@#123  proce
    • 基于springboot的社会志愿者管理系统 QQ242219979 springboot后端java
      目录部分效果实现截图本系统介绍关于我开发技术详细介绍开发思路核心代码参考示例基于springboot的社会志愿者管理系统论文提纲参考系统测试源码获取详细视频演示或者查看其他版本：文章底部获取博主联系方式！部分效果实现截图本系统介绍基于springboot的社会志愿者管理系统采用的开发工具：IntelliJIDEA，VScode；数据库管理软件：Navicat；服务器运行平台：Tomcat；开发技术
    • oracle 归档日志与RECOVERY_FILE_DEST 视图 是桃萌萌鸭~ oracle数据库
      1.RECOVERY_FILE_DEST视图的作用RECOVERY_FILE_DEST是Oracle数据库用于管理快速恢复区（FastRecoveryArea,FRA）的一个视图。FRA是Oracle提供的一种集中存储恢复相关文件（如归档日志、备份文件、闪回日志等）的区域。RECOVERY_FILE_DEST视图的主要作用显示快速恢复区的路径和状态：快速恢复区的配置路径。快速恢复区的总大小和当前使
    • 使用datax进行mysql的表恢复 是桃萌萌鸭~ mysql数据库
      DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上Dat
    • QT-登录界面的实现 是桃萌萌鸭~ uiqtc++物联网数据库开发
      QT-登录界面的实现一、登录界面设计要求创建一个窗体，设计用户登录的界面（含有用户名、密码），并实现用户登录的功能，要求用户提交的登录按钮时能获取界面中的用户名、密码数据并与数据库中的数据进行匹配，若用户名，密码正确则登录成功，否则登录失败。二、具体实现过程1、图片演示2、详细代码实现(1)dialog.cpp：（登录界面.cpp文件）#include"dialog.h"#include"ui_d
    • Oracle 导入导出 dmp 数据文件实战 dazhong2012 数据库oracle数据库
      一、DMP文件基础知识1.DMP文件定义DMP（DataPumpDumpFile）是Oracle数据库专用的二进制格式文件，由expdp/impdp或旧版exp/imp工具生成。它包含数据库对象的元数据（表结构、索引等）和实际数据，是数据备份、迁移和恢复的核心载体。2.DMP文件结构文件头：记录Oracle版本、字符集、导出时间等元信息。数据段：存储表数据，按数据块组织，支持并行读写。索引段：加速
    • Spring Cache+Redis缓存方案详解：从代码到实践 大手你不懂 JavaJava项目实战Redisspring缓存redis
      描述：在现代Java开发中，缓存是提升系统性能的核心手段之一。本文通过实际代码案例，深入解析SpringCache与Redis的集成原理，结合项目中的ModuleDatabaseInfoService接口和RedisConfig配置，探讨如何通过声明式缓存实现高效的数据库访问优化。一、核心代码解析1.服务接口设计（拿查询数据源配置信息举例）publicinterfaceModuleDatabase
    • Python实例题：基于 Flask 的博客系统 狐凄 实例python开发语言
      目录Python实例题题目要求：解题思路：代码实现：1.base.html2.index.html3.post.html4.create_post.html5.login.html6.register.htmlPython实例题题目基于Flask的博客系统要求：使用Flask框架构建一个简单的博客系统。实现用户认证（注册、登录、注销）。支持博客文章的创建、编辑、删除和查看。使用SQLite数据库存
    • Flask(六) 数据库操作SQLAlchemy @昵称不存在 Flask数据库flask
      文章目录一、准备工作二、最小化可运行示例✅补充延迟绑定方式（推荐方式）三、数据库基本操作（增删改查）1.插入数据（增）2.查询数据（查）3.更新数据（改）4.删除数据（删）四、其他有用方法五、常用字段类型六、初始化数据库脚本（推荐）sqlalchemy实例基本使用常见方法速查多表查询（JOIN）原始SQL语句（可选）示例：分页+排序推荐：使用Flask-SQLAlchemy提供的简写风格完整的Fl
    • Oracle 临时表空间相关操作 dazhong2012 数据库oracle数据库
      一、临时表空间概述临时表空间（TemporaryTablespace）是Oracle数据库中用于存储临时数据的特殊存储区域，其数据在会话结束或事务提交后自动清除，重启数据库后彻底消失。主要用途包括：存储排序操作（如ORDERBY）的中间结果支持哈希连接（HashJoin）等复杂查询索引创建时的临时数据存储核心特点：数据非永久性，关闭数据库后自动删除不能存储永久性对象（如表、视图）独立于永久表空间管
    • 5.3 数据库：DELETE语句 冰镇毛衣 sql数据库sqlmysql
      Delete语句是用来删除数据的，而不能删除数据表本身。删除数据表用的是drop语句而delete的作用，只是删除记录而已。1.DELETE语法delete语法跟update语法的比较的相似关键字是delete,ignore：就是在删除数据的时候，如果说有外界约束，阻止我们删除某一条记录，那么这个delete就会忽略删除这条数据，把那些没有违反外界约束的记录给删掉。from子句，要删除哪一张数据表
    • Java实现简易即时通讯系统 程序员皮皮林 Javajava
      我们想要实现一个类似QQ的即时通讯程序。由于这是一个复杂的项目，我们将分步骤进行，并只实现核心功能。核心功能包括：1.用户注册与登录2.添加好友3.发送消息（点对点）4.接收消息我们将使用Socket编程来实现。为了简化，我们不使用数据库，而是使用文件存储用户信息和好友关系。我们将创建两个主要部分：服务器和客户端。服务器端：-处理用户注册、登录请求-管理用户连接（在线状态）-转发消息客户端：-提供
    • 深入学习 GORM：记录插入与数据检索 Code季风 GORM从入门到精通学习数据库golang后端
      引言在使用GORM进行数据库操作时，掌握如何高效地插入记录和检索数据是非常重要的。本文将详细介绍通过Create方法插入记录、批量插入、以及各种数据检索方法，并结合实际示例进行讲解。一、通过Create方法插入记录GORM提供了简单易用的Create方法来插入单条记录。以下是一个基本示例：typeUserstruct{IDuintNamestring}varuser=User{Name:"jinz
    • 深入了解数据库领域行式存储的架构设计 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库ai
      深入了解数据库领域行式存储的架构设计关键词：行式存储、数据库架构、OLTP、存储引擎、行记录格式摘要：本文将以“行式存储”为核心，从生活场景切入，逐步拆解数据库行式存储的底层架构设计。我们将通过“图书馆藏书”的趣味比喻、具体代码示例和真实数据库（如MySQLInnoDB）的实践案例，深入理解行式存储的核心原理、适用场景及未来趋势，帮助读者建立对数据库存储架构的系统认知。背景介绍目的和范围数据库是现
    • 非关系型数据库在数据库领域的崛起与应用 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库nosql网络ai
      非关系型数据库在数据库领域的崛起与应用关键词：非关系型数据库、关系型数据库、崛起原因、应用场景、数据库领域摘要：本文主要探讨了非关系型数据库在数据库领域的崛起与应用。首先介绍了非关系型数据库的背景，包括目的、预期读者等内容。接着详细解释了非关系型数据库、关系型数据库等核心概念，并阐述了它们之间的关系。然后深入讲解了非关系型数据库的核心算法原理、数学模型和公式。通过项目实战展示了非关系型数据库的实际
    • PostgreSQL数据库的自动化备份脚本编写与部署 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库postgresql自动化ai
      PostgreSQL数据库的自动化备份脚本编写与部署关键词：PostgreSQL、自动化备份、pg_dump、crontab、数据库运维摘要：数据库是企业的“数字心脏”，一旦数据丢失可能导致不可挽回的损失。本文将用“给小学生讲故事”的方式，从备份的重要性出发，逐步讲解如何编写PostgreSQL自动化备份脚本（含全量备份、压缩、日志记录、旧文件清理），并通过crontab实现定时执行。无论你是刚接
    • 精准删除：掌握SQL中的DELETE语句 2401_85762266 sqloracle数据库
      精准删除：掌握SQL中的DELETE语句在数据库管理中，数据的增删改查（CRUD）是基本操作。其中，DELETE语句是用于从数据库表中删除数据的重要工具。本文将详细解释如何使用SQL的DELETE语句来删除数据，并提供实际的代码示例，帮助你精确控制数据的删除过程。DELETE语句的基本概念DELETE语句用于从数据库表中根据指定条件删除行。正确使用DELETE语句可以确保数据的完整性和准确性。基本
    • pycharm——djiango之数据迁移，终端操作 Pop– python
      首先在pycharm中找到terminal(终端)，输入指令：pythonmanage.pymakemigrations之后你会看到如下图：这表示创建成功。接着输入指令：pythonmanage.pymigrate就能看到好多ok，你在数据库中也能看到很多表你可以在终端打开数据库查看表，也可以使用客户端的可视化界面查看，还可以在pycharm中右边的database里边打开查看，如下图：之后你就可
    • Flask入门基础1 浅清陌 Flaskflaskpython后端
      1Flask简介Flask诞生于2010年，是Arminronacher（阿明·罗纳彻）用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架。Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login，数据库Flask-SQLAlchemy），都需要用第三方的扩展来实现。比如可以用Flask扩展加入ORM、窗体验证工
    • spark写入hive表问题 qq_42265026 sparkhive大数据
      1、httpclient发送post请求，当返回的数据过大时，报错socketclosed这个原因是客户端主动将连接关闭，根本原因是将httpclient。execute的返回结果closeableResponse作为a方法的返回结果，在b方法中进行解析虽然在b方法中没有关闭closeableResponse，但是在a方法中返回closeableResponse后，会进行httppost.real
    • Maven Array_06 eclipsejdkmaven
      Maven Maven是基于项目对象模型(POM)， 信息来管理项目的构建，报告和文档的软件项目管理工具。 Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Maven，而且公司
    • ibatis的queyrForList和queryForMap区别 bijian1013 javaibatis
      一.说明         iBatis的返回值参数类型也有种：resultMap与resultClass，这两种类型的选择可以用两句话说明之：         1.当结果集列名和类的属性名完全相对应的时候，则可直接用resultClass直接指定查询结果类
    • LeetCode[位运算] - #191 计算汉明权重 Cwind java位运算LeetCodeAlgorithm题解
      原题链接：#191 Number of 1 Bits 要求： 写一个函数，以一个无符号整数为参数，返回其汉明权重。例如，‘11’的二进制表示为'00000000000000000000000000001011', 故函数应当返回3。 汉明权重：指一个字符串中非零字符的个数；对于二进制串，即其中‘1’的个数。 难度：简单 分析： 将十进制参数转换为二进制，然后计算其中1的个数即可。 “
    • 浅谈java类与对象 15700786134 java
            java是一门面向对象的编程语言，类与对象是其最基本的概念。所谓对象，就是一个个具体的物体，一个人，一台电脑，都是对象。而类，就是对象的一种抽象，是多个对象具有的共性的一种集合，其中包含了属性与方法，就是属于该类的对象所具有的共性。当一个类创建了对象，这个对象就拥有了该类全部的属性，方法。相比于结构化的编程思路，面向对象更适用于人的思维
    • linux下双网卡同一个IP 被触发 linux
      转自： http://q2482696735.blog.163.com/blog/static/250606077201569029441/ 由于需要一台机器有两个网卡，开始时设置在同一个网段的IP，发现数据总是从一个网卡发出，而另一个网卡上没有数据流动。网上找了下，发现相同的问题不少： 一、 关于双网卡设置同一网段IP然后连接交换机的时候出现的奇怪现象。当时没有怎么思考、以为是生成树
    • 安卓按主页键隐藏程序之后无法再次打开 肆无忌惮_ 安卓
      遇到一个奇怪的问题，当SplashActivity跳转到MainActivity之后，按主页键，再去打开程序，程序没法再打开（闪一下），结束任务再开也是这样，只能卸载了再重装。而且每次在Log里都打印了这句话"进入主程序"。后来发现是必须跳转之后再finish掉SplashActivity   本来代码：   // 销毁这个Activity fin
    • 通过cookie保存并读取用户登录信息实例 知了ing JavaScripthtml
      通过cookie的getCookies()方法可获取所有cookie对象的集合；通过getName()方法可以获取指定的名称的cookie；通过getValue()方法获取到cookie对象的值。另外，将一个cookie对象发送到客户端，使用response对象的addCookie()方法。 下面通过cookie保存并读取用户登录信息的例子加深一下理解。 （1）创建index.jsp文件。在改
    • JAVA 对象池 矮蛋蛋 javaObjectPool
      原文地址： http://www.blogjava.net/baoyaer/articles/218460.html Jakarta对象池       ☆为什么使用对象池   恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化
    • ArrayList根据条件+for循环批量删除的方法 alleni123 java
      场景如下： ArrayList<Obj> list Obj-> createTime, sid. 现在要根据obj的createTime来进行定期清理。（释放内存） ------------------------- 首先想到的方法就是 for(Obj o:list){ if(o.createTime-currentT>xxx){
    • 阿里巴巴“耕地宝”大战各种宝 百合不是茶 平台战略
      “耕地保”平台是阿里巴巴和安徽农民共同推出的一个 “首个互联网定制私人农场”，“耕地宝”由阿里巴巴投入一亿 ，主要是用来进行农业方面，将农民手中的散地集中起来 不仅加大农民集体在土地上面的话语权，还增加了土地的流通与 利用率，提高了土地的产量，有利于大规模的产业化的高科技农业的 发展，阿里在农业上的探索将会引起新一轮的产业调整，但是集体化之后农民的个体的话语权 将更少，国家应出台相应的法律法规保护
    • Spring注入有继承关系的类（1） bijian1013 javaspring
      一个类一个类的注入 1.AClass类 package com.bijian.spring.test2; public class AClass { String a; String b; public String getA() { return a; } public void setA(Strin
    • 30岁转型期你能否成为成功人士 bijian1013 成功
              很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
    • [Velocity三]基于Servlet+Velocity的web应用 bit1129 velocity
      什么是VelocityViewServlet 使用org.apache.velocity.tools.view.VelocityViewServlet可以将Velocity集成到基于Servlet的web应用中，以Servlet+Velocity的方式实现web应用   Servlet + Velocity的一般步骤 1.自定义Servlet，实现VelocityViewServl
    • 【Kafka十二】关于Kafka是一个Commit Log Service bit1129 service
      Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？   A message is considered "committed" when all in sync replicas for that partition have applied i
    • NGINX + LUA实现复杂的控制 ronin47 lua nginx 控制
      安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
    • java-14.输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字 bylijinnan java
      public class TwoElementEqualSum { /** * 第 14 题： 题目：输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字。 要求时间复杂度是 O(n) 。如果有多对数字的和等于输入的数字，输出任意一对即可。 例如输入数组 1 、 2 、 4 、 7 、 11 、 15 和数字 15 。由于
    • Netty源码学习-HttpChunkAggregator-HttpRequestEncoder-HttpResponseDecoder bylijinnan javanetty
      今天看Netty如何实现一个Http Server org.jboss.netty.example.http.file.HttpStaticFileServerPipelineFactory： pipeline.addLast("decoder", new HttpRequestDecoder()); pipeline.addLast(&quo
    • java敏感词过虑-基于多叉树原理 cngolon 违禁词过虑替换违禁词敏感词过虑多叉树
      基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右，纯文本35毫秒左右。   2、如需自定义词库，将jar包考入WEB-INF工程的lib目录，在WEB-INF/classes目录下建一个 utf-8的words.dict文本文件，
    • 多线程知识 cuishikuan 多线程
      T1，T2，T3三个线程工作顺序，按照T1，T2，T3依次进行 public class T1 implements Runnable{           @Override      
    • spring整合activemq dalan_123 java spring jms
      整合spring和activemq需要搞清楚如下的东东1、ConnectionFactory分：     a、spring管理连接到activemq服务器的管理ConnectionFactory也即是所谓产生到jms服务器的链接      b、真正产生到JMS服务器链接的ConnectionFactory还得
    • MySQL时间字段究竟使用INT还是DateTime？ dcj3sjt126com mysql
        环境：Windows XPPHP Version 5.2.9MySQL Server 5.1 第一步、创建一个表date_test（非定长、int时间） CREATE TABLE `test`.`date_test` (`id` INT NOT NULL AUTO_INCREMENT ,`start_time` INT NOT NULL ,`some_content`
    • Parcel: unable to marshal value dcj3sjt126com marshal
      在两个activity直接传递List<xxInfo>时，出现Parcel: unable to marshal value异常。   在MainActivity页面（MainActivity页面向NextActivity页面传递一个List<xxInfo>）：   Intent intent = new Intent(this, Next
    • linux进程的查看上（ps） eksliang linux pslinux ps -llinux ps aux
      ps:将某个时间点的进程运行情况选取下来 转载请出自出处：http://eksliang.iteye.com/admin/blogs/2119469 http://eksliang.iteye.com         ps 这个命令的man page 不是很好查阅，因为很多不同的Unix都使用这儿ps来查阅进程的状态，为了要符合不同版本的需求，所以这个
    • 为什么第三方应用能早于System的app启动 gqdy365 System
      Android应用的启动顺序网上有一大堆资料可以查阅了，这里就不细述了，这里不阐述ROM启动还有bootloader，软件启动的大致流程应该是启动kernel -> 运行servicemanager 把一些native的服务用命令启动起来（包括wifi, power, rild, surfaceflinger, mediaserver等等）-> 启动Dalivk中的第一个进程Zygot
    • App Framework发送JSONP请求(3) hw1287789687 jsonp跨域请求发送jsonpajax请求越狱请求
      App Framework 中如何发送JSONP请求呢? 使用jsonp,详情请参考:http://json-p.org/ 如何发送Ajax请求呢? (1)登录 /*** * 会员登录 * @param username * @param password */ var user_login=function(username,password){ // aler
    • 发福利，整理了一份关于“资源汇总”的汇总 justjavac 资源
      觉得有用的话，可以去github关注：https://github.com/justjavac/awesome-awesomeness-zh_CN 通用 free-programming-books-zh_CN 免费的计算机编程类中文书籍 精彩博客集合 hacke2/hacke2.github.io#2 ResumeSample 程序员简历
    • 用 Java 技术创建 RESTful Web 服务 macroli java编程WebREST
      转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/   JAX-RS (JSR-311) 【 Java API for RESTful Web Services 】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位
    • CentOS6.5-x86_64位下oracle11g的安装详细步骤及注意事项 超声波 oraclelinux
      前言： 这两天项目要上线了，由我负责往服务器部署整个项目，因此首先要往服务器安装oracle，服务器本身是CentOS6.5的64位系统，安装的数据库版本是11g，在整个的安装过程中碰到很多的坑，不过最后还是通过各种途径解决并成功装上了。转别写篇博客来记录完整的安装过程以及在整个过程中的注意事项。希望对以后那些刚刚接触的菜鸟们能起到一定的帮助作用。   安装过程中可能遇到的问题（注
    • HttpClient 4.3 设置keeplive 和 timeout 的方法 supben httpclient
      ConnectionKeepAliveStrategy kaStrategy = new DefaultConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { long keepAlive
    • Spring 4.2新特性-@Import注解的升级 wiselyman spring 4
      3.1 @Import @Import注解在4.2之前只支持导入配置类 在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean 3.2 示例 演示java类 package com.wisely.spring4_2.imp; public class DemoService { public void doSomethin