我爱肉肉
我爱肉肉

《Hadoop构建数据仓库实践》摘录

数据仓库模型

1 模型设计思考流程
在这里插入图片描述
2 Hive 使用时注意的情况
Hive 创建表时文件格式的选择
在这里插入图片描述
Hive事务的局限性
《Hadoop构建数据仓库实践》摘录_第1张图片

数据抽取

4种CDC变化数据拉取方式
《Hadoop构建数据仓库实践》摘录_第2张图片

时间戳：添加更新时间等字段

触发器：当执行insert，update等sql时触发等

快照：
	比如一天保存一份快照，第二天新快照和前一天快照根据主键全外连接。
	并根据主键比较的结果增加一个标志字段，I表示新增，U表示更新，D代表删除，N代表没有变化。外层查询过滤掉没有变化的记录。
	但是性能开销大，存储空间开销大

日志
	最复杂的和最没有侵入性的CDC方法是基于日志的方式
	如使用MySQL数据库，只要在数据库服务器中启用二进制日志（设置log_bin服务器系统变量）。
	之后就可以实时从数据库日志中读取到所有数据库写操作，并使用这些操作来更新数据仓库中的数据。
	这种方式需要把二进制日志转为可以理解的格式，然后再把里面的操作按照顺序读取出来

sqoop覆盖导入和增量导入
增量导入
《Hadoop构建数据仓库实践》摘录_第3张图片
《Hadoop构建数据仓库实践》摘录_第4张图片

增量方式，根据entry_date字段，每次之后导入该字段last-value之后的数据

小结
《Hadoop构建数据仓库实践》摘录_第5张图片

数据转换和装载

渐变维-处理维度历史变换问题
《Hadoop构建数据仓库实践》摘录_第6张图片

1 可以采用sqoop通过last-value增量形式每天全量将mysql数据覆盖写入hive mysql过渡表
2 执行初始装载sql语句，通过hive mysql真正数据表cross join过度表，增量写入hive mysql真正数据表中，
hive本身的id自增可以通过row_number/UDFRowSequence实现

定期装载可以根据时间戳等4种CDC方式来部分拉取数据

书中例子的设计

《Hadoop构建数据仓库实践》摘录_第7张图片

你可能感兴趣的:(大数据简单摘要篇,大数据,数据仓库,维度建模)

  • 第三讲 隐语架构 huang8666 人工智能
    第三讲隐语架构产品层白屏黑屏两大模块通过可视化产品，降低终端用户的体验和演示成本通过模块化API降低技术集成商的研发成本隐语产品SecretPad：轻量化安装快速验证POC可定制集成SecretNote：Notebook形式交互式建模多节点一站式管理和交互运行状态跟踪算法层PSI/PIR、DataAnalysis、FederatedLearningPSI（PrivateSetIntesection
  • 基于python的时空地理加权回归（GTWR）模型 有梦想的Frank博士 数据处理数据分析回归空间分析时空异质性
    一、时空地理加权回归（GTWR）模型时空地理加权回归（GTWR）模型是由美国科罗拉多州立大学的AndyLiaw、StanleyA.Fiel和MichaelE.Bock于2008年提出的一种高级空间统计分析方法。它是在传统地理加权回归（GWR）模型的基础上发展起来的，通过结合时间和空间两个维度，提供了一种更为灵活和精确的时空数据分析手段。背景和发展传统的地理加权回归（GWR）模型主要关注地理空间上的
  • 基于Python读取ZIP和TAR格式压缩包教程 袁袁袁袁满 Python实用技巧大全python前端开发语言ZIP和TAR格式Python读取压缩包
    在数据处理和文件管理中，压缩包（如ZIP、TAR等格式）的使用非常普遍。Python提供了多种库来读取和处理这些压缩包。本文将介绍如何使用Python的内置库和第三方库来读取ZIP和TAR格式的压缩包。1、读取ZIP文件Python的zipfile模块提供了处理ZIP文件的功能。以下是一个简单的示例，展示如何读取ZIP文件并提取其中的内容。步骤1：导入zipfile模块pythonimportzi
  • leetcode-买卖股票问题 Only you680 leetcodeleetcode算法
    309.买卖股票的最佳时机含冷冻期-力扣（LeetCode）动态规划解题思路：1、暴力递归（难点如何定义递归函数）2、记忆化搜索-傻缓存法（根据暴力递归可变参数确定缓存数组维度）3、严格表结构依赖的动态规划4、进一步优化（斜率优化、空间优化），非必须一、分析：假设[0,index-1]之前的最大利润已经知道，现在计算到了index位置的最大利润。根据题意，到index位置后可能有三种状态，买入、卖
  • 【Delete 删除数据语法合集】.NET开源ORM框架 SqlSugar 系列 Microi风闲 【ORM】‌SqlSugar.net开源微软技术后端sqlsugarorm
    系列文章目录.NET开源ORM框架SqlSugar系列文章目录系列文章目录前言一、根据实体删除1.1强类型实体2.2无主键实体删除2.3Object、接口、抽象类删除二、根据主键三、根据主键数组四、根据表达式五、联表删除六、无实体删除七、全局过滤器八、逻辑删除8.1逻辑删除方式1：8.2逻辑删除方式2：九、初始化表十、导航删除十一、常用案例11.1除最新N条清空11.2N到N条删除11.3大数据删
  • C++中“::”与“.”的区别 阿贾克斯的黎明 C++c++
    在C++编程中，“::”（作用域解析运算符）和“.”（成员访问运算符）是两个非常重要的符号，但它们有着不同的用途和功能。一、“.”成员访问运算符“.”用于访问类、结构体或联合体对象的成员。以下是一个简单的示例：#includeclassMyClass{public:intmemberVariable;voidmemberFunction(){std::coutnamespaceMyNamespac
  • 【cs.CV】25.1.14 arxiv更新速递 hinmer CV每日更新arxivchatgptgpt人工智能自然语言处理自动驾驶计算机视觉ai
    【cs.CV】25.1.14arxiv更新110篇—第1篇----=====Omni-RGPT:UnifyingImageandVideoRegion-levelUnderstandingviaTokenMarks关键词:计算机视觉,多模态大语言模型,区域级理解,TokenMark,视频理解链接1摘要:我们提出了Omni-RGPT，这是一种多模态大型语言模型，旨在促进图像和视频的区域级理解。为了在
  • Knowledge Boundary of Large Language Models: A Survey UnknownBody LLMDailySurveyPaper语言模型人工智能自然语言处理
    本文是LLM系列文章，针对《KnowledgeBoundaryofLargeLanguageModels:ASurvey》的翻译。大型语言模型的知识边界：综述摘要1引言2知识边界的定义3不良行为4知识边界的识别5缓解6挑战与前景7结论局限性摘要尽管大型语言模型（LLM）在其参数中存储了大量的知识，但它们在记忆和利用某些知识方面仍然存在局限性，导致了不良的行为，如产生不真实和不准确的反应。这突显了理
  • Vue 开发者的 React 实战指南：组件设计模式篇
    作为Vue开发者，在学习React的过程中，除了语法和状态管理的差异，组件设计模式的差异也是一个重要的方面。本文将从Vue开发者熟悉的角度出发，详细介绍React中常用的组件设计模式。组件基础对比Vue组件Vue组件通常采用单文件组件（SFC）的形式：{{username}}{{bio}}exportdefault{name:'UserCard',props:{username:{type:Str
  • Python 潮流周刊#81：在个人电脑上运行 GPT-4 级别的大模型（摘要） python
    本周刊由Python猫出品，精心筛选国内外的250+信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进Python技术，并增长职业和副业的收入。分享了12篇文章，12个开源项目，2则音视频，全文2200字。以下是本期摘要：文章&教程①在个人电脑上运行GPT-4级别的大模型②PEP-768：CPython的安全外部调试接口③深入探究Cele
  • Python 潮流周刊#69：是时候停止使用 Python 3.8了（摘要） python
    本周刊由Python猫出品，精心筛选国内外的250+信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进Python技术，并增长职业和副业的收入。分享了12篇文章，12个开源项目，全文2100字。以下是本期摘要：文章&教程①是时候停止使用Python3.8了②多版本Python库的思考③为什么我要从Pandas切换用Polars？④我们如何
  • Python 潮流周刊#70：微软 Excel 中的 Python 正式发布！（摘要） python
    本周刊由Python猫出品，精心筛选国内外的250+信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进Python技术，并增长职业和副业的收入。分享了12篇文章，12个开源项目，2则音视频，全文2000字。以下是本期摘要：文章&教程①微软Excel中的Python正式发布②UV汇总：五篇好文章和一个pre-commit技巧③Spiderw
  • 使用Emgu.CV将tif保存视频，并用AxWindowsMediaPlayer打开 orangapple 前端javascript数据库
    1.使用Emgu.CV将tif保存视频，非常简单打开：VideoWriterwriter=newVideoWriter(name,VideoWriter.Fourcc('M','J','P','G'),displayRate,newSize(width,height),false);写入writer.Write(mat);关闭writer.Dispose();完整代码如下：usingEmgu.CV
  • 工业互联网体系架构：赋能制造业转型升级 2201_75335682 架构
    摘要：随着全球信息化和工业化进程的加快，工业互联网作为新一代信息技术与制造业深度融合的产物，已成为推动我国制造业转型升级的重要力量。本文将从工业互联网体系架构的内涵、特点、关键技术及发展策略等方面进行详细阐述，以期为我国工业互联网的健康发展提供参考。一、工业互联网体系架构内涵工业互联网体系架构主要包括四个层次：感知层、传输层、平台层和应用层。感知层负责实时采集设备、环境和人员等信息；传输层通过有线
  • 【大数据】Flink CDC 实时同步mysql数据 小码农叔叔 springboot入门到精通大数据FlinkCDCFlinkCDC同步数据FlinkCDC数据同步
    目录一、前言二、FlinkCDC介绍2.1什么是FlinkCDC2.2FlinkCDC特点2.3FlinkCDC核心工作原理2.4FlinkCDC使用场景三、常用的数据同步方案对比3.1数据同步概述3.1.1数据同步来源3.2常用的数据同步方案汇总3.3为什么推荐FlinkCDC3.4FlinkCDC适用范围3.5FlinkCDC不同版本对比3.5.1FlinkCDC1.x3.5.2FlinkCD
  • Python测试的艺术：深入理解单元测试与unittest框架应用 清水白石008 开发语言Python题库pythonpython单元测试开发语言
    Python测试的艺术：深入理解单元测试与unittest框架应用一、引言在软件开发过程中，测试是确保软件质量的关键环节。Python作为一种流行的编程语言，其测试体系也非常成熟和强大。其中，单元测试是测试体系中最基础、最常用的一种。本文将详细介绍单元测试的概念，并使用Python的内置测试框架unittest来编写一个简单的测试用例，帮助读者理解并掌握单元测试的基本方法和技巧。二、单元测试概述单
  • 第23篇 基于ARM A9处理器用汇编语言实现中断＜五＞ Terasic友晶科技 计算机组成NiosII&ARMDE1-SoC开发板汇编语言FPGA开发定时器中断周期
    Q：怎样修改HPSTimer0定时器产生的中断周期？A：在上一期实验的基础上，可以修改按键中断服务程序，实现红色LED上的计数值递增的速率，主程序和其余代码文件不用修改。实现以下功能：按下KEY0时，RUN变量的值在1和0之间切换，也使得COUNT变量的值保持不变或递增；按下KEY1时，COUNT值递增的速率加倍；按下KEY2时速率减半；通过在按键中断服务例程中停止HPSTimer0定时器，修改定
  • Playwright 精通系列第五篇：表单处理与文件上传/下载 weixin_44872675 Playwright深入学习python
    在自动化测试中，表单操作和文件上传/下载是两大常见需求。表单操作不仅包括输入框和按钮的交互，还涉及到单选框、多选框、下拉菜单等复杂组件。而文件上传和下载更是许多用户测试流程中的难点，尤其是在处理非标准化的文件组件时。本篇文章将深入探讨表单处理和文件上传/下载的核心功能，结合实战案例，列举常见问题和解决思路，帮助你更高效地完成自动化测试。1.Playwright表单处理的优势链式操作简洁高效：Pla
  • Web实时通信的学习之旅：SSE（Server-Sent Events）的技术详解及简单示例演示 web14786210723 vip1024p前端学习
    文章目录一、什么是SSE二、SSE技术的基本原理三、SSE适用于场景四、Node服务端示例1、协议2、格式3、事件3.1、事件3.2、事件唯一标识符3.3、重连事件4、具体示例五、客户端示例1、检测客户端是否支持SSE2、创建客户端连接3、事件监听4、接收事件5、自定义事件6、错误处理7、主动断开连接8、具体示例六、注意事项1、nginx配置2、EventSource一、什么是SSE服务器向浏览器
  • Python 爬虫入门教程：从零构建你的第一个网络爬虫 m0_66323401 python爬虫开发语言
    网络爬虫是一种自动化程序，用于从网站抓取数据。Python凭借其丰富的库和简单的语法，是构建网络爬虫的理想语言。本文将带你从零开始学习Python爬虫的基本知识，并实现一个简单的爬虫项目。1.什么是网络爬虫？网络爬虫（WebCrawler）是一种通过网络协议（如HTTP/HTTPS）获取网页内容，并提取其中有用信息的程序。常见的爬虫用途包括：收集商品价格和评价。抓取新闻或博客内容。统计数据分析。爬
  • Linux 操作一：系统调用：文件读写 余额不足12138 linux服务器
    Linux操作一：系统调用：文件读写基本概念什么是文件简单的说，文件就是存储在硬件磁盘上的数据集合。文件通过什么来标识系统中在处理的文件（读、写操作）的时候，需要唯一能够识别这个文件，就需要一个针对文件的标识，以便在其它地方能识别出这个文件，于是就产生了文件描述符。文件描述符文件描述符是一些整数，简单的说就是一个文件ＩＤ，用于在系统中唯一的标识一个文件。文件描述符的总数也就是系统可以打开文件的最多
  • mybatis源码解析-sql执行流程 吴冰_hogan mybatis源码mybatissqljava
    1执行器的创建1.SimpleExecutor描述：最基本的执行器，每次查询都会创建新的语句对象，并且不会缓存任何结果。特点：每次查询都会创建新的PreparedStatement对象。不支持一级缓存。适用于简单的查询操作，不需要缓存的情况。2.ReuseExecutor描述：复用型执行器，会复用PreparedStatements。特点：通过缓存PreparedStatement对象来提高性能。
  • 复杂分页查询 淺淺い微笑
    上次讲过简单的分页查询，就是简单的查询所有信息，不带其他条件，而复杂分页查询就是在简单查询的基础上，加一些条件。我们以搜索为例（搜索完成后带分页效果），这里我们就在上一次的基础上进行修改首先是我们的servlet层：@WebServlet("/searchStudentServlet")publicclassSearchStudentServletextendsHttpServlet{protec
  • Linux系统调用下的文件I/O编程 夏天又到了 LinuxC\C++编程技术linux服务器运维
    【图书推荐】《LinuxC与C++一线开发实践（第2版）》_linuxc与c++一线开发实践pdf-CSDN博客LinuxC\C++编程技术_夏天又到了的博客-CSDN博客《LinuxC与C++一线开发实践（第2版）（Linux技术丛书）》(朱文伟，李建英)【摘要书评试读】-京东图书I/O就是输入/输出，它是主存和外部设备（比如硬盘、U盘）之间复制数据的过程，其中数据从设备到内存的过程称为输入，数
  • 认识软件测试 - 软实力面试题 Sunrise_angel 软件测试压力测试
    目录1.什么是测试1.1简单认识测试1.2为什么需要测试1.3软件测试的定义2.测试的岗位有哪些2.1面试题[HR面]:测开和测试的区别是什么?3.软件测试和软件开发3.1测试和调试的区别3.2面试题:走测试岗位为什么还要学开发知识?4.优秀软件测试人员具备的素质4.1综合能力4.2掌握自动化测试技术4.3测试用例的设计能力4.4探索性思维4.5兴趣4.6责任感和压力4.7面试题4.8面试题:为什
  • Java自定义异常处理 胡净 java开发语言
    在Java中，自定义异常处理通常涉及创建一个新的异常类并在适当的地方抛出该异常。下面是一个简单的示例，演示如何创建和使用自定义异常。步骤1:创建自定义异常类首先，你需要创建一个继承自Exception或RuntimeException的类。选择哪个取决于你的需求：如果希望强制调用者处理该异常，应该继承自Exception；如果可以选择不处理该异常，应该继承自RuntimeException。//自
  • HarmonyOS 与 iOS：架构与优势的深度剖析 汪子熙 计算机基础知识harmonyosios架构华为
    在现代操作系统的版图中，HarmonyOS和iOS都占据着重要地位。它们代表了两种不同的发展方向：前者以分布式架构和多终端融合为核心，后者则以精细化的用户体验和封闭的生态系统见长。以下将通过多个维度剖析它们的本质区别与各自的优势。技术架构的不同HarmonyOS是由华为开发的一款基于微内核设计的分布式操作系统，强调跨设备的无缝协同。其微内核架构使系统的模块更加轻量化，并支持多样化设备的集成，从智能
  • 系统建模语言 (SysML) CoderIsArt 架构设计研究SysML
    系统建模语言(SysML)是一种通用的建模语言，用于支持复杂系统的需求分析、设计、验证和验证等系统工程活动。SysML是由UML（统一建模语言）扩展而来的，专门用于描述系统的需求、行为、结构和参数化特性。以下是有关SysML和相关工具的详细信息以及软件下载建议。SysML的核心特点专注于系统工程：比UML更适合跨学科的系统建模。支持硬件、软件、人、信息和过程等系统要素的建模。视图与建模：SysML
  • 实现实时通信：使用Python WebSocket与服务器进行交互 清水白石008 Python题库pythonpythonwebsocket交互
    实现实时通信：使用PythonWebSocket与服务器进行交互在现代网络应用中，实时通信变得越来越重要。无论是在线聊天、股票交易还是游戏，能够即时交换数据是提升用户体验的关键。WebSocket协议作为一种实现双向通信的标准，提供了有效的解决方案。本文将带你深入理解如何使用Python编写一个简单的WebSocket客户端，与服务器进行实时通信。一、WebSocket协议概述1.1WebSock
  • 第三篇：字符串的有效长度JavaScript Shirley~~ javascript
    这是一个求有效字符串长度的题目，在此之前复习一个简单的正则表达式正则表达式:用来定义一个字符串的规则；计算机可根据表达式来判断一个字符串是否符合规则，也可以将符合内容的字符串从一段内容中提取出来。^字符串的开头$字符串的结尾[a-zA-Z]任意字母[a-z]任意小写字母[0-9]任意数字[^]除了[^0-9]除了0-9test()用来检查一个字符串是否符合规则具体代码letstr='abcbgtd
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他