- hive-进阶版-1
数据牧马人
hivehadoop数据仓库
第6章hive内部表与外部表的区别Hive是一个基于Hadoop的数据仓库工具,用于对大规模数据集进行数据存储、查询和分析。Hive支持内部表(ManagedTable)和外部表(ExternalTable)两种表类型,它们在数据存储、管理方式和生命周期等方面存在显著区别。以下是内部表和外部表的主要区别:1.数据存储位置内部表:数据存储在Hive的默认存储目录下,通常位于HDFS(HadoopDi
- 第七篇:数据治理实践工具与资源
小技工丨
数据治理网络数据库大数据数据治理
1.数据治理实践工具与资源1.1数据治理成熟度评估工具数据治理成熟度评估是企业了解自身数据治理现状、识别改进机会的重要工具。通过系统化的评估,企业可以明确数据治理的发展阶段,制定有针对性的改进计划。1.1.1IBM数据治理成熟度评估模型IBM数据治理成熟度评估模型是业界广泛应用的评估工具之一,它从多个维度评估企业的数据治理成熟度。“数据被认为是推动企业增长和商业创新引擎的燃料。数据无疑被组织认定且
- 《数据挖掘导论》 第二章数据
爱吃草莓的西瓜酱
数据挖掘导论数据挖掘
第二章数据数据类型数据质量数据预处理相似度测量数据Collectionofdataobjectsandtheirattributes特征值数值型的或者描述性的(男/女-->0/1)特征和特征值之间的区别:相同的属性可能被赋予不同的特征值,如身高的单位可能是米或者英尺不同的属性可以映射到相同的值集,如ID是无界的,age有最大值和最小值1.特征的类型Nominal(标称)Examples:IDnum
- 怎样通过企业数据资产管理推动企业数字化转型
阿桂天山
数据资产化理论篇
企业数据资产管理在推动企业数字化转型中发挥着关键作用,以下是其主要推动方式:1.提升数据质量数据资产管理通过对数据进行清洗、整合和标准化处理,消除数据冗余和错误,提高数据的准确性和一致性。这为企业后续的数据分析和应用奠定了坚实基础,确保企业能够基于高质量的数据做出科学决策。2.促进数据共享与协同在数字化转型过程中,企业内部不同部门之间的数据共享和协同至关重要。数据资产管理通过建立统一的数据标准和规
- 使用 Doris 和 Iceberg
向阳1218
大数据doris
作为一种全新的开放式的数据管理架构,湖仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求,在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中,ApacheDoris持续加深与数据湖的融合,当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起,ApacheDoris引入Hive和Iceberg
- 使用 Doris 和 LakeSoul
向阳1218
大数据doris
作为一种全新的开放式的数据管理架构,湖仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求,在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中,ApacheDoris持续加深与数据湖的融合,当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起,ApacheDoris引入Hive和Iceberg
- 为什么要进行数据仓库分层?
BenBen尔
#建模方法spark大数据分布式
对数据仓库进行分层(如常见的ODS、DWD、DWS、ADS等层次)是为了解决复杂数据处理场景中的效率、可维护性、易用性问题。以下是分层的主要目的和优势:1、职责分离,逻辑解耦分层能够沉淀公共的数据模型,实现了逻辑解耦。有以下好处:减少重复开发,提升研发效率从数仓模型角度能够提升数据一致性。减少了冗余计算,高频查询或者高频开发无需使用原始数据,直接使用公共的数据模型查询或者开发即可,减少了对计算资源
- 数据仓库有哪些建模方法?
BenBen尔
#数据仓库数据仓库大数据
数据仓库的建模方法主要分为关系建模和多维建模两大类,不同方法适用于不同的业务场景和目标。以下是常见的建模方法及其特点:一、关系建模(规范化建模)基于关系型数据库的规范化理论,强调减少数据冗余,适合复杂的企业级数据仓库(EDW)。第三范式(3NF)定义:通过规范化将数据分解为多个关联表,确保每个字段仅依赖主键。优点:数据冗余低,一致性高,适合复杂事务处理。缺点:查询需要多表关联,性能较低;业务理解成
- 数据目录:数字化转型的导航引擎与核心基建
领码科技
数据目录数字化转型元数据管理数据治理智能分析
摘要:数据目录作为企业数据资产的“结构化地图”,通过系统化梳理元数据、建立多维度分类体系,成为数字化转型的底层支撑。其核心价值在于提升数据可见性、可用性与协作效率,助力企业实现从数据孤岛到智能决策的跨越。本文从定义、分类、构建逻辑切入,结合华为等企业实践,剖析数据目录如何驱动数据治理、加速业务创新,并为不同阶段的数字化转型提供可落地的实施路径。关键字:数据目录、数字化转型、元数据管理、数据治理、智
- 现代数据栈:秽土重生?——从 SAP x Databricks 看数据世界的轮回
数据库
由SAP官宣与Databricks合作想开去。现代数据栈(ModernDataStack)曾一度是数据行业最炙手可热的概念。Snowflake、Databricks、Fivetran、dbt……一众明星公司描绘出一个美好的未来:所有数据汇集到云端数据仓库,所有分析、BI和AI应用直接连接仓库数据,再无数据孤岛,数据流转自由,一切井然有序。但现实并没有这么美好。现代数据栈经历了一轮狂热,又在短短几年
- 第二篇:中国企业数据治理现状与典型挑战
小技工丨
数据治理人工智能网络大数据数据治理
中国企业数据治理现状与典型挑战引言随着数字经济的快速发展,数据已成为企业的核心战略资产。然而,中国企业在数据治理实践中仍面临诸多挑战。本文将深入分析中国企业数据治理的现状,对比金融、医疗、制造业等不同行业的数据治理成熟度,梳理相关政策法规驱动因素,剖析企业普遍面临的数据治理痛点,并通过典型案例深入探讨数据治理项目失败的根本原因,为企业构建有效的数据治理体系提供参考。1.行业扫描报告1.1金融/医疗
- Hive高级SQL技巧及实际应用场景
小技工丨
大数据随笔sqlhive数据仓库大数据
Hive高级SQL技巧及实际应用场景引言ApacheHive是一个建立在Hadoop之上的数据仓库基础设施,它提供了一个用于查询和管理分布式存储中的大型数据集的机制。通过使用类似于SQL(称为HiveQL)的语言,Hive使得数据分析变得更加简单和高效。本文将详细探讨一些Hive高级SQL技巧,并结合实际的应用场景进行说明。HiveSQL的高级使用技巧1.窗口函数描述:窗口函数允许我们在不使用GR
- 数仓建模—手把手教你用 DeepSeek 打造高效数据治理体系
不二人生
大模型数仓建模大模型deepseek
数仓建模—手把手教你用DeepSeek打造高效数据治理体系在这个数字化转型的时代,数据治理已经成为企业提升竞争力的核心能力之一。然而,对于很多企业来说,数据治理仍然是一项复杂而艰巨的任务。今天,我们将为你详细介绍如何利用DeepSeek这一强大的AI工具,快速构建属于自己的数据治理体系。无论你是数据治理的新手,还是正在寻找更高效的解决方案,这篇文章都将为你提供清晰的指导。一、为什么要选择DeepS
- 如何设计高效的数据湖架构?
晴天彩虹雨
架构大数据数据仓库
1.引言在大数据时代,数据湖(DataLake)逐渐成为企业存储和处理海量数据的重要基础设施。相比于传统数据仓库,数据湖能够支持结构化、半结构化和非结构化数据,同时提供更灵活的存储与计算能力。然而,如何合理设计数据湖架构,优化存储策略、Schema演进以及数据生命周期管理,是数据架构师必须深入思考的问题。本篇文章将深入探讨数据湖架构的设计方法,结合Hudi、Iceberg、DeltaLake等技术
- NLP常见任务专题介绍(3)-垂直领域的聊天机器人搭建详细教程
AI专题精讲
大模型专题系列自然语言处理机器人人工智能
一、整体流程构建垂直领域的聊天机器人需要结合特定行业的需求,采用自然语言处理和机器学习等技术。以下是一个典型的构建流程及相关技术实现:需求分析:明确机器人需要解决的问题范围和功能,例如客户服务、信息查询等。数据收集与预处理:数据收集:从行业相关的网站、论坛、数据库等渠道获取大量专业领域的文本数据。数据清洗:去除广告、无意义回复等噪声数据,确保数据质量。数据标注:对文本进行意图识别和实体识别的标注,
- DAMA 数据管理知识体系指南:第十章 参考数据与主数据
云 祁
数仓实践经验分享数据仓库DAMA数据库架构数据治理
第十章在CDGA分值占比不高,CDGP分值占比较高,主要考点包括:定义、目标、原则、参考数据及主数据管理好处、异同点、哪些属于主数据、活动、工具、度量指标等基本概念。因此本章建议充分理解参考数据及主数据的基础概念,通过历史真题理解到位!CDGA考题分布:4题,共4分CDGP考题分布:论述题1题,共10分主数据管理常见业务驱动因素:满足组织数据需求。管理数据质量。管理数据集成的成本。降低风险。【满足
- 初识开源云原生数仓Databend
开源项目精选
云原生
Databend是一款开源的数据仓库产品,主要定位于OLAP场景,采用云原生架构理念(可对比snowflake),有非常好的扩展性、同时具备低成本、高性能的优势,兼容MySQL协议。Stars数8,245Forks数765主要特点针对对象存储平台进行优化的云原生架构。符合SQL:2011标准,支持复杂查询和数据版本回溯(时间旅行)功能。与流行的商业智能(BI)、提取、转换和加载(ETL)以及数据科
- 在整个大模型LoRA微调中,哪些方法可以提升和优化模型训练后推理效果?
玩人工智能的辣条哥
人工智能人工智能LoRA微调
环境:LoRA微调问题描述:在整个大模型LoRA微调中,哪些方法可以提升和优化模型训练后推理效果?解决方案:在LoRA(Low-RankAdaptation)微调大模型后,提升和优化推理效果可以从以下多维度策略入手,涵盖数据、模型架构、训练策略和后处理技术等方面:1.数据优化数据质量与多样性确保微调数据覆盖目标场景的多样性,避免分布偏差。加入领域相关的高质量数据,清洗噪声数据(如重复、矛盾样本)。
- 一文理清:阿里系数据中台-数据治理工具集(傻傻也能分清楚)
Debug_Snail
HadoopBigData技术工具人工智能hadoop数据仓库
阿里云提供的大数据与数据分析产品种类较多,各产品的定位和核心功能有所不同。以下是对DataWorks、MaxCompute、Dataphin、AnalyticDBforMySQL(ADB)、QuickBI、EMR的详细梳理。一、核心产品定位与功能DataWorks定位:一站式大数据开发治理平台,提供数据集成、开发、调度、治理、服务等全链路能力。核心功能:数据集成:支持异构数据源(如数据库、OSS、
- 一文理清概念:数据中台(DMP)-数据仓库(DW)-数据湖(DL)-湖仓一体-数据治理(DG)
Debug_Snail
HadoopBigDataDataScience数据仓库大数据数据中台数据湖数据治理
数据仓库、数据中台、数据湖、湖仓一体是数据管理和分析领域的重要概念,它们在功能、架构和应用场景上各有特点,同时也在演进中相互关联和补充。以下是对它们的定义和关系的详细解析:1.核心概念(1)数据仓库(DataWarehouse,DW)定义:一种面向主题的、集成的、稳定的数据存储系统,用于支持企业决策分析(如BI、报表)。数据通常经过ETL(抽取、转换、加载)处理,以结构化形式存储,采用Schema
- 内容中台的核心架构是什么?
清风徐徐de来
其他
模块化架构设计解析内容中台的模块化架构通过分层解耦实现灵活扩展,其核心由基础资源层、能力服务层与业务应用层构成。基础层以统一数据治理体系为支撑,通过标准化接口实现结构化与非结构化数据的统一存储,例如Baklib采用分布式存储架构保障数据安全性与访问效率。服务层整合智能分发引擎与API协同策略,支持动态编排内容处理流程,如自动标签生成与多版本管理。应用层通过可配置化组件对接多终端场景,确保知识库构建
- doris:阿里云 MaxCompute
向阳1218
大数据doris
MaxCompute是阿里云上的企业级SaaS(SoftwareasaService)模式云数据仓库。什么是MaxCompute连接MaxCompute示例--1.创建Catalog。CREATECATALOGmcPROPERTIES("type"="max_compute","mc.default.project"="xxx","mc.access_key"="xxxx","mc.secret_
- 使用Activeloop Deep Lake构建深度学习数据仓库与向量存储
dgay_hua
深度学习人工智能python
技术背景介绍随着深度学习技术的发展,数据的存储与管理成为了一个重要的问题。尤其是对于需要处理大量数据的应用,例如自然语言处理和图像识别,传统的数据存储方式已经无法满足需求。ActiveloopDeepLake是专为深度学习设计的数据仓库,可以作为向量存储使用,支持多模态数据的存储和处理,并且可以直接用于细调大型语言模型(LLMs)。此外,它还提供自动版本控制,无需依赖其他服务,兼容主要云服务提供商
- 数据湖架构与实时数仓实践:Hudi、Iceberg、Kafka + Flink + Spark
晴天彩虹雨
架构kafkaflink数据仓库
1.引言:数据湖与数据仓库的融合趋势在大数据时代,传统的数据仓库(DataWarehouse,DW)因其强一致性和高效查询能力,一直是企业数据分析的核心。然而,随着数据量和数据类型的爆炸式增长,传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题,数据湖(DataLake)概念应运而生。数据湖能够存储原始数据,支持半结构化和非结构化数据,提供更灵活的计算框架,但其缺乏事务管理和数据一致性
- 什么是数据库中的宽表?
見贤思齊
数据分析数据库
数据库中的宽表(WideTable)是指一种包含大量列的表结构设计,通常通过将多个业务相关的数据字段(甚至来自不同表的字段)合并到一张表中,以减少多表关联查询的需求。宽表常见于数据仓库、OLAP(联机分析处理)系统或大数据场景,其核心目标是优化查询性能,尤其是在需要频繁进行复杂分析或生成报表的场景中。一、宽表的核心特点1.列数多宽表可能包含数十甚至数百列,涵盖多个维度和指标(例如订单信息、客户信息
- 内容中台赋能数字化内容管理智能升级
清风徐徐de来
其他
智能元数据引擎架构解析现代智能元数据引擎通过三层模型实现数据治理的范式突破:底层采用动态本体建模技术,支持多源异构数据整合;中间层部署语义推理框架,结合知识图谱构建能力实现上下文感知;应用层则通过动态工作流配置驱动业务场景适配。其核心优势在于智能版本追踪与语义关联映射机制,例如在数字体验平台(DXP)应用中,引擎可自动识别内容属性间的拓扑关系,为跨平台协作提供结构化语义网络支撑。实践表明,采用标准
- 【数据仓库与数据挖掘基础】第一章 概论/基础知识
精神病不行计算机不上班
数据仓库与数据挖掘基础数据挖掘数据仓库
知识点复习:事务(关于事务的一些知识点可以点这里)一、数据仓库的一些基本的知识1.从数据库到数据仓库1.1数据库用于事务处理1.1.1定义:事务处理是指对数据库中数据的操作,这些操作通常包括插入、更新、删除和查询等。事务处理的核心是确保数据的一致性和完整性。事务的定义:事务是数据库操作的基本单位,包含一组逻辑上相关的操作。事务要么全部成功,要么全部失败。ACID特性:原子性(Atomicity):
- 云数据库是什么数据库?
云服务器数据库
云数据库,简单来说,是一种部署在云计算环境中的数据库服务。它借助云计算的强大资源,将数据库管理系统以服务的形式提供给用户,用户无需在本地自行搭建复杂的硬件和软件环境,通过互联网就能便捷地使用数据库功能。这就像是把原本需要在自家搭建、维护的“数据仓库”搬到了云端的“大型仓储中心”,由专业团队负责管理和维护。与传统数据库相比,云数据库有着诸多明显差异。传统数据库往往需要用户自行购置服务器、存储设备等硬
- Kimball维度模型之数据仓库灵魂总线架构
ByteCodeLabs
维度数据仓库设计数据仓库架构
目录一总线架构(BusArchitecture)1总线矩阵(BusMatrix)2Mapping文档二一致性维度(ConformedDimension)三一致性事实(ConformedFact)在数据仓库领域,深刻理解基本概念是确立强大数据管理体系的关键。数据仓库作为一个庞大而复杂的系统,其核心概念涉及多维体系结构、总线架构等关键要素。首要的是理解数据仓库的架构,例如Multidimensiona
- 大龄IT从业人员如何实现大厂梦
繁华之中悟静
职场发展求职招聘
本文是针对大龄的IT从业人员冲击大厂高薪岗位的一些切实可行的建议,按照建议执行后,可以让这些依然心存大厂高薪梦的老男孩们增大一些实现梦想的机会。一、精准定位岗位赛道选择"经验溢价型"岗位推荐方向:行业解决方案架构师(如金融/政务云)数据治理专家(需掌握元数据管理、数据合规)技术布道师(需具备开源社区贡献经验)案例:某42岁候选人通过展示金融风控系统架构经验,以P9职级入职阿里,薪资比同级别年轻员工
- 深入浅出Java Annotation(元注解和自定义注解)
Josh_Persistence
Java Annotation元注解自定义注解
一、基本概述
Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制,用来将任何的信息或元数据(metadata)与程序元素(类、方法、成员变量等)进行关联。
更通俗的意思是为程序的元素(类、方法、成员变量)加上更直观更明了的说明,这些说明信息是与程序的业务逻辑无关,并且是供指定的工具或
- mysql优化特定类型的查询
annan211
java工作mysql
本节所介绍的查询优化的技巧都是和特定版本相关的,所以对于未来mysql的版本未必适用。
1 优化count查询
对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看
真正的count()函数的作用到底是什么。
count()是一个特殊的函数,有两种非常不同的作用,他可以统计某个列值的数量,也可以统计行数。
在统
- MAC下安装多版本JDK和切换几种方式
棋子chessman
jdk
环境:
MAC AIR,OS X 10.10,64位
历史:
过去 Mac 上的 Java 都是由 Apple 自己提供,只支持到 Java 6,并且OS X 10.7 开始系统并不自带(而是可选安装)(原自带的是1.6)。
后来 Apple 加入 OpenJDK 继续支持 Java 6,而 Java 7 将由 Oracle 负责提供。
在终端中输入jav
- javaScript (1)
Array_06
JavaScriptjava浏览器
JavaScript
1、运算符
运算符就是完成操作的一系列符号,它有七类: 赋值运算符(=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=)、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
- 国内顶级代码分享网站
袁潇含
javajdkoracle.netPHP
现在国内很多开源网站感觉都是为了利益而做的
当然利益是肯定的,否则谁也不会免费的去做网站
&
- Elasticsearch、MongoDB和Hadoop比较
随意而生
mongodbhadoop搜索引擎
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太远,我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎,它们存储着JSON文档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
- mac os 系统科研软件总结
张亚雄
mac os
1.1 Microsoft Office for Mac 2011
大客户版,自行搜索。
1.2 Latex (MacTex):
系统环境:https://tug.org/mactex/
&nb
- Maven实战(四)生命周期
AdyZhang
maven
1. 三套生命周期 Maven拥有三套相互独立的生命周期,它们分别为clean,default和site。 每个生命周期包含一些阶段,这些阶段是有顺序的,并且后面的阶段依赖于前面的阶段,用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例,它包含的阶段有pre-clean, clean 和 post
- Linux下Jenkins迁移
aijuans
Jenkins
1. 将Jenkins程序目录copy过去 源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面 tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
- request.getInputStream()只能获取一次的问题
ayaoxinchao
requestInputstream
问题:在使用HTTP协议实现应用间接口通信时,服务端读取客户端请求过来的数据,会用到request.getInputStream(),第一次读取的时候可以读取到数据,但是接下来的读取操作都读取不到数据
原因: 1. 一个InputStream对象在被读取完成后,将无法被再次读取,始终返回-1; 2. InputStream并没有实现reset方法(可以重
- 数据库SQL优化大总结之 百万级数据库优化方案
BigBird2012
SQL优化
网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。
这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。
1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where
- jsonObject的使用
bijian1013
javajson
在项目中难免会用java处理json格式的数据,因此封装了一个JSONUtil工具类。
JSONUtil.java
package com.bijian.json.study;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
- [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration
bit1129
zookeeper
Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API,它包含了如下几个内部类
首先分析它的内部类,从WatchRegistration开始,为指定的znode path注册一个Watcher,
/**
* Register a watcher for a particular p
- 【Scala十三】Scala核心七:部分应用函数
bit1129
scala
何为部分应用函数?
Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
- Tomcat Error listenerStart 终极大法
ronin47
tomcat
Tomcat报的错太含糊了,什么错都没报出来,只提示了Error listenerStart。为了调试,我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties,内容如下
Java代码
handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
- 不用加减符号实现加减法
BrokenDreams
实现
今天有群友发了一个问题,要求不用加减符号(包括负号)来实现加减法。
分析一下,先看最简单的情况,假设1+1,按二进制算的话结果是10,可以看到从右往左的第一位变为0,第二位由于进位变为1。
 
- 读《研磨设计模式》-代码笔记-状态模式-State
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/*
当一个对象的内在状态改变时允许改变其行为,这个对象看起来像是改变了其类
状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况
把状态的判断逻辑转移到表示不同状态的一系列类中,可以把复杂的判断逻辑简化
如果在
- CUDA程序block和thread超出硬件允许值时的异常
cherishLC
CUDA
调用CUDA的核函数时指定block 和 thread大小,该大小可以是dim3类型的(三维数组),只用一维时可以是usigned int型的。
以下程序验证了当block或thread大小超出硬件允许值时会产生异常!!!GPU根本不会执行运算!!!
所以验证结果的正确性很重要!!!
在VS中创建CUDA项目会有一个模板,里面有更详细的状态验证。
以下程序在K5000GPU上跑的。
- 诡异的超长时间GC问题定位
chenchao051
jvmcmsGChbaseswap
HBase的GC策略采用PawNew+CMS, 这是大众化的配置,ParNew经常会出现停顿时间特别长的情况,有时候甚至长到令人发指的地步,例如请看如下日志:
2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
- maven环境快速搭建
daizj
安装mavne环境配置
一 下载maven
安装maven之前,要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。
maven下载地址:http://maven.apache.org/download.html,目前最新的是这个apache-maven-3.2.5-bin.zip,然后解压在任意位置,最好地址中不要带中文字符,这个做java 的都知道,地址中出现中文会出现很多
- PHP网站安全,避免PHP网站受到攻击的方法
dcj3sjt126com
PHP
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
- yii中给CGridView设置默认的排序根据时间倒序的方法
dcj3sjt126com
GridView
public function searchWithRelated() {
$criteria = new CDbCriteria;
$criteria->together = true; //without th
- Java集合对象和数组对象的转换
dyy_gusi
java集合
在开发中,我们经常需要将集合对象(List,Set)转换为数组对象,或者将数组对象转换为集合对象。Java提供了相互转换的工具,但是我们使用的时候需要注意,不能乱用滥用。
1、数组对象转换为集合对象
最暴力的方式是new一个集合对象,然后遍历数组,依次将数组中的元素放入到新的集合中,但是这样做显然过
- nginx同一主机部署多个应用
geeksun
nginx
近日有一需求,需要在一台主机上用nginx部署2个php应用,分别是wordpress和wiki,探索了半天,终于部署好了,下面把过程记录下来。
1. 在nginx下创建vhosts目录,用以放置vhost文件。
mkdir vhosts
2. 修改nginx.conf的配置, 在http节点增加下面内容设置,用来包含vhosts里的配置文件
#
- ubuntu添加admin权限的用户账号
hongtoushizi
ubuntuuseradd
ubuntu创建账号的方式通常用到两种:useradd 和adduser . 本人尝试了useradd方法,步骤如下:
1:useradd
使用useradd时,如果后面不加任何参数的话,如:sudo useradd sysadm 创建出来的用户将是默认的三无用户:无home directory ,无密码,无系统shell。
顾应该如下操作:
- 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理
jinnianshilongnian
nginxlua
JSON库
在进行数据传输时JSON格式目前应用广泛,因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能;目前Lua也有几个JSON库,本人用过cjson、dkjson。其中cjson的语法严格(比如unicode \u0020\u7eaf),要求符合规范否则会解析失败(如\u002),而dkjson相对宽松,当然也可以通过修改cjson的源码来完成
- Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
yaerfeng1989
timerquartz定时器
原创整理不易,转载请注明出处:Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
代码下载地址:http://www.zuidaima.com/share/1772648445103104.htm
有两种流行Spring定时器配置:Java的Timer类和OpenSymphony的Quartz。
1.Java Timer定时
首先继承jav
- Linux下df与du两个命令的差别?
pda158
linux
一、df显示文件系统的使用情况,与du比較,就是更全盘化。 最经常使用的就是 df -T,显示文件系统的使用情况并显示文件系统的类型。 举比例如以下: [root@localhost ~]# df -T Filesystem Type &n
- [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象
ctfzh
VOandroidsqlite反射Cursor
在写DAO层时,觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了,就写了一个工具类,用到了反射,可以把查询记录的值装到对应的VO里,也可以生成该VO的List。
使用时需要注意:
考虑到Android的性能问题,VO没有使用Setter和Getter,而是直接用public的属性。
表中的字段名需要和VO的属性名一样,要是不一样就得在查询的SQL中
- 该学习笔记用到的Employee表
vipbooks
oraclesql工作
这是我在学习Oracle是用到的Employee表,在该笔记中用到的就是这张表,大家可以用它来学习和练习。
drop table Employee;
-- 员工信息表
create table Employee(
-- 员工编号
EmpNo number(3) primary key,
-- 姓