语兴数据
语兴数据

数仓建设学习路线（五）-数据质量保障

什么是数据质量？

数据质量，意如其名，就是数据的准确性，他是数据仓库的基石，控制好数据质量，是做数据仓库基本要求，也使得下游业务方对数据用的放心

数据质量的痛点有哪些

 数据问题该如何上报修复，缺少流程化

 数据链路缺少卡点保障

 数据不能及时产出影响到下游用数

 用户无感知，除了发现的数据问题，隐藏的数据问题仍存在

 很多人会有一种想法，做了这么久的数仓为什么还存在质量问题？

数据质量保障措施

数仓建设学习路线（五）-数据质量保障_第1张图片

模型上线

设计模型 -->组内模型评审 -->代码编写 -->提交运行(dev环境) -->代码审核数据校验(数据校验时需要给审核人提供数据比对结果) -->配置DQC -->数据初始化(线上环境)

模型变更

确定需求(了解需求背景) -->代码编写 -->提交运行(dev环境) -->代码审核&数据校验(数据校验时需要给审核人提供数据比对结果) -->配置DQC（可省略，或添加业务dqc） -->数据初始化(线上环境)

指标变更

  1. 如果发现字段变更后对下游自己的表/报表产生影响，那自己负责修改代码并让其他同学进行代码审核、数据质量审核且任务运行成功后方可发布线上
  2. 如果下游血缘存在不是自己的表/报表，需要在相关业务群里说一下/找到下游表owner/报表owner发送通知，让下游owner进行修改，如联系不上需要向owner的leader说明问题，并且让下游表/报表的owner当天回复一下受不受影响，不回复则对方承担问题责任，如果对方不接受修改方案，需要双方约定一下修改内容、修改日期，重定方案

代码检验工具

数据探查

数仓建设学习路线（五）-数据质量保障_第2张图片 数仓建设学习路线（五）-数据质量保障_第3张图片

数据比对

数仓建设学习路线（五）-数据质量保障_第4张图片 数仓建设学习路线（五）-数据质量保障_第5张图片

手动验证

数据探查

 表数据量

 关键性字段扫描（特指主键），唯一性、最大最小值/长度，空值占比

 其余字段扫描：空值占比、最大最小值/长度、枚举值占比

数据比对

 dev表与pro表比对（同分区，且比对内容不涉及新添加内容）

 表数据量

 表去重后数据量

 字段总体/个别一致率（这里指两张表同字段数据比对）

重点来了

下一讲我们详细聊聊DQC的整个过程以及实施方案，如果对这个系列感兴趣的同学可以点赞收藏，也可以私信我获取全套的课件及课程，也可以关注公众号：语数，获取全部的招聘内推岗位及体系课资料

本文由 mdnice 多平台发布

你可能感兴趣的:(程序人生)

  • 程序人生——Java中基本类型使用建议 Perley620 #Java面试上岸专栏程序人生javapython
    目录引出Java中基本类型使用建议建议21：用偶判断，不用奇判断建议22：用整数类型处理货币建议23：不要让类型默默转换建议24：边界、边界、还是边界建议25：不要让四舍五入亏了一方建议26：提防包装类型的null值建议27：谨慎包装类型的大小比较建议28：优先使用整型池建议29：优先选择基本类型建议30：不要随便设置随机种子深入认识JVMJVM内存分配，类加载创建对象的4种方法总结垃圾回收GCJ
  • 程序人生——Java开发中通用的方法和准则，Java进阶知识汇总 Perley620 #Java面试上岸专栏程序人生java职场和发展
    目录引出Java开发中通用的方法和准则建议1：不要在常量和变量中出现易混淆的字母建议2：莫让常量蜕变成变量建议3：三元操作符的类型务必一致建议4：避免带有变长参数的方法重载建议5：别让null值和空值威胁到变长方法建议6：覆写变长方法也循规蹈矩建议7：警惕自增的陷阱建议8：不要让旧语法困扰你建议9：少用静态导入建议10：不要在本类中覆盖静态导入的变量和方法建议11：养成良好的习惯，显式声明UID建
  • 程序人生-Hello’s P2P zuo_zy 文档资料
    计算机系统大作业题目程序人生-Hello’sP2P专业计算学部学号120L022413班级2003008学生左曾元指导教师吴锐计算机科学与技术学院2022年5月摘要本文分析hello程序从C文件转变为可执行文件的过程,介绍了hello程序在Linux系统下的生命周期。对预处理、编译、汇编、链接的过程进行了分析，并讨论了hello的进程管理、存储管理以及IO管理，介绍了汇编指令、机器代码、重定位、动
  • 程序人生-Hello’s P2P jjzbkn linux
    摘要Hello，一个十分简单的程序，可以说是几乎全世界的程序员编写的第一个程序，我们一行一行地对着教程缓慢地输入Hello的几行代码，点击运行，惊喜地看到屏幕中输出的“Hello，World!”，然后就迅速地爱上了其他程序，却又不再回头，哪怕再多观望它一眼。然而，可以这么说，在这个简单的Hello中，囊括一个程序运行的所有过程，蕴含着无数计算机科学家的思想精华。从它的诞生再到它的逝去，它经历了每一
  • 【程序人生】上海，想说爱你不容易 蛮三刀酱
    1.还记得18年秋天，我研究生第二年，在繁忙的金九银十校招季里，我最常对别人说的一句话就是，尽管上海工作机会多，可我不想去上海工作。“为什么不愿意选择上海呢？”，通常HR会在面试时候反问我。“也没有什么特别的理由，就是感觉，在那里生活压力蛮大的。”我话里也带着些许真诚，和无知。当时的我对上海很熟悉吗？显然不熟。我二十几年的人生中，去上海旅游的次数不是特别多，最重要的是，我根本没有在上海长时间生活过
  • python中使用BeautifulSoup模块爬取中彩网福彩3D的开奖数据 烟雨风渡 网络爬虫网络爬虫BeautifulSouppython中彩网
    在上一篇博客中，介绍了网络爬虫的基本流程，然后以“使用BeautifulSoup爬取盗版小说网站”的例子对上述流程加以实现。最近看到微信公众号“程序人生”中的一篇文章：点击打开网页，在这篇文章中作者爬取了中彩网福彩3D的开奖数据并对其进行了简单分析。打开福彩3D开奖数据所在的网页，谷歌浏览器F12+F5可以看到这个网站的结构很简单，很适合初学者练手，所以写了这篇博客。建议读者自己先尝试实现本篇博客
  • csapp 大作业 Pht_ywy
    计算机系统大作业题目程序人生-Hello’sP2P专业计算机类学  号1180100406班  级1903006学生袁文宇   指导教师史先俊  计算机科学与技术学院2021年5月摘要本文重点关注hello.c从c语言程序到可执行目标文件hello的转换过程，及可执行目标文件hello作为进程运行的过程。本文旨在通过了解hello进程的诞生，以及从诞生到执行结束后被回收的全过程，分析理解计算机系统
  • 程序人生-Hello’s P2P -七月份- p2p程序人生网络协议
    计算机系统大作业题目程序人生-Hello’sP2P专业计算机科学与技术学号2021113352班级2103101学生乔宇凡指导教师刘宏伟计算机科学与技术学院2022年5月摘要本文对hello程序的整个生命周期进行了系统的分析，一开始是hello.c源程序，之后运行C预处理器（cpp）将其进行预处理生成hello.i文件，运行C编译器（ccl）将其进行翻译生成汇编语言文件hello.s，然后运行汇编
  • 哈工大程序人生 m0_63437715 c语言
    摘要每一位程序员都对hello熟悉不已，hello是我们走向又爱又恨的计算机专业的开始。hello并不是像那几行代码那样简单，究其根本，它要经过预处理，编译，汇编，链接等一系列步骤才能成为一个可执行文件。真正运行这个程序又要应用程序，操作系统，硬件系统的紧密联系。本文将重走hello一生，感受计算机的魅力。关键词：hello;预处理；编译；汇编；链接；进程；目录第1章概述.............
  • 哈尔滨工业大学程序人生-Hello’s P2P sanqian0 p2p程序人生网络
    计算机系统大作业题目程序人生-Hello’sP2P专业计算机科学与技术学号2021111050班级2103101学生吕泽楷指导教师刘宏伟计算机科学与技术学院2022年11月摘要HelloWorld是每个程序员接触的第一个程序，本文观察hello.c文件在Linux系统中的生命周期，从预处理编译开始，观察其如何一步步生成hello可执行文件，从计算机底层解释了存储、分配、I/O过程、子程序的创建和回
  • CSAPP大作业程序人生 kbforever8 ubuntulinux
    计算机系统大作业题目程序人生-Hello’sP2P专业计算学部学号班级学生指导教师吴锐计算机科学与技术学院2022年5月摘要本文通过分析一个简单地hello程序，通过分析其预处理，编译，汇编，链接，进程，内存管理，I/O管理几大模块，即分析了hello的从编译到执行结束输出的过程，又将CSAPP所学的内容串联了起来关键词：预处理；编译；汇编；链接；进程；内存管理；I/O管理（摘要0分，缺失-1分，
  • GPT每日面试题—如何理解事件循环 CreatorRay 面试前端ChatGPT前端javascriptchatgpt面试
    充分利用ChatGPT的优势，帮助我们快速准备前端面试。Q：如果在前端面试中，有人问你如何理解事件循环，怎么回答最好？A：在前端面试中，对于事件循环（EventLoop）的理解是一个重要的面试点。以下是一个较为全面的回答，可以帮助你展示对事件循环的理解：公众号：Code程序人生，个人网站：https://creatorblog.cn回答示例：事件循环是浏览器或Node.js执行JavaScript
  • GPT每日面试题—如何理解闭包 CreatorRay 面试ChatGPT前端chatgpt面试前端javascript
    充分利用ChatGPT的优势，帮助我们快速准备前端面试。今日问题：如何理解闭包？Q：如果在前端面试中，被问到如何理解闭包，怎么回答比较好？A：当面试官问到如何理解闭包时，你可以通过以下详细全面的回答来展示你的理解：公众号：Code程序人生，个人网站：https://creatorblog.cn1.定义：闭包是指在函数内部创建的函数可以访问其外部函数的作用域，即使外部函数已经执行完毕，内部函数仍然可
  • 程序人生：是不是Jenkins大神，看这几个技巧就够 测试界的飘柔 软件测试职场经验ITjenkins程序人生运维职场和发展自动化测试
    01Performance插件兼容性问题自由风格项目中，有使用Performance插件收集构建产物，但是截至到目前最新版本（Jenkinsv2.298，Performance：v3.19），此插件和Jenkins都存在有兼容性问题，会导致项目配置页面table，div错位，而导致无法保存配置，这个问题已经存在了好长时间了（至少半年），插件作者一直没有修复，目前在项目中要想使用这个插件，有以下三种
  • 程序人生：如何提效，如何管理时间 Java程序员笔记
    平时常听到“天呐，这周就这么过去了，我啥都没干”“今天我啥都没做”这种焦虑时间过得快、没时间学习的话语，分享一些个人的见解花时间补基础，读文档作为程序猿，debug是我们的日常操作，debug即费时间又费脑力精神力，但是你是否发现很多问题归根到底是因为基础不扎实或者文档没有看透。基础是技术的支撑，花时间打好基础而不是一味追各种新技术。一旦基础扎实，学习各种新技术分分钟搞定，因为新的技术，究其根本都
  • 程序人生系列1-2021年通过私活累积收益1.5w 只是甲 程序人生程序员接单私活留学生课程作业
    博主在B站更新了接私活的视频，感兴趣的可以移步到我的B站:博主私活记录一.个人介绍  2011年毕业，计算机专业科班出身，10年及以上金融信贷、通信行业数据库运维管理、数据仓库及大数据相关工作经验，持有OracleOCP和LinuxRHCE认证证书。  毕业第一份工作很幸运的成为了一个OracleDBA，刚毕业就开始维护TB级的数据。在知道自身实力不足的情况下，报名培训机构，相继考了OracleO
  • 生产发版前准备【经验分享给萌新程序员】 ss_Tina 经验分享其他
    #【中秋征文】程序人生，中秋共享#经验分享自从当了码农，已经不知道有多少个日日夜夜熬夜到凌晨三四点了。不知道大家有没有想过，生产上线发布新版本到凌晨三、四点都有可能是哪些原因呢？下面我将分享下自己以前跟进生产版本发布的经验，经验丰富的老前辈们肯定都比我清楚（可忽略此篇文章~哈哈~）。这篇文章可能更适合萌新程序员体质。争取不熬夜工作（只能熬夜玩乐，不能熬夜工作~）目录经验分享一、网络权限申请涉及网络
  • React Hooks大全—useContext CreatorRay 面试react前端react.js前端javascript
    在本文中，我们将重点介绍useContext这个Hook，它可以让你在函数组件中轻松地访问ReactContext，从而实现跨组件的状态共享。我们将从基本使用，实现原理，最佳实践，以及一些常见的问题和解决方案来探讨useContext的用法和优势。我们还将给出一些必要的代码示例，帮助你更好地理解和应用useContext。基本使用公众号：Code程序人生，个人网站：https://creatorb
  • 互联网为何变得如此这般 CreatorRay 互联网程序人生经济互联网程序员程序人生经济
    2023年是难过的一年，在经济下行周期内，作为互联网打工人，很明显感觉到时过境迁、物是人非，互联网行业究竟为何变得如何这般？前言公众号：Code程序人生，个人网站：https://creatorblog.cn先自我介绍一下，我是一名00后前端程序员，在北京工作，全职工作经验一年半左右，全网2.5w+粉丝，博文访问量500w+。互联网行业在最近两年发生了巨变，我的感受很深刻。2021年还在实习的时候
  • React Hooks大全—useCallback CreatorRay react前端面试javascript前端react.js
    在本文中，我们将重点介绍一个React常用的内置Hook，即useCallback。useCallback可以让我们缓存函数，避免因为函数引用的变化而导致不必要的子组件重渲染。我们讲解它的基本使用、实现原理、与useMemo的区别、最佳实践等。基本使用公众号：Code程序人生，个人网站：https://creatorblog.cnuseCallback是一个ReactHook，所以我们只能在函数式
  • React Hooks大全—useRef CreatorRay react前端面试react.jsjavascript前端
    本文将重点介绍useRef这个Hook，它可以让你在组件的整个生命周期中访问一个可变的引用对象。useRef的主要用途是直接访问DOM子元素，但这并不是它的唯一用途。useRef也可以用来保存一个在不同渲染中不变的可变值，例如在使用一些非React的外部库时很有用。本文将介绍useRef的基本使用，实现原理，最佳实践和一些常见的问题。公众号：Code程序人生，个人网站：https://creato
  • 程序人生-Hello’s P2P Baigker 程序人生
    摘要本文介绍了在Linux操作系统下hello的整个生命周期。借助gcc，objdump等工具，对hello的预处理、编译、汇编、链接等过程进行分析。并对程序hello运行过程中的动态链接库调用、内存管理、系统级I/O等进行介绍。关键词：预处理；编译；汇编；链接；进程；内存管理；IO；目录第1章概述-4-1.1Hello简介-4-1.2环境与工具-4-1.3中间结果-5-1.4本章小结-5-第2章
  • 优化Java开发：快速排查难点和Bug、高效沟通与业务的方法！ 在Java开发中，遇到难点和出现Bug是家常便饭。如何快速排查这些问题，提高开发效率，是每个Java开发者都需要掌握的技能 王大师王文峰 Java基础到框架javabug开发语言
    本人详解作者：王文峰，参加过CSDN2020年度博客之星，《Java王大师王天师》公众号：JAVA开发王大师，专注于天道酬勤的Java开发问题中国国学、传统文化和代码爱好者的程序人生，期待你的关注和支持！本人外号：神秘小峯山峯转载说明：务必注明来源（注明：作者：王文峰哦）优化Java开发：快速排查难点和Bug、高效沟通与业务的方法！在Java开发中，遇到难点和出现Bug是家常便饭。如何快速排查这些
  • 【程序人生】研二，来北京100天了，记录一下 农民真快落 程序人生程序人生Chiselfft数字icfpga开发
    文章目录中科院牛马的100天工作总结①OFDM系统搭建与建模②数字IC设计流程及相关工具调研③芯片通信架构调研——片上网络计算机、芯片的魅力何在？7月23日坐飞机从连云港来到北京大兴机场，辗转地铁到中关村，收拾一下分配的破烂宿舍，在暑假提前开始了我的研二生活。今天开题报告改不动了，干脆记录下最近的生活，权当放松一下。一看日期10月31日，刚好一百天。北京大兴机场中科院牛马的100天工作总结这一百天
  • 【程序人生】研二上快结束了~整理最近的思路 农民真快落 程序人生片上网络程序人生
    看一下自己的《每日科研进展》群聊，把最近做的事情和后面要做的事情整理一下思路。1月1日到1月7日在整理NoCRouter执行流程和Chisel环境Setup流程：NoCRouter执行流程Chisel安装流程总结：先安装jdk，配置环境变量安装sbt，不用配置环境变量安装idea社区版离线安装scala的idea插件配置sbt换源利用template工程验证helloworld，注意：6.1配置自
  • 设计模式 简单工厂，策略模式，几种基本原则,Unity基础 所恋皆洛尘 学习笔记c#设计模式
    学习笔记感受设计演变过程中蕴含的大智慧，体会乐于怒的程序人生中值得回味的一幕幕。设计模式来自于建筑领域，作为软件工程的一个分支，是在软件工程实践过程中，程序员们总结出的良好的编程方法。第一种模式简单工厂模式图片来源，点这里上面是简单工厂的UML图我简单介绍一下首先是一个主类，下面有3个子类(可以是多个)继承它每个子类都是一个方法，都独自封装成类把它们的共性写入基类(也就是父类)写成抽象或者写成虚函
  • 【程序人生】马斯克：我一直有种存在的危机感 OpenChat ChatGPT程序人生人工智能程序人生技术简史AIGC大模型
    01我一直有种存在的危机感小时候，人们常会问我，长大要做什么，我其实也不知道。后来我想，搞发明应该会很酷吧，因为科幻小说家亚瑟·克拉克（《2001太空漫游》作者）曾说过：任何足够先进的科技，都与魔法无异。想想看，三百年前的人类，如果看到今天我们可以飞行、可以远距沟通、可以使用网路、可以马上找到世界各地的资讯，他们一定会说，这是魔法。要是我能够发明出很先进的科技，不就像是在变魔法吗？我一直有种存在的
  • 2022-06-03怎么查询公网IP 南陵笑笑生
    怎么查询公网IP别扒拉我代码于2022-01-1410:45:34发布13853收藏1文章标签：tcp/ip服务器网络协议程序人生版权如果我们连接的是公司或者学校的局域网，查询公网的IP方法有：①:在浏览器上输入http://ip.cn。②:在浏览器上打开http://ip138.com,这是一个国内的外网地址；③:同样通过浏览器访问http://ifconfig.me,国外的外网地址；Needa
  • 33 ES6中的类和对象 CurryCoder
    技术交流QQ群:1027579432，欢迎你的加入！欢迎关注我的微信公众号：CurryCoder的程序人生1.面向对象面向对象的思维特点：a.抽取(抽象)对象共有的属性和行为组织(封装)成一个类(模板)；b.对类进行实例化，获取类的对象；面向对象编程考虑的是有哪些对象，按照面向对象的思维特点，不断的创建对象，使用对象，指挥对象做事情。2.对象现实生活中，万物皆对象，对象是一个具体的事物，看得见摸得
  • 程序人生：突围金三银四面试季！附学习笔记+面试整理+进阶书籍 6年老Java 程序员java后端面试
    前言又到一年金九银十之际。Java作为目前用户最多，使用范围最广的软件开发技术之一。Java的技术体系主要由支撑Java程序运行的虚拟机，提供各开发领域接口支持的Java,Java编程语言及许多第三方Jvav框架构成。其中，以Java的虚拟器为今天的着重点以下是我整理收藏的一些JVM大厂面试经典问题与相应答案，希望可以给看文的朋友一些帮助由于篇幅过长，请耐心往下看，文末提供小编收藏已久的JVM面试
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他