yu247809536
yu247809536

如何搭建hadoop集群

1、先把四台虚拟机之间打通免密登录，如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录如何搭建hadoop集群_第1张图片
2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中如何搭建hadoop集群_第2张图片
3、将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigdata/hadoop中

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop

将解压后的原文件名修改为hadoop260,并将权限都修改为root如何搭建hadoop集群_第3张图片
4、因为hadoop底层是java所以配置jdk进行编译在这里插入图片描述
如何搭建hadoop集群_第4张图片
5、hadoop fs 文件系统

集群配置时将 IP 改为 主机名
在这里插入图片描述
如何搭建hadoop集群_第5张图片
6、hadoop replicas 备份

dfs.replication 备份数量改为2

dfs.hosts 添加节点白名单在这里插入图片描述
如何搭建hadoop集群_第6张图片
7、hadoop mapreduce 计算框架在这里插入图片描述
在这里插入图片描述
如何搭建hadoop集群_第7张图片
在这里插入图片描述
如何搭建hadoop集群_第8张图片
8、hadoop slaves 主机名在这里插入图片描述
如何搭建hadoop集群_第9张图片
9、hadoop 环境变量如何搭建hadoop集群_第10张图片
10、激活环境变量在这里插入图片描述
11、输入在这里插入图片描述
进行格式化 HDFS

如果结果出现下图说明格式化成功
在这里插入图片描述
12、hadoop-native库解压到hadoop260/bin/native路径下在这里插入图片描述
13、解压结果如下图所示在这里插入图片描述14、在/opt/bigdata/hadoop/hadoop260/sbin下

启动 jobhistory在这里插入图片描述
15、分别启动hdfs和yarn，不建议使用start-all.sh命令在这里插入图片描述
16、查看 hadoop 服务状态在这里插入图片描述
其中主机结果下是下图所示如何搭建hadoop集群_第11张图片
3个从机都是下图结果如何搭建hadoop集群_第12张图片
输入网址也可看Hadoop运行状态，只要是下图就是正确的如何搭建hadoop集群_第13张图片
如何搭建hadoop集群_第14张图片

你可能感兴趣的:(JAVA,大数据,hadoop,linux,centos,java)

  • Java | Leetcode Java题解之第338题比特位计数 m0_57195758 分享JavaLeetcode题解
    题目：题解：classSolution{publicint[]countBits(intn){int[]bits=newint[n+1];for(inti=1;i<=n;i++){bits[i]=bits[i&(i-1)]+1;}returnbits;}}
  • LeetCode第338题——比特位计数（Java） m0_52861211 LeetCode刷题笔记leetcode算法
    题目描述：给你一个整数n，对于001-->12-->10示例2：输入：n=5输出：[0,1,1,2,1,2]解释：0-->01-->12-->103-->114-->1005-->101提示：00时p[n]=p[n/2]//当n为偶数时，n>0时代码：classSolution{publicint[]countBits(intn){int[]result=newint[n+1];intcount=
  • Java集合框架源码解读(1)——ArrayList、LinkedList和Vector
    java.util.List接口是JavaCollectionsFramework的一个重要组成部分，List接口的架构图如下：本文将通过剖析List接口的三个实现类——ArrayList、LinkedList和Vector的源码，带你走近List的世界。ArrayListArrayList是List接口可调整数组大小的实现。实现所有可选列表操作，并允许放入包括空值在内的所有元素。每个ArrayL
  • LeetCode题目Java代码解答 （详细解释！！！） 辣木瑶瑶子 javaleetcode算法
    目录1.两数之和（序号是在LeetCode中的题号）两数之和代码：9.回文数回文数代码：242.有效的字母异位词有效的字母异位词代码：1.两数之和（序号是在LeetCode中的题号）给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按
  • LeetCode刷题 - Java常用输入输出 Sweet_pin LeetCode刷题笔记leetcodejava
    LeetCode刷题-Java常用输入输出基本语法导包importjava.util.Scanner;//或者直接导入下面两个包importjava.util.*;importjava.io.*;常用输入Scannersc=newScanner(System.in);//读一个整数intn=sc.nextInt();//读一个字符串,遇到分号则输入终止Strings=sc.next();//读一个
  • Linux教程（4）----[hive数据仓库工具] .房东的猫 Linux教程（完善中~~）linux
    Hive基本概念Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高
  • Java:对给定的字符串和给定的模式执行Boyer-Moore搜索算法（附带源码） Katie。 Java算法完整教程java开发语言
    一、项目背景详细介绍在文本处理与信息检索中，需要在海量文本中高效地查找模式串（Pattern）。经典的朴素搜素在最坏情况下时间复杂度为O(N·M)，效率不够高。Boyer–Moore算法则采用“坏字符”与“好后缀”两种启发规则，从模式尾部匹配开始，通常能大幅跳过不可能匹配的位置，平均时间复杂度接近O(N/M)，在实际应用（如grep、数据库索引）中非常高效。本项目旨在用Java实现Boyer–Mo
  • Java:实现Ternary search三元搜索算法（附带源码） Katie。 Java算法完整教程算法
    一、项目背景详细介绍在计算机科学与软件工程领域，查找算法是最基础也是最重要的模块之一。对于有序数组的查找，经典的二分（Binary）查找算法凭借O(log N)的时间复杂度在许多场景中被广泛应用。另一方面，三元（Ternary）查找作为对二分查找的扩展，将区间划分为三段，每次比对两个“探测点”而非一个，从理论上也能达到对数级时间复杂度。三元查找常用于以下几种场景：函数极值查找当我们要在一个unim
  • LeetCode 77 Java实现 零一魔法 LeetCodejavaleetcode开发语言算法
    1.题目原题链接：77.组合-力扣（LeetCode）:https://leetcode.cn/problems/combinations/给定两个整数n和k，返回范围[1,n]中所有可能的k个数的组合。（可以按任何顺序返回答案）示例输入：n=4,k=2输出：[[2,4],[3,4],[2,3],[1,2],[1,3],[1,4],]2.题解参考//https://github.com/cc01c
  • springboot注册servlet hie98894 springbootservlethive
    在SpringBoot应用中，虽然SpringMVC已经提供了强大的功能来处理HTTP请求，但在某些情况下，我们可能仍需要直接注册和使用Servlet。本文将详细介绍如何在SpringBoot中注册Servlet。1.什么是Servlet？Servlet是JavaEE中的一种服务器端组件，用于处理HTTP请求和生成响应。Servlet最常见的用途是创建动态Web内容，例如表单处理和数据库查询结果的
  • Gin框架路由 TZX_0710
    介绍Gin是一个golang的微框架，封装比较优雅，API友好，源码注释比较明确，具有快速灵活，容错方便等特点对于golang而言，web框架的依赖要远比Python，Java之类的要小。自身的net/http足够简单，性能也非常不错借助框架开发，不仅可以省去很多常用的封装带来的时间，也有助于团队的编码风格和形成规范安装1.安装Gingoget-ugithub.com/gin-gonic/gin2
  • 实现按字典顺序查找的 Booth 算法（Java） CyberXZ java算法python
    实现按字典顺序查找的Booth算法（Java）Booth算法是一种用于按字典顺序查找的算法，它通过比较目标字符串与排序好的字符串数组中的元素来找到匹配的位置。在这篇文章中，我将介绍并给出一个Java实现的Booth算法，并附上相应的源代码。首先，让我们来了解Booth算法的基本思想。该算法的核心是利用了字符串的字典顺序特性。假设我们有一个已经排序好的字符串数组，我们需要查找的目标字符串。我们可以通
  • LeetCode(Java)
    发现了中文版的leetCode，网址在https://leetcode-cn.com70.爬楼梯题目地址：https://leetcode-cn.com/problems/climbing-stairs/submissions/解题思路：最简单的动态规划题目，状态方程与斐波那契数列相同。publicintclimbStairs(intn){if(ntarget){r--;}else{l++;}}r
  • 021_方法引用与Lambda表达式 HuCiZhi JavaWebjavaweb
    一、概述Java8引入了Lambda表达式和方法引用，两者均用于简化函数式编程，尤其在处理集合、多线程等场景中能显著减少代码冗余。Lambda表达式：一种匿名函数，可作为参数传递，用于简化函数式接口的实现。方法引用：Lambda表达式的简化形式，当Lambda体仅调用一个已存在的方法时，可通过方法引用进一步简化代码。二、Lambda表达式2.1定义与核心作用Lambda表达式是没有名称的匿名函数，
  • 010_赋值运算符（= / -= / += / *= / /= / %=） HuCiZhi JavaWebjavaweb
    一、赋值运算符概述赋值运算符用于将右侧的值赋给左侧的变量，是Java中最基础也最常用的运算符之一。根据功能可分为两类：基本赋值运算符：=（单一赋值）复合赋值运算符：+=、-=、*=、/=等（运算+赋值结合）赋值运算符的优先级较低，通常在其他运算完成后执行，结合性为从右到左。二、基本赋值运算符（=）2.1功能与语法=用于将右侧表达式的值赋给左侧的变量，语法：变量=表达式;2.2示例//基本类型赋值i
  • Leetcode 06 java im_AMBER leetcodejava
    136.只出现一次的数字题目给你一个非空整数数组nums，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。你必须设计并实现线性时间复杂度的算法来解决此问题，且该算法只使用常量额外空间。示例1：输入：nums=[2,2,1]输出：1示例2：输入：nums=[4,1,2,1,2]输出：4示例3：输入：nums=[1]输出：1提示：1map=newHashMapentry
  • centos 8 换源 路过的一个普通人 Linux笔记centoslinux运维
    centos8换源进入root，切换至yum.repos.d目录cd/etc/yum.repos.d/创建新文件夹并将源文件备份为repo.bakmkdirbackup&&mv*repobackup/下载国内yum源文件curl-o/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-8.repo更新下载yum
  • JDK 17 下载 yzpyzp java开发语言
    Oracle官网JDK下载：https://www.oracle.com/java/technologies/javase-downloads.html百度网盘下载：https://pan.baidu.com/s/1qxU-4ZfMyhlr5kbQ6RNHJg?pwd=aa53参考：https://blog.csdn.net/2503_91826368/article/details/147898
  • CentOS8换源
    一、备份切换至源目录，备份源：cd/etc/yum.repos.d/#进入源目录ls#查看源文件mkdirbkup#创建备份目录mvCentOS-Linux-*bkup#将源文件移动至备份文件夹若是更换源并且原生源已经备份的情况下，使用rm-f*.repo删除原先文件。二、下载安装镜像源使用wget命令下载镜像源，本次使用的源为阿里云镜像：#下载并替换源wgethttps://mirrors.al
  • 阿里云Centos镜像源和EPEL源 weixin_34399060 运维
    Centos配置yum本地源aliyun的EPEL源1、本地yum源[root@openstack~]#mount/dev/sr0/mnt/[root@openstack~]#echo"/dev/sr0/mntiso9660defaults00">>/etc/fstab[root@openstack~]#rm-rf/etc/yum.repos.d/*[root@openstack~]#cat>/e
  • Kotlin 控制流和集合过滤操作符 黄毛火烧雪下 Kotlinandroid
    一、ifelse在Kotlin中，if是一个表达式，即它会返回一个值。因此就不需要三元运算符（条件?然后:否则），因为普通的if就能胜任这个角色。eg.有一个int值是a，一个int值是b，求他们的比较大的那个数javainta=1,b=3;Log.e("a和b的最大值是",a>b?a+"":b+"");kotlinvala:Int=1valb:Int=3valmax=if(a>b)aelsebp
  • 全球 Linux 桌面份额破 5%，国产桌面 Linux 的“春天”也来了吗？ 寒水馨 IT杂谈linux运维国产Linux信创UOSdeepin桌面Linux
    全球Linux桌面份额破5%，国产桌面Linux的“春天”也来了吗？文章目录全球Linux桌面份额破5%，国产桌面Linux的“春天”也来了吗？引言：一个数字背后的意义1.Linux桌面为何能突破5%？1.1.市场结构的变化与用户行为的转变1.2.技术层面的成熟1.3.社区与生态的力量2.国产桌面Linux的现状与发展背景2.1.国产桌面Linux的诞生背景2.2.当前面临的挑战3.全球Linux
  • 【Java】【力扣】102.二叉树层序遍历
    思路一个辅助队列（初始化队列：根节点入队）一个节点出队，他的左右孩子入队循环直到队列为空举例代码publicList>levelOrder(TreeNoderoot){if(root==null){returnnewArrayList>();}Queuequeue=newLinkedList>resultList=newArrayListlevel=newArrayList<>();intcurS
  • 【Java】P1909 [NOIP2016 普及组] 买铅笔 远望樱花兔 算法
    d25题目题目背景NOIP2016普及组T1题目描述P老师需要去商店买�n支铅笔作为小朋友们参加NOIP的礼物。她发现商店一共有33种包装的铅笔，不同包装内的铅笔数量有可能不同，价格也有可能不同。为了公平起见，P老师决定只买同一种包装的铅笔。商店不允许将铅笔的包装拆开，因此P老师可能需要购买超过�n支铅笔才够给小朋友们发礼物。现在P老师想知道，在商店每种包装的数量都足够的情况下，要买够至少�n支铅
  • kotlin 泛型 luoj_616 Kotlinkotlinandroidjava
    一、泛型使用泛型，即"参数化类型"，将类型参数化，可以用在类，接口，函数上。与Java一样，Kotlin也提供泛型，为类型安全提供保证，消除类型强转的烦恼。1.1泛型的优点类型安全：通用允许仅保留单一类型的对象。泛型不允许存储其他对象。不需要类型转换：不需要对对象进行类型转换。编译时间检查：在编译时检查泛型代码，以便在运行时避免任何问题。1.2泛型类TFood类指定的泛型参数由放在一对(item:
  • Centos7配置阿里云镜像源的教程 也纡 阿里云云计算
    1准备工作，如果不做准备工作后面可能会影响后续的安装。查看你的Centos版本，版本过低会导致安装失败，验证网络是否可以连接阿里云镜像，使用阿里云是需要网络的。pingmirrors.aliyun.com2手动配置删除原来或者之前的yun源rm-rf/etc/yum.repos.d/*
  • 如何在Linux挂载ISO镜像文件 longerxin2020 Linuxlinux运维服务器
    在Linux系统中挂载ISO镜像文件，主要步骤如下‌：‌创建挂载目录‌：创建一个用于挂载ISO镜像文件的目录，例如/mnt/iso。‌挂载ISO镜像文件‌：使用mount命令挂载ISO镜像文件到创建的目录。命令：sudomount-oloop/path/to/iso/file.iso/mnt/iso‌查看挂载状态‌：使用df命令查看挂载点，确认ISO镜像文件是否成功挂载。df-h‌卸载ISO镜像文
  • centos8更改源 jiajiawozuihao Linux指令Linux文件操作
    阿里云yum源：1）备份当前yum源cd/etc/yum.repos.d/cpCentOS-Base.repoCentOS-Base-repo.bak2）使用wget下载阿里yum源repo文件wgethttp://mirrors.aliyun.com/repo/Centos-8.repo3)清理旧包yumcleanall4）把下载下来阿里云repo文件设置成为默认源mvCentos-8.repo
  • “力扣算法：题海战术”专栏的完整源代码更新啦 达文汐 力扣算法：题海战术算法leetcode职场和发展
    关于专栏的源码感谢大家的阅读与支持！！“力扣算法：题海战术”专栏的文章，是给大家提出了LeetCode算法问题的解决思路及实现该算法的核心代码。大家如果想要进一步深入了解算法，想通过输入测试数据来了解其运算的过程。可点击文章底部的名片，关注后，可获得完整的可运行调试的Java代码。有疑问的，可在评论区留言哦！！完整代码已上传（会持续更新）部分算法代码参考（LeeetCode26）/*此道算法题详细
  • gradle在build时输出：Could not connect to Kotlin compile daemon yzpyzp kotlinandroidgradle
    FailedtocompilewithKotlindaemon:java.lang.RuntimeException:CouldnotconnecttoKotlincompiledaemonatorg.jetbrains.kotlin.compilerRunner.GradleKotlinCompilerWork.compileWithDaemon(GradleKotlinCompilerWork
  • SQL的各种连接查询 xieke90 UNION ALLUNION外连接内连接JOIN
    一、内连接   概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。                 内连接（join 或者inner join ）       SQL语法：       select * fron
  • java编程思想--复用类 百合不是茶 java继承代理组合final类
          复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书   一:组合语法:就是将对象的引用放到新类中即可     代码:     package com.wj.reuse; /** * * @author Administrator 组
  • [开源与生态系统]国产CPU的生态系统 comsci cpu
          计算机要从娃娃抓起...而孩子最喜欢玩游戏....       要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节....       投入一些资金和资源,人力和政策,让游
  • JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释 商人shang jvm内存
    jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
  • 页面上调用 QQ oloz qq
    <A href="tencent://message/?uin=707321921&amp;Site=有事Q我&amp;Menu=yes">   <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
  • 一些问题 文强chu 问题
    1.eclipse 导出 doc  出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql  * 必须得放前面 否则  select&nbs
  • 生活没有安全感 小桔子 生活孤独安全感
           圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
  • php 基础语法 aichenglong php 基本语法
    1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer  float/double Boolean string 1 .3 复合数据类型 数组array和对象 object 1 .4 特殊数据类型  null 资源类型(resource)    $co
  • mybatis tools 配置详解 AILIKES mybatis
    MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。 本文使用Markdown进行编辑，但是博客显示效
  • 继承与多态的探讨 百合不是茶 JAVA面向对象 继承 对象
    继承 extends   多态 继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：     在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
  • JS的undefined与null的实例 bijian1013 JavaScriptJavaScript
    <form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
  • TDD实践（一） bijian1013 java敏捷TDD
    一.TDD概述         TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。     
  • [Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
    什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息   Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
  • 【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
    1. 什么是UDTF   UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table， 貌似更应该理解为生成了类似关系表的二维行数据集   2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
  • tfs restful api 加auth 2.0认计 ronin47
    　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点： 　　一是基于客户端的ip设置。这个比较容易实现。 　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。 　　现在重点介绍第二种方法实现思路。 　　 前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
  • jdk环境变量配置 byalias javajdk
    进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
  • 《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
    package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
  • SQL 数值四舍五入 小数点后保留2位 chicony 四舍五入
    1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。 例如： 　　select   cast(round(12.5,2)   as   numeric(5,2))  
  • c++运算符重载 CrazyMizzz C++
    一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似 二、<<输出,>>输入的运算符重载      &nb
  • hive DDL语法汇总 daizj hive修改列DDL修改表
    hive DDL语法汇总 １、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name;   2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
  • jbox使用说明 dcj3sjt126com Web
    参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载]  技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
  • UISegmentedControl 开发笔记 dcj3sjt126com
      //    typedef NS_ENUM(NSInteger, UISegmentedControlStyle) {     //        UISegmentedControlStylePlain,     // large plain   &
  • Slick生成表映射文件 ekian scala
    Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
  • ES-TEST gengzg test
    package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
  • 为何外键不再推荐使用 hugh.wang mysqlDB
    表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。 在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
  • 领域驱动设计 julyflame VODAO设计模式DTOpo
    概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
  • 单例设计模式 hm4123660 javaSingleton单例设计模式懒汉式饿汉式
           单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。      &nb
  • logback zhb8015 loglogback
    一、logback的介绍      Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-class
  • 整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer sparkstormzookeeperPARALLELISMprocessing
    作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
  • spring-master-slave-commondao 王新春 DAOspringdataSourceslavemaster
    互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。 为此，往往搭建 db的 一主多从库的 数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他