Kazi_1024
Kazi_1024

分布式的设计思想

一、分布式设计基础

传统架构问题

① 单机资源不足

  • 存储：3台机器，每台机器都有2T的硬盘空间，但是现在有1个3T的文件要存储
  • 计算：3台机器，每台机器都有8核CPU和8GB内存，但是现在有1个程序需要12核CPU和24GB内存

② 单机性能较差

  • 存储：10个1GB大小的文件，共10GB，要存储写入一台机器，1台机器的磁盘最多500MB/s，需要20s以上
  • 计算：10个程序需要运行，每个程序需要8核8GB资源，1台机器有10核10GB，只能挨个运行

分布式思想

核心：分而治之

  • 分：将一个大的任务拆分成多个小的任务，每台机器处理一个小的任务，并行处理
  • 合：将多个小任务的结果最终再合并生成最终的结果进行返回

用于解决传统架构问题

  • 存储：将3T的文件拆分成若干个小文件，例如每500M一个小文件，将这些小文件存储在不同的机器上
  • 计算：将这个程序拆分成若干个小程序，每个小程序只需要3核6G，将这些小程序运行在不同的机器上

分布式软件架构

分布式：一般由多个提供相同或者不同服务的机器共同协作，称为分布式系统或者分布式服务，强调合作关系

普通分布式主从架构

  • 主节点：管理节点：管理所有的从节点，管理所有任务的分配，对外接受用户的请求
  • 从节点：工作节点：一般一个从节点负责一台机器，利用一台机器的资源来完成主节点分配的小任务

举例：

HDFS：从逻辑上将多台机器的磁盘合并为一个整体

  • NameNode（主节点）：管理节点：管理从节点，管理元数据，接客
  • DataNode（从节点）：存储节点：负责实现NameNode分配的任务的数据块的存储

YARN：从逻辑上将多台机器的内存和CPU合并为一个整体

  • ResourceManager（主节点）：管理节点，负责资源管理和任务调度，接客
  • NodeManager（从节点）：计算节点，负责利用自己节点的CPU和内存来完成RM分配的运行计算的任务


二、分布式计算设计

分布式计算本质

  • 将一个大的计算任务拆分成多个小的计算任务，由多台机器并行执行所有小任务
  • 最终将每个小任务的结果进行合并得到最终结果

组成：分布式程序+分布式资源

分布式程序：一个多进程的程序，程序运行时可以拆分成多个进程来运行【MapReduce：提供一套API】

分布式资源：一个多机器的集群，可以将多台机器的硬件资源从逻辑上合并为一个整体【YARN：分布式资源】


目标：处理数据

处理流程

① 读取数据：Input

  • 读取数据，按照一定的规则将数据划分成多份，一般称为数据分片或者数据分区
    • MR规则：按照数据文件是否大于128M的1.1倍来拆分
    • 大于：按照128M来分
    • 小于：整体作为一个分片
    • 举个栗子
      • file1:140M => Block1-128M，Block2-12M => Split1
      • file2:145M => Block1-128M, Block2-17M => Split1-Block1, Split2-Block2
  • 将每个分区的数据读取机器的内存中，不同分区的数据放在不同的机器内存中

② 处理数据：Process

  • 根据划分规则，每个分区的数据对应一个Task计算任务来计算
    • MR规则：每个分片就启动一个MapTask来进行处理
    • 三个部分：Map、Shuffle、Reduce
  • 每个Task计算任务可以运行在不同的机器上，使用多台机器的资源并行执行

③ 保存结果：Output

  • 最后使用Task将前面每个Task任务计算的结果进行合并，输出保存

举例说明

需求：计算指定范围内的求和，假如数据量非常大。这里拿1~9举例

step1-Input：将1 ~ 9 的9个数字划分为三份【具体根据划分规则来决定】

  • split1：1 2 3：数据在Node1上
  • split2：4 5 6：数据在Node2上
  • split3：7 8 9：数据在Node3上

step2-Process：启动多个Task分别对每个Split进行求和

  • Task1：处理Split1：1 + 2 + 3 = 6：Node1
  • Task2：处理Split2：4 + 5 + 6 = 15：Node2
  • Task3：处理Split3：7 + 8 + 9 = 24：Node3

step3：将上面每个Task的结果进行合并

  • Task4：将Task1 ~ Task3的结果进行合并：6 + 15 + 24 = 45
  • 输出结果

以Hadoop为例，概念对比

  • MapReduce程序有两种
  • 三个阶段：Input、Map、Output【part-m-00000】
  • 五个阶段：Input、Map【分】、Shuffle【分组】、Reduce【合】、Output【part-r-00000】
栗子 Hadoop
1 ~ 9 理解为HDFS中的一个文件
Split1，Split2，Split3 理解为这个文件被分成了三个Block块
Task1，Task2，Task3 理解为三个Map Task进程，分别运行在三台NodeManager上
Task4 理解为一个Reduce Task进程，将三个MapTask的结果做最终聚合
Node1，Node2，Node3 作为DataNode和NodeManager的节点

分布式的设计思想_第1张图片

你可能感兴趣的:(Hive,Hadoop,hadoop,分布式)

  • java面试问题大全及答案大全 小白教程 java面试题java面试开发语言java面试题java面试问题大全java面试题带答案Java经典面试题
    文章目录前言java面试题-Java基础java面试题-JVM知识java面试题-多线程与并发java面试题-主流框架java面试题-数据库相关java面试题-分布式与微服务java面试题-网络知识前言该文档围绕Java技术栈展开，全面涵盖了基础、JVM、多线程与并发、主流框架、数据库、分布式、网络等核心知识领域，以面试题及参考答案的形式呈现，为Java开发者提供了系统复习与深入理解的资料。有需要
  • HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发引言在HarmonyNext生态系统中，消息队列是实现分布式系统通信和异步处理的核心组件。本文将深入探讨如何使用ArkTS语言开发一个分布式实时消息队列系统，重点介绍消息的生产、消费、路由以及负载均衡等核心功能的实现。我们将通过一个完整的实战案例，展示如何利用HarmonyNext的分布式能力和ArkTS的高效性能，构建一个高效
  • 达梦数据库备份 huazhixuthink 数据库oraclesql
    达梦数据库联机在线备份操作指南一、基础条件与准备开启归档模式‌:联机备份必须处于归档模式下，否则无法执行。需通过disql工具执行以下操作：alterdatabasemount;alterdatabaseARCHIVELOG;例子：[dmdba@server~]$cd/opt/dmdbms/bin[dmdba@serverbin]$./disqlSYSDBA/'"Dameng@123"':5236
  • 使用minioClient迁移minio t梧桐树t javaminio
    MinIO是一个分布式对象存储服务器，专为大规模私有云基础架构设计，也适用于云原生环境和大规模数据存储需求。最重要的是它是开源的,因此应用极为广泛,今天来研究一下如何迁移minio桶中的数据要将MinIO中某个桶（Bucket）中的数据全部导出，可以使用mc（MinIOClient）工具来实现。mc是MinIO提供的一个命令行工具，专门用来与MinIO或其他兼容S3的存储服务交互。通过mc，你可以
  • 分布式锁—5.Redisson的读写锁一 东阳马生架构 分布式锁原理与源码分布式Redisson分布式锁
    大纲1.Redisson读写锁RedissonReadWriteLock概述2.读锁RedissonReadLock的获取读锁逻辑3.写锁RedissonWriteLock的获取写锁逻辑4.读锁RedissonReadLock的读读不互斥逻辑5.RedissonReadLock和RedissonWriteLock的读写互斥逻辑6.写锁RedissonWriteLock的写写互斥逻辑7.写锁Redi
  • javaEE概述 qq_45691343
    前言小编最近在学习javaEE的基础，所以总结了一下关于javaEE的框架知识，希望可以帮助到大家whatjavaEEjavaEE输入分布式多层的应用程序，javaEE平台用的是分布式多层应用模型为企业应用（由组件构成），根据他们不同的逻辑功能分为不同组件，构成JavaEE应用程序的组件根据应用组件在javaEE的不同环境安装到不同机器上，原因是因为：安装在不同组件还可以运行是基于vmWhyjav
  • Azkaban其一，介绍、体系架构和安装 出发行进 #AzkabanAzkabanlinux
    目录一、简介二、Azkaban的体系结构三、Azkaban的安装步骤1、上传，解压2、生成mysql的元数据3、配置web-server4、配置exec-server5、修改所有的.sh的执行权限一、简介遇到了什么问题才会使用Azkaban?比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
  • 深入解析Java MDC：日志链路追踪的利器 没什么技术 javaMDC
    一、什么是MDC？MDC（MappedDiagnosticContext）是SLF4J提供的一个线程安全的诊断上下文工具。它允许开发者在同一线程上下文中存储多个键值对信息，这些信息可以自动附加到日志输出中，实现日志的上下文关联。二、MDC的核心作用作用说明典型场景链路追踪跟踪请求完整处理流程分布式系统调用跟踪上下文传递跨方法传递公共参数用户ID、机构号等透传日志增强自动添加公共字段到日志请求IP、
  • DApp开发中的模式设计、功能文档与代币对接解析 飞机号dapp119 区块链开发区块链游戏去中心化智能合约
    随着区块链技术的快速发展，去中心化应用（DApp）凭借其透明性、安全性和去中心化特性，正重塑数字世界的交互方式。DApp通过智能合约实现业务逻辑自动化，结合区块链的分布式账本技术，为金融、游戏、供应链等领域提供了可信的解决方案。一、DApp开发模式类型设计DApp的设计模式直接影响其性能、安全性与用户体验，需结合业务场景与区块链底层特性进行规划。以下为四大核心模式类型：交易模式点对点交易模式：用户
  • 微电网智慧平台：推动能源革命，助力智能高效运营 Acreldingshan 能源云计算
    方案背景能源是经济社会发展的基石。当前，全球能源格局深刻调整，新一轮能源革命蓬勃兴起，发展清洁能源、推动能源转型已成为全球共识。我国明确提出“双碳”目标，构建以新能源为主体的新型电力系统势在必行。微电网作为连接分布式能源与主电网的桥梁，是构建新型电力系统的重要组成部分。然而，传统微电网管理模式粗放，难以满足新型电力系统下安全、高效、灵活的运行需求。微电网智慧管理平台应运而生，为驱动能源变革、实现高
  • Redis和MySQL数据一致问题怎么解决 昔我往昔 数据库redismysql数据库
    在分布式系统中，Redis和MySQL经常同时使用，Redis通常作为缓存系统，而MySQL作为持久化数据库。二者的数据一致性和安全性问题需要特别关注。常见的挑战包括：数据一致性：Redis和MySQL之间的数据可能存在不同步的情况，尤其是在高并发场景下。缓存穿透：当缓存中没有数据时，系统会直接查询数据库，导致数据库负载过重。缓存击穿：缓存中的数据失效，导致大量并发请求直接访问数据库。缓存雪崩：缓
  • 鸿蒙全栈开发 D1 GH小杨 harmonyos华为typescript
    鸿蒙全栈开发第一天第一部分：鸿蒙操作系统基础1.1鸿蒙发展史（深度解析）2012-01-012013-01-012014-01-012015-01-012016-01-012017-01-012018-01-012019-01-012020-01-012021-01-012022-01-012023-01-012024-01-01分布式技术预研微内核验证HarmonyOS1.0OpenHarmon
  • 高可用架构选型指南：MHA、Percona PXC与MySQL MGR对比与实践示例 mysql主从服务器sql
    高可用架构选型指南：MHA、PerconaPXC与MySQLMGR对比与实践示例在分布式数据库系统中，高可用性（HighAvailability,HA）是保障业务连续性的核心需求。本文基于MHA、PerconaPXC和MySQLMGR三种主流高可用架构的对比，结合实际场景示例，帮助开发者快速选择适合的技术方案。以下是MHA、PerconaPXC和MySQLMGR三种高可用架构的对比总结及选型建议：
  • 十二、Redis Cluster（集群）详解：原理、搭建、数据分片与读写分离 伯牙碎琴 #Redisredis数据库缓存
    RedisCluster（集群）详解：原理、搭建、数据分片与读写分离RedisCluster是Redis官方提供的分布式存储方案，通过数据分片（Sharding）实现水平扩展（scalability），并提供高可用性（HA）和故障自动转移（failover）能力，解决了单机Redis内存受限、主从复制故障恢复较慢等问题。本教程将全面讲解RedisCluster的核心原理、搭建步骤、数据分片策略、读
  • Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建 遇安.YuAn Spark大数据平台组件搭建hadoop大数据Sparkscala环境搭建
    搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联，都是从零开始搭建。如果将文章中的配置文件修改内容复制粘贴的话，所有配置文件添加的内容后面的注释记得删除，可能会报错。保险一点删除最好。Scala环境搭建上传安装包解压并重命名rz上传如果没有安装rz可以使用命令安装：yuminstall-ylrzsz这里我将scala解压到/opt/module目录下：tar-zxvf/op
  • XMall商城listSearch存在SQL注入漏洞(DVB-2025-8924) Byp0ss403 漏洞复现集合web安全
    免责声明本文所描述的漏洞及其复现步骤仅供网络安全研究与教育目的使用。任何人不得将本文提供的信息用于非法目的或未经授权的系统测试。作者不对任何由于使用本文信息而导致的直接或间接损害承担责任。如涉及侵权，请及时与我们联系，我们将尽快处理并删除相关内容。0x01产品介绍XMall开源电商商城是开发者Exrick的一款基于SOA架构的分布式电商购物商城。XMall商城存在SQL注入漏洞，未经身份验证的攻击
  • Redis 各数据类型使用场景详解 何怀逸 Redisredis数据库缓存
    1.字符串（String）场景1：计数器（如文章阅读量）问题：高并发下对同一数值进行增减操作时，需保证原子性，避免竞态条件导致数据不一致。频繁读写可能成为性能瓶颈。解决方案：INCR/DECR命令：Redis的原子操作确保增减操作的线程安全，无需额外锁机制。内存存储：数据直接存储在内存中，读写速度极快（微秒级响应）。场景2：分布式锁问题：多节点服务竞争同一资源时，需确保同一时间只有一个客户端持有锁
  • Redis 和 Mysql 中的数据一致性问题 百里自来卷 redismysql数据库
    Redis和MySQL的数据很难直接实现强一致性，但可以通过一些策略尽量接近或实现最终一致性。下面从两者的特性、挑战以及解决方案来分析。Redis和MySQL的特性Redis：是一个基于内存的高性能键值数据库，常用于缓存、分布式锁和消息队列。数据持久化（RDB、AOF）不实时，且默认不是事务性强一致的。数据更新通常是异步传播，存在瞬时不一致。MySQL：是关系型数据库，支持事务（ACID），保证数
  • 基于hive的电信离线用户的行为分析系统 赵谨言 论文经验分享毕业设计
    标题:基于hive的电信离线用户的行为分析系统内容:1.摘要随着电信行业的快速发展，用户行为数据呈现出海量、复杂的特点。为了深入了解用户行为模式，提升电信服务质量和精准营销能力，本研究旨在构建基于Hive的电信离线用户行为分析系统。通过收集电信用户的通话记录、上网行为、短信使用等多源数据，利用Hive数据仓库工具进行数据存储和处理，采用数据挖掘和机器学习算法对用户行为进行分析。实验结果表明，该系统
  • 安装httpd m0_74536424 Linux学习笔记apachelinux网络
    安装httpd1.源码编译安装//下载依赖包[root@openEulter-1~]#dnf-yinstallgccgcc-c++makeapr-*pcre-develredhat-rpm-config...安装过程省略...Complete!//下载软件包[root@openEulter-1~]#wgethttps://archive.apache.org/dist/httpd/httpd-2.
  • 常用的分布式 ID 设计方案 梦城忆 分布式
    文章目录1.UUID2.数据库自增ID3.雪花算法4.Redis生成ID5.美团Leaf1.UUID原理：UUID是由数字和字母组成的128位标识符，通过特定算法随机生成，包括时间戳、计算机网卡地址等信息。常见的版本有版本1（基于时间戳和MAC地址）、版本4（纯随机数）等。优点：生成简单，本地生成，不需要依赖额外的组件或服务，能有效减少网络开销。全球唯一，基本能保证在任何场景下不会重复。缺点：长度
  • 浅谈常用的分布式ID的设计方案以及Snowfake是否受冬令时切换影响 24K不怕 分布式分布式IDSnowfake
    浅谈常用的分布式ID的设计方案以及Snowfake是否受冬令时切换影响分布式ID定义典型实现方案基于数据库自增序列的实现UUID方案Redis方案Snowflake方案Snowfake是否受冬令时切换影响分布式ID定义全局唯一：区别于单点系统的唯一，全局是要求分布式系统内唯一。有序性：通常都要保证生成的ID是有序递增的。例如，在数据库存储场景中，有序ID便于确定数据位置，往往更加高效。典型实现方案
  • 幂等性设计原则：如何保证服务中任务不重复执行？ 小小小小关同学 项目相关oracle数据库
    当你疯狂点击“购买”按钮，却发现自己下了5个相同订单；或者因为服务器延迟，你的支付重复进行了好几次……是不是一不小心就可能亏大了？别怕，咱们今天就来聊聊如何用幂等性策略，让你在分布式系统或高并发场景下，稳稳地“只执行一次”！1.什么是幂等性幂等性（Idempotency）是指一个操作无论执行多少次，产生的结果都是相同的，即多次执行不会对系统状态造成额外影响。数学定义：幂等操作满足：f(f(x))=
  • 数据分析学习目录 且行且安~ 数据分析进阶之路#数据分析目录数据分析
    在未来5个月里，将会陪伴大家一起来学习关于数据分析的相关内容，包括从数据思维，数据工具（Excel，Mysql，Hive，Python），数据方法论，数据展示（Tableau,BI），数据挖掘、数据实战项目一整套的内容，同步会将可能用到的以及有用的知识点整理出来。内容会慢慢更新。如下为数据分析的整个目录一、数据分析思维与方法论1.1、从0-1搭建指标体系、用户标签体系1.1.1、指标体系搭建-专项
  • Flume-HBase-Kafka 正在緩沖҉99% kafkaFlumeHBase大数据
    Flume-HBase-Kafka一、各自介绍1.Flume简介和特征2.HBase简介和特征3.Kafka简介和特征二、通过Flume读取日志文件写入到Kafka中在写入HBase各自作用一、各自介绍1.Flume简介和特征一、简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方
  • 分布式网络 Hard_pea 分布式
    分布式网络（DistributedNetwork）指的是一种计算机网络架构，其中计算资源（计算、存储、数据处理等）分布在多个物理或逻辑上的节点上，而不是集中在单一的服务器或数据中心中。这种架构的主要目标是提高系统的可靠性、可扩展性和性能。1.分布式网络的特点✅去中心化（Decentralization）传统的集中式网络（如单台服务器）会有单点故障（SPOF，SinglePointofFailure
  • 大模型的实践应用30-大模型训练和推理中分布式核心技术的应用 微学AI 大模型的实践应用分布式人工智能大模型
    大家好，我是微学AI，今天给大家介绍一下大模型的实践应用30-大模型训练和推理中分布式核心技术的应用。本文深入探讨了大模型训练和推理中分布式核心技术的应用。首先介绍了项目背景，阐述了大模型发展对高效技术的需求。接着详细讲解了分布式技术的原理，包括数据并行、模型并行等。通过实际应用实例代码，展示了分布式技术在大模型训练和推理中的具体实现。最后展望了未来发展趋势，如更高的性能、更好的兼容性等。总之，本
  • Redis-分布式锁 左灯右行的爱情 redis分布式数据库
    分布式锁为什么需要分布式锁核心场景举例技术原理简述项目中需要注意的优化和思考小结分布式锁的本质Redis分布式锁的实现原理?什么是Redlock算法工作流程实现Redis分布式锁的方式分布式锁实现的要点分布式锁完全可靠吗?如何安全地释放Redis分布式锁？为什么需要这样做？分布式锁如何解决锁过期问题？请设计一个可重入的分布式锁使用Redis实现一个分布式锁，包括获取锁和释放锁的逻辑为什么需要分布式
  • 阿里云MaxCompute面试题汇总及参考答案 大模型大数据攻城狮 阿里云odps云计算机器学习大数据面试大数据面经增量数据
    目录简述MaxCompute的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi）分布式调度系统工作原理盘古（Pangu）分布式存储系统数据分片策略计算与存储分离架构的资源弹性扩展方案解释MaxCompute多租户资源隔离实现机制容错机制设计：Worker节点故障时的数据恢复
  • hdfs HA 机制， 一台 namenode 宕机了， joualnode ， namenode ， edit.log fsimage 的 变 化？思维导图 代码示例（java 架构) 用心去追梦 hdfsjava架构
    HDFS（HadoopDistributedFileSystem）的高可用性（HA,HighAvailability）机制旨在解决单点故障问题，确保即使在NameNode出现故障的情况下，文件系统仍然可以继续正常工作。在HA配置中，有两个或多个NameNode：一个处于活动状态（Active），另一个作为备用（Standby）。JournalNodes用于同步编辑日志（EditLog），以确保两个
  • 关于旗正规则引擎中的MD5加密问题 何必如此 jspMD5规则加密
    一般情况下，为了防止个人隐私的泄露，我们都会对用户登录密码进行加密，使数据库相应字段保存的是加密后的字符串，而非原始密码。 在旗正规则引擎中，通过外部调用，可以实现MD5的加密，具体步骤如下： 1.在对象库中选择外部调用，选择“com.flagleader.util.MD5”，在子选项中选择“com.flagleader.util.MD5.getMD5ofStr({arg1})”； 2.在规
  • 【Spark101】Scala Promise/Future在Spark中的应用 bit1129 Promise
    Promise和Future是Scala用于异步调用并实现结果汇集的并发原语，Scala的Future同JUC里面的Future接口含义相同，Promise理解起来就有些绕。等有时间了再仔细的研究下Promise和Future的语义以及应用场景，具体参见Scala在线文档：http://docs.scala-lang.org/sips/completed/futures-promises.html
  • spark sql 访问hive数据的配置详解 daizj spark sqlhivethriftserver
    spark sql 能够通过thriftserver 访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下：   1、下载源码   2、下载Maven,并配置 此配置简单，就略过
  • HTTP 协议通信 周凡杨 javahttpclienthttp通信
                            一：简介  HTTPCLIENT，通过JAVA基于HTTP协议进行点与点间的通信！     二： 代码举例      测试类： import java
  • java unix时间戳转换 g21121 java
    把java时间戳转换成unix时间戳： Timestamp appointTime=Timestamp.valueOf(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date())) SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd hh:m
  • web报表工具FineReport常用函数的用法总结（报表函数） 老A不折腾 web报表finereport总结
    说明：本次总结中，凡是以tableName或viewName作为参数因子的。函数在调用的时候均按照先从私有数据源中查找，然后再从公有数据源中查找的顺序。   CLASS CLASS(object):返回object对象的所属的类。   CNMONEY CNMONEY(number,unit)返回人民币大写。 number:需要转换的数值型的数。 unit:单位，
  • java jni调用c++ 代码 报错 墙头上一根草 javaC++jni
    # # A fatal error has been detected by the Java Runtime Environment: # #  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00000000777c3290, pid=5632, tid=6656 # # JRE version: Java(TM) SE Ru
  • Spring中事件处理de小技巧 aijuans springSpring 教程Spring 实例Spring 入门Spring3
    Spring 中提供一些Aware相关de接口，BeanFactoryAware、 ApplicationContextAware、ResourceLoaderAware、ServletContextAware等等，其中最常用到de匙ApplicationContextAware.实现ApplicationContextAwaredeBean，在Bean被初始后，将会被注入 Applicati
  • linux shell ls脚本样例 annan211 linuxlinux ls源码linux 源码
    #! /bin/sh - #查找输入文件的路径 #在查找路径下寻找一个或多个原始文件或文件模式 # 查找路径由特定的环境变量所定义 #标准输出所产生的结果 通常是查找路径下找到的每个文件的第一个实体的完整路径 # 或是filename :not found 的标准错误输出。 #如果文件没有找到 则退出码为0 #否则 即为找不到的文件个数 #语法 pathfind [--
  • List,Set,Map遍历方式 (收集的资源,值得看一下) 百合不是茶 listsetMap遍历方式
    List特点：元素有放入顺序，元素可重复 Map特点：元素按键值对存储，无放入顺序 Set特点：元素无放入顺序，元素不可重复（注意：元素虽然无放入顺序，但是元素在set中的位置是有该元素的HashCode决定的，其位置其实是固定的） List接口有三个实现类：LinkedList，ArrayList，Vector LinkedList：底层基于链表实现，链表内存是散乱的，每一个元素存储本身
  • 解决SimpleDateFormat的线程不安全问题的方法 bijian1013 javathread线程安全
    在Java项目中，我们通常会自己写一个DateUtil类，处理日期和字符串的转换，如下所示： public class DateUtil01 { private SimpleDateFormat dateformat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); public void format(Date d
  • http请求测试实例（采用fastjson解析） bijian1013 http测试
            在实际开发中，我们经常会去做http请求的开发，下面则是如何请求的单元测试小实例，仅供参考。 import java.util.HashMap; import java.util.Map; import org.apache.commons.httpclient.HttpClient; import
  • 【RPC框架Hessian三】Hessian 异常处理 bit1129 hessian
    RPC异常处理概述   RPC异常处理指是，当客户端调用远端的服务，如果服务执行过程中发生异常，这个异常能否序列到客户端？   如果服务在执行过程中可能发生异常，那么在服务接口的声明中，就该声明该接口可能抛出的异常。   在Hessian中，服务器端发生异常，可以将异常信息从服务器端序列化到客户端，因为Exception本身是实现了Serializable的
  • 【日志分析】日志分析工具 bit1129 日志分析
    1. 网站日志实时分析工具 GoAccess http://www.vpsee.com/2014/02/a-real-time-web-log-analyzer-goaccess/ 2. 通过日志监控并收集 Java 应用程序性能数据(Perf4J) http://www.ibm.com/developerworks/cn/java/j-lo-logforperf/ 3.log.io 和
  • nginx优化加强战斗力及遇到的坑解决 ronin47 nginx 优化
    　　　先说遇到个坑，第一个是负载问题，这个问题与架构有关，由于我设计架构多了两层，结果导致会话负载只转向一个。解决这样的问题思路有两个：一是改变负载策略，二是更改架构设计。 　　　由于采用动静分离部署，而nginx又设计了静态，结果客户端去读nginx静态，访问量上来，页面加载很慢。解决：二者留其一。最好是保留apache服务器。   　　　来以下优化：   　　　
  • java-50-输入两棵二叉树A和B，判断树B是不是A的子结构 bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/25411174201011445550396/ import ljn.help.*; public class HasSubtree { /**Q50. * 输入两棵二叉树A和B，判断树B是不是A的子结构。 例如，下图中的两棵树A和B，由于A中有一部分子树的结构和B是一
  • mongoDB 备份与恢复 开窍的石头 mongDB备份与恢复
    Mongodb导出与导入 1: 导入/导出可以操作的是本地的mongodb服务器,也可以是远程的. 所以,都有如下通用选项: -h host   主机 --port port    端口 -u username 用户名 -p passwd   密码 2: mongoexport 导出json格式的文件
  • [网络与通讯]椭圆轨道计算的一些问题 comsci 网络
         如果按照中国古代农历的历法，现在应该是某个季节的开始，但是由于农历历法是3000年前的天文观测数据，如果按照现在的天文学记录来进行修正的话，这个季节已经过去一段时间了。。。。。       也就是说，还要再等3000年。才有机会了，太阳系的行星的椭圆轨道受到外来天体的干扰，轨道次序发生了变
  • 软件专利如何申请 cuiyadll 软件专利申请
    软件技术可以申请软件著作权以保护软件源代码，也可以申请发明专利以保护软件流程中的步骤执行方式。专利保护的是软件解决问题的思想，而软件著作权保护的是软件代码（即软件思想的表达形式）。例如，离线传送文件，那发明专利保护是如何实现离线传送文件。基于相同的软件思想，但实现离线传送的程序代码有千千万万种，每种代码都可以享有各自的软件著作权。申请一个软件发明专利的代理费大概需要5000-8000申请发明专利可
  • Android学习笔记 darrenzhu android
    1.启动一个AVD 2.命令行运行adb shell可连接到AVD,这也就是命令行客户端 3.如何启动一个程序   am start -n package name/.activityName   am start -n com.example.helloworld/.MainActivity 启动Android设置工具的命令如下所示： # am start -
  • apache虚拟机配置，本地多域名访问本地网站 dcj3sjt126com apache
    现在假定你有两个目录，一个存在于 /htdocs/a，另一个存在于 /htdocs/b 。 现在你想要在本地测试的时候访问 www.freeman.com 对应的目录是 /xampp/htdocs/freeman ,访问 www.duchengjiu.com 对应的目录是 /htdocs/duchengjiu。 1、首先修改C盘WINDOWS\system32\drivers\etc目录下的
  • yii2 restful web服务[速率限制] dcj3sjt126com PHPyii2
    速率限制 为防止滥用，你应该考虑增加速率限制到您的API。 例如，您可以限制每个用户的API的使用是在10分钟内最多100次的API调用。 如果一个用户同一个时间段内太多的请求被接收， 将返回响应状态代码 429 (这意味着过多的请求)。 要启用速率限制, [[yii\web\User::identityClass|user identity class]] 应该实现 [[yii\filter
  • Hadoop2.5.2安装——单机模式 eksliang hadoophadoop单机部署
    转载请出自出处：http://eksliang.iteye.com/blog/2185414 一、概述        Hadoop有三种模式 单机模式、伪分布模式和完全分布模式，这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。   二、下载地址 Hadoop 网址http:
  • LoadMoreListView+SwipeRefreshLayout（分页下拉）基本结构 gundumw100 android
    一切为了快速迭代 import java.util.ArrayList; import org.json.JSONObject; import android.animation.ObjectAnimator; import android.os.Bundle; import android.support.v4.widget.SwipeRefreshLayo
  • 三道简单的前端HTML/CSS题目 ini htmlWeb前端css题目
    使用CSS为多个网页进行相同风格的布局和外观设置时，为了方便对这些网页进行修改，最好使用（ ）。http://hovertree.com/shortanswer/bjae/7bd72acca3206862.htm   在HTML中加入<table style=”color:red; font-size:10pt”>，此为（ ）。http://hovertree.com/s
  • overrided方法编译错误 kane_xie override
    问题描述： 在实现类中的某一或某几个Override方法发生编译错误如下： Name clash: The method put(String) of type XXXServiceImpl has the same erasure as put(String) of type XXXService but does not override it   当去掉@Over
  • Java中使用代理IP获取网址内容（防IP被封，做数据爬虫） mcj8089 免费代理IP代理IP数据爬虫JAVA设置代理IP爬虫封IP
    推荐两个代理IP网站：   1. 全网代理IP：http://proxy.goubanjia.com/   2. 敲代码免费IP：http://ip.qiaodm.com/   Java语言有两种方式使用代理IP访问网址并获取内容，   方式一，设置System系统属性   // 设置代理IP System.getProper
  • Nodejs Express 报错之 listen EADDRINUSE qiaolevip 每天进步一点点学习永无止境nodejs纵观千象
    当你启动 nodejs服务报错： >node app Express server listening on port 80 events.js:85 throw er; // Unhandled 'error' event ^ Error: listen EADDRINUSE at exports._errnoException (
  • C++中三种new的用法 _荆棘鸟_ C++new
    转载自：http://news.ccidnet.com/art/32855/20100713/2114025_1.html 作者: mt 其一是new operator，也叫new表达式；其二是operator new，也叫new操作符。这两个英文名称起的也太绝了，很容易搞混，那就记中文名称吧。new表达式比较常见，也最常用，例如： string* ps = new string("
  • Ruby深入研究笔记1 wudixiaotie Ruby
    module是可以定义private方法的 module MTest def aaa puts "aaa" private_method end private def private_method puts "this is private_method" end end
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他