数据萌新
数据萌新

Spark性能调优-数据本地化调优

1. task数据本地化级别

(1) PROCESS_LOCAL：进程本地化

Spark性能调优-数据本地化调优_第1张图片

(2) NODE_LOCAL：节点本地化

Spark性能调优-数据本地化调优_第2张图片

(3) NO_PREF：没有本地化级别

Spark性能调优-数据本地化调优_第3张图片

(4) RACK_LOCAL：机架本地化

Spark性能调优-数据本地化调优_第4张图片

(5) ANY：跨机架取数据

Spark性能调优-数据本地化调优_第5张图片

2. TaskScheduler发送task选择本地化级别的策略

比如计算需要的数据在node01这台服务器中的Executor1这个进程中，那么TaskScheduler会把TaskSet发往Executor1进程中执行，此时的数据本地化级别时PROCESS_LOCAL，Executor1是最佳的计算位置，如果发送的task在等待了3秒，重试了5次之后仍然没有执行，那么TaskScheduler就认为Executor1的资源不充足，不足以支撑计算，那么降低数据本地化级别，把task发往node01的另外一个进程Executor2中，这时的数据本地化级别为NODE_LOCAL，如果还无法执行，降低为RACK_LOCAL，ANY，直到Task可以开始计算

3. 查看某任务的数据本地化级别的方法

(1) 在Spark Web UI中查看

(2) 查看Spark作业的执行日志

4. 修改task数据本地化级别的方法

增加等待时间，默认3s，可以成倍数提高，按照6s，12s，24s…这样的方式来修改，这样可以快速找到最佳值，配置参数：

# 可以调整全部级别的task执行等待时间，也可以分别调整
spark.locality.wait         default(3s)
spark.locality.wait.process default(3s)
spark.locality.wait.node    default(3s)
spark.locality.wait.rack    default(3s)

在默认情况下，最初的数据本地化级别为PROCESS_LOCAL，如果等待了3s，重试5次后还没有开始执行task，那么会降低级别，再尝试开始执行task，比如，我们就想让task的数据本地化级别为PROCESS_LOCAL，那么把spark.locality.wait.process修改为一个很大的值，那么这个task会一直等待，直到本机的executor中已经加载过来了需要的数据，当然，我们不会这么做。

你可能感兴趣的:(Spark性能调优-数据本地化调优)

  • 从0构建 HarmonyOS 本地语音识别项目：Whisper 完整落地教程 观熵 国产大模型部署实战全流程指南harmonyos语音识别whisper深度学习机器学习
    第一章：鸿蒙手机语音识别项目实战（基于Whisper本地推理）项目目标：构建一个可以在鸿蒙系统手机本地运行的语音识别应用，使用Whisper模型识别用户语音为文字，全程无需联网。1.为什么要在鸿蒙手机本地部署语音识别？在很多移动场景下（驾驶、弱网环境、隐私敏感场景等），云端语音识别存在如下痛点：⏳网络延迟高、体验割裂⚠️数据隐私风险大网络依赖强，弱网/无网直接无法使用而将语音识别模型部署在鸿蒙设备
  • 网络参考模型以及各层对应的协议 窗外千纸鹤 网络网络网络协议
    网络参考模型在互联网中实际使用的是TCP/IP参考模型。实际存在的协议主要包括在：物理层、数据链路层、网络层、传输层和应用层。各协议也分别对应这5个层次而已。【1】物理层：主要定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流（就是由1、0转化为电流强弱来进行传输,到达目的地后在转化为1、0，也就是我们常说的数模转换与模数转换），这一层的数据叫做
  • 网络五层协议与每层对应的协议 旋转的Kumamon 零基础网络协议
    五层协议物理层–数据链路层–网络层–传输层–应用层(会话层、表示层)物理层为数据端设备提供传送数据的通路，数据通路可以是一个物理媒体，也可以是多个物理媒体连接而成。包括的协议：1000BASE-SX、1000BASE-LX、1000BASE-CX数据链路层数据链路层：为网络层提供数据传送服务包括的协议：点对点协议PPP：CSMA/CD协议：具有冲突检测的载波监听多点接入协议，特点是：发送前先监听、
  • 《数据结构》学习笔记二：算法（二） 小曼blog
    继续上节的学习，我们在这一篇文章里把“算法”这一章内容学习完。本节解决问题：算法的好坏到底是如何评估的？知识点：1.函数的渐进增长2.算法的时间复杂度3.常见的时间复杂度4.算法的空间复杂度1.函数的渐进增长这一知识点与数学相关，不过没关系都是很容易理解的内容。问题：假如两个算法的输入规模都是n,A的执行次数是2n+3,B的执行次数是3n+1,那么这两个算法哪一个更好呢？我们来分析一下，用数学的折
  • 如何构建高效的向量数据库以优化大模型检索能力 学习ing1 数据库
    1.构建向量数据库的基础架构1.1确定数据存储需求构建高效的向量数据库以优化大模型检索能力，首先要明确数据存储需求。大模型通常涉及海量的参数和数据，例如一个拥有10亿参数的模型，其存储需求可能达到数百GB。根据数据的规模和类型，需要确定存储的容量、速度和可靠性。对于大规模数据，分布式存储是常见的选择，它可以将数据分散存储在多个节点上，提高存储效率和数据访问速度。同时，数据的读写频率也是重要因素，高
  • 向量数据库FAISS/Chromadb/ES/milvus简单概述
    FAISSFAISS（FacebookAISimilaritySearch）是一种高性能的向量相似性搜索库，用于在大规模向量数据集中快速搜索最相似的向量。它是由FacebookAIResearch开发的，旨在解决大规模向量搜索的问题，广泛应用于各种领域，如图像搜索、文本搜索、推荐系统等。FAISS的主要特点和优势如下：高效的相似性搜索：FAISS使用了一系列高效的算法和数据结构，如倒排索引、局部敏
  • LLM初识
    从零到一：用Python和LLM构建你的专属本地知识库问答机器人摘要：随着大型语言模型（LLM）的兴起，构建智能问答系统变得前所未有的简单。本文将详细介绍如何使用Python，结合开源的LLM和向量数据库技术，一步步搭建一个基于你本地文档的知识库问答机器人。你将学习到从环境准备、文档加载、文本切分、向量化、索引构建到最终实现问答交互的完整流程。本文包含详细的流程图描述、代码片段思路和关键注意事项，
  • 大模型——TRAE+Milvus MCP 自然语言就能搞定向量数据库 不二人生 大模型milvus数据库trae大模型
    大模型——TRAE+MilvusMCP自然语言就能搞定向量数据库不久前，继Cursor和ClaudeDesktop在海外市场掀起智能编程浪潮后，字节跳动TRAE海外版也进入了付费模式。相较前两款海外产品，TRAE集成了代码补全、智能问答和Agent模式之外，还可以为中文开发者带来本土化的智能编程体验。恰逢其时，MilvusMCP服务器新增了SSE（Server-SentEvents）支持。相比传统
  • CCF-GESP 等级考试 2025年6月认证Python四级真题解析
    1单选题（每题2分，共30分）第1题2025年4月19日在北京举行了一场颇为瞩目的人形机器人半程马拉松赛。比赛期间，跑动着的机器人会利用身上安装的多个传感器所反馈的数据来调整姿态、保持平衡等，那么这类传感器类似于计算机的()。A.处理器B.存储器C.输入设备D.输出设备解析：答案：C。所有传感器都用于采集数据，属于输入设备，故选C。第2题小杨购置的计算机使用一年后觉得内存不够用了，想购置一个容量更
  • 推荐开源项目：Milvus Lite —— 轻量级向量数据库，助力AI应用快速起飞 穆希静
    推荐开源项目：MilvusLite——轻量级向量数据库，助力AI应用快速起飞项目介绍MilvusLite是知名开源向量数据库Milvus的轻量级版本，专为需要在小型环境中进行向量嵌入和相似性搜索的AI应用设计。通过将MilvusLite导入您的Python应用，您可以直接使用Milvus的核心向量搜索功能。MilvusLite已集成在PythonSDKofMilvus中，只需通过pipinstal
  • 【速通RAG实战：数据库】6.RAG向量数据库原理 无心水 速通RAG实战！解锁AI2.0高薪密码速通RAG实战RAG快速开发实战RAGRAG向量数据库相似度FAISSChroma
    在RAG（检索增强生成）系统中，向量数据库扮演着至关重要的角色，它负责存储文本经过Embedding处理后的向量表示，并能高效地进行向量检索，以找出与查询向量最相似的文档。1.向量数据库原理1.向量表示在RAG系统里，文本首先会通过Embedding模型（如OpenAIEmbeddings、SentenceTransformers等）转化为固定维度的向量。这些向量能够捕捉文本的语义信息，使得语义相
  • 常见的网络协议汇总（涵盖了不同的网络层次） 是理不是里 网络网络协议
    网络层协议IP协议：IP指网际互连协议（InternetProtocol），是TCP/IP体系中的网络层协议。IP协议包括IPv4和IPv6，用于为数据包提供源地址和目标地址，从而实现网络通信。ICMP协议：ICMP（InternetControlMessageProtocol）即互联网控制报文协议，用于在IP主机、路由器之间传递控制消息。例如，当数据包无法到达目标主机时，ICMP会发送一个“目的
  • 【数据结构】详解堆排序当中的topk问题（leetcode例题） ylfxw 数据结构leetcode算法
    文章目录前言如何理解topk问题代码逻辑代码实现前言Leetcode相关题目：215.数组中的第K个最大元素如何理解topk问题**TopK问题是一个经典的问题，在计算机科学中，它的目标是在一组数据中找到前K个最大或最小的元素。**这个问题在许多场景下都很重要，比如搜索引擎的搜索结果排名、数据分析中的热门元素筛选等。.在最简单的形式中，给定一个数组（或列表）和一个整数K，TopK问题要求返回数组中
  • 算法工程师必备：数据结构10大经典算法详解 数据结构与算法学习 数据结构与算法宝典算法数据结构ai
    算法工程师必备：数据结构10大经典算法详解关键词：数据结构、经典算法、时间复杂度、应用场景、代码实现摘要：本文是算法工程师的“算法工具箱”指南，系统讲解数据结构领域最核心的10大经典算法（快速排序、归并排序、二分查找、深度优先搜索DFS、广度优先搜索BFS、动态规划、贪心算法、KMP字符串匹配、哈希算法、并查集）。通过生活案例、代码示例、复杂度分析和实战场景，帮你彻底掌握这些算法的原理与应用，真正
  • 访问容器中的元素 tal0n
    上一篇遗留的问题在上一篇中我们实现了一个类似内建数组的容器，但是这个容器包含了内建数组的缺陷由于operator[]返回的类型T&导致用户可以获取到容器内部元素的地址，在容器不存在以后这个指针依然存在。由于维护了容器到数据的指针关系，我们过多的暴漏了容器的内部机制。用户可以使用指针直接访问容器内部，一旦容器内部占用的内存发生变化，将导致用户错误。导致resize这类的函数很难实现。模拟指针c++中
  • 计算机网络中：传输层和网络层之间是如何配合的 woainizhongguo. 计算机网络计算机网络网络
    可以把网络层和传输层想成一个“快递系统”：网络层（IP层）=邮政系统：只负责把“包裹”（IP数据报）从A地搬到B地，不保证顺序、不保证不丢、不保证不重复。传输层（TCP/UDP层）=快递公司：在邮政系统之上提供“增值服务”——对TCP来说，就是可靠、按序、不重复、流量受控的端到端运输；对UDP来说，就是“无连接、尽力而为”的快送。下面用一次典型的TCP通信说明两者如何“接力配合”。1.建立连接（三
  • 拼多多官方返利新动向，高省App引领购物省钱新趋势 古楼
    电商行业的快速发展带来了无数的新趋势和新机遇，而拼多多官方返利的新趋势无疑是其中的一大亮点。高省App作为这一趋势的敏锐洞察者和积极参与者，致力于帮助用户精准把握这些新机遇。通过高省App，用户可以及时了解拼多多官方返利的最新政策和活动信息，从而做出更加明智的购物决策。同时，高省App还提供了专业的数据分析工具，帮助用户分析自己的消费行为和省钱效果，让省钱之路更加清晰和明确。我们在开始讲今天的文章
  • mybatis/mybatis-plus添加数据,自增id的值为负数 雾林小妖 Java开发常见BUG解决方案mybatis
    1、问题概述？使用mybatis-plus的insert方法添加数据的时候，数据虽然添加成功了，但是返回值为false，提示添加失败。当观察数据的时候，发现数据的自增主键id的值尽然为-1，或者无规律的长串负数，如：-109096962。2、解决办法？解决办法总体比较简单【注意点1：@TableId(value="id",type=IdType.AUTO)】AUTO(0,“数据库ID自增”),NO
  • 【Tomcat】Tomcat线程池深度调优手册（终极版） 夜雨hiyeyu.com javatomcatjavajvmspringspringbootnginxapache
    Tomcat线程池深度调优手册（终极版）一、Tomcat线程池架构全解析二、精准参数计算公式（带场景适配）三、线程池溢出故障树分析四、生产环境全链路调优五、极限性能压测方案六、特殊场景应对策略七、调优禁忌清单八、调优效果验证一、Tomcat线程池架构全解析三层处理模型accept队列任务分发响应TCP层NIO线程业务线程池网络层TCP层：内核维护的SYN队列（受net.core.somaxconn
  • AI产品经理面试宝典第45天：AI应用设计与伦理隐私问题应对指南 TGITCIC AI产品经理一线大厂面试题产品经理AI面试大模型面试AI产品经理面试大模型产品经理面试AI产品大模型产品
    如何提升AI产品的用户体验？问：如何提升AI产品的用户体验？答：用户体验优化需从三个维度突破：数据质量、交互逻辑、反馈机制。首先确保训练数据覆盖真实场景长尾需求，例如智能客服需采集方言、行业术语等特殊语料。其次设计渐进式交互路径，如医疗影像诊断产品采用"一键初筛-人工复核-历史对比"三段式流程。最后建立动态反馈闭环，通过埋点采集用户行为数据，结合A/B测试持续迭代模型输出结果。专业指导此题考察产品
  • 微软CEO Satya Nadella提出AI重构法则：从范式跃迁到社会盈余 TGITCIC AI-大模型的落地之道AI大模型大模型AIAIAgentAI智能体AI落地大模型落地
    1.范式跃迁：AI作为第四次技术革命的核心驱动力1.1技术代际的复合效应从客户端到互联网、移动互联网再到云计算，技术平台的演进始终遵循“平台变革→产品跃迁→反哺平台”的螺旋上升逻辑。AI的特殊性在于其叠加了前三代技术的基础设施能力：云计算：提供百亿级参数模型的分布式训练能力互联网：构建全球数据流动与反馈闭环移动终端：扩展AI服务的触达边界技术范式核心特征代表产品对AI的支撑作用客户端本地化计算Wi
  • 2023年第10期(NeuroImage)：DomainATM：多中心医学图像数据标准化工具箱 影浮科技ImageFlow
    基本信息1.标题：DomainATM:Domainadaptationtoolboxformedicaldataanalysis.2.期刊：NeuroImage3.IF/JCR/分区：7.4/Q1/中科院一区4.DOI：10.1016/j.neuroimage.2023.119863目录1、导读2、背景动机3、研究目的4、工具箱介绍5、测试试验6、局限不足1导读域适应（DA）是基于机器学习的现代医
  • WPF——依赖属性 「千秋雪」 WPF
    依赖属性简介依赖属性就是自己本身没有值，可以通过binding获取到数据源的值。具有依赖属性的对象称为依赖对象，依赖对象包含一般的控件（TextBox.text或ListBox.ItemsSourceProperty就是一个典型的依赖属性），也包含从有依赖属性的类生成的对象(后面会举例说明)。优点节省内存空间。每个CLR属性都包含一个非static的字段，如果一个实例具有多个属性，创建实例数目多的
  • python 密码学 模块_Python加密与解密 No module named 'Crypto' weixin_39827304 python密码学模块
    DES加密全称为DataEncryptionStandard，即数据加密标准，是一种使用密钥加密的块算法入口参数有三个：Key、Data、ModeKey为7个字节共56位，是DES算法的工作密钥；Data为8个字节64位，是要被加密或被解密的数据；Mode为DES的工作方式,有两种:加密或解密3DES(即TripleDES)是DES向AES过渡的加密算法使用两个密钥，执行三次DES算法加密的过程是
  • UML设计系列(9)：开发过程中如何应用UML
    传送门UML设计系列(1)：状态机图UML设计系列(2)：类图UML设计系列(3)：时序图UML设计系列(4)：用例图UML设计系列(5)：系统依赖图UML设计系列(6)：活动图UML设计系列(7)：UML设计阶段性总结UML设计系列(8)：数据库关联关系图我眼中的软件开发流程对于软件的开发流程，我们一直没怎么触碰，探讨不多。业界的标准开发模式也很成熟，比如你可能听过传统的瀑布、迭代开发模式，随着
  • 【甲烷数据集】Sentinel-5P 卫星获取的全球甲烷数据集-TROPOMI L2 CH₄ WW、forever 数据集sentinel
    目录数据概述传感器&卫星信息监测目标：甲烷（CH₄）数据产品内容空间与时间覆盖云筛选与协同观测技术文档资源数据下载Python代码绘制CH4数据参考数据概述Sentinel-5PrecursorLevel2Methane(TROPOMIL2CH₄)数据集是由欧洲哥白尼计划的Sentinel-5P卫星获取的，用于监测大气中的甲烷浓度。数据集名称：Sentinel-5PrecursorLevel2Me
  • WPF——为ListBox的Items设置布局面板 Paddi_z WPFC#wpfc#xamllistbox
    自定义ListBox的控件面板在默认情况下，ListBox的子项目显示类似于默认的StackPanel，在水平方向为Strench垂直方向进行堆叠.而有时候，为了控制子元素的布局方式，需要自定义ListBox的内部面板，例如为了实现下面的效果可以看到，上面采用的是双列布局，实际上用的是UniformGrid控件作为ListBox的内部面板，因此，对于绑定的数据集合，就相当于是在一个UniformG
  • LangChain 源码剖析（二）：LangChain 流程编排的核心骨架——Chain 基类源码剖析 ATM006 人工智能langchain大模型Agent
    每一篇文章都短小精悍，不啰嗦。在LangChain框架中，Chain是连接各种组件（模型、工具、数据库等）的核心骨架，负责将多个步骤按逻辑串联成可执行的工作流。无论是简单的「提问-回答」流程，还是复杂的「检索-思考-工具调用」pipeline，都依赖Chain基类提供的基础能力。本文将从架构设计、核心功能到实现细节，全面解析这一基类的设计智慧。一、架构定位：为什么需要Chain基类？Chain基类
  • C# 上位机开发进阶：利用 WinForms 与 WPF 创建智能化工业控制系统 威哥说编程 c#wpf开发语言
    随着工业自动化和智能制造的不断发展，上位机系统作为人与机器之间的重要桥梁，已成为工业控制系统中不可或缺的一部分。在上位机系统开发中，C#提供了强大的开发框架，尤其是WinForms和WPF，两者在创建高效、智能化的工业控制系统中扮演着重要角色。本文将深入探讨如何利用C#中的WinForms和WPF构建智能化的工业控制系统，从界面设计、实时数据处理、设备通信协议到性能优化的全面技术方案，助力开发者提
  • 大数据领域 Kafka 入门指南：从安装到基础使用 大数据洞察 大数据与AI人工智能大数据kafkalinqai
    大数据领域Kafka入门指南：从安装到基础使用关键词：Kafka、消息队列、分布式系统、大数据处理、实时数据流、生产者消费者模型、ZooKeeper摘要：本文是一篇全面介绍ApacheKafka的入门指南，从基本概念到实际应用。我们将详细讲解Kafka的核心架构、工作原理，并提供从安装配置到基础使用的完整实践指导。文章包含Kafka的生产者-消费者模型实现、集群部署策略、性能优化技巧，以及在大数据
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他