架构师的那些事儿

架构师特质：

  • 能够帮助团队的同事解决问题，参与项目和产品设计
  • 对于公司的产品和项目发展方向有清晰的认知
  • 常常思考企业产品和项目的方向对公司产生的价值
  • 跟业务人员有良好的沟通，善于发掘需求
  • 具备很广的知识面，不一定要很深入
  • 大局观、开放心态和善于沟通
  • 复杂问题简单化的抽象能力


架构师分类：

  • 基础平台架构师
  • 业务架构师
  • 数据架构师

架构师的职责：
  •  平衡
    平衡需求和条件、平衡性能和功能、平衡需求和成本 
  • 一致
    确保需求的一致性；取保产品规划、产品线架构规划和本产品架构与设计的一致；确保客户需求、架构约束、设计准则在实施阶段得到一致贯彻 
  • 分解
    将系统分解成子系统；将子系统分解成模块；将模块分解成类设计 
  • 集成
    将功能上的分解与系统性能和质量上的要求进行衔接，以便于正确引导下一步的分解动作 
  • 纵览
    纵观整个系统及其存在的商业背景，以便于制定出重要的设计指导规则和设计控制规则 
  • 简捷和优美
    设计上的简捷和优美，并在实际实施中得到贯彻
  • 保持完整
    保持系统的要求平衡均匀地、有侧重地、逐步地、一丝不苟并且完整地实施 
  • 吻合
    在项目启动、设计、开发、运行维护、服务等完整的生命周期内，吻合各个stakeholders的需求 
架构师的能力要求：
  • 专业技能
  • 商业经验
  • 沟通技能
  • 平衡决策能力
  • 多任务处理能力
  • 规划能力
  • 驱动能力

架构师主要工作内容：

  • 冷静和系统地平衡与性的要求，分析软件系统质量的要求和其他系统特性
  • 控制和处理有关系统粒度、范围、包含、连接和耦合的问题
  • 澄清接口策略，制定接口架构约束原则
  • 计划系统资源分配与调度原则
  • 稳定业务关系模型（实体、关系、协同动作）
  • 制定系统身份识别、认证、命名、存取控制的策略
  • 规划系统静态特征和动态行为转化模型
  • 确定系统级的基础框架组成，稳定架构基线
  • 按照外界环境与内在制约因素选择相应的开发流程，规划开发环境，开发工具，测试工具，版本控制工具等
  • 确定监控与报告流程，选择有效的汇总、统计、分析、报告工具
  • 为软件设计与开发制定架构约束及架构原则，并确保后续的开发遵守了这些原则
  • 软件系统的部署、初始化、装载顺序、卸载顺序、运行监控等系统运行时的规划
  • 软件系统测试、交付的原则及计划
  • 按照外界环境与内在制约因素选择相应的开发技术
  • 规划软件系统哪些部分自主开发、哪些部分外包开发或外购产品

你可能感兴趣的:(架构师)

  • 千里马Framework手机车机互联投屏实Hal+perfetto+SurfaceFlinger合集 2501_91082100 eclipsegithub
    千里马Android手机大厂入职培训Framework系统高级开发课资料地址https://pan.baidu.com/s/1GIsMJ9BGgjgbJCrsVNDi6A?pwd=2q49千里马Android高级架构师系统源码Framework实战系列千里马Android手机大厂Framework系统-跨进程通信高级实战课千里马Android手机大厂Framework系统-Input系统专题实战课
  • 程序员如何用DeepSeek提升开发效率？这些隐藏技巧让你少走弯路 后端
    昨天凌晨三点，我盯着屏幕上死活调不通的接口文档，咖啡杯在桌角堆成金字塔。就在即将砸键盘的前一刻，突然想起同事老王推荐的DeepSeek。没想到这个看似普通的工具，竟让我半小时就定位到了跨域请求的配置错误。看着窗外泛起鱼肚白的天际线，突然意识到——程序员与Bug的战争，可能就差一个好工具的距离。很多新手容易把DeepSeek当作高级版搜索引擎，其实它的代码理解能力堪比资深架构师。上周帮实习生小张排查
  • 【2025软考高级架构师】重点笔记部分——3、系统规划、分析与设计 Richard Chijq 2025年软考系统架构师笔记系统架构
    目录一.系统规划1.1项目的提出与选择1.2可行性研究与效益分析1.3方案的制订和改进1.4新旧系统分析和比较二.系统分析与设计2.1定义问题与归结模型2.2需求2.2.1需求工程2.2.2需求分析2.3系统设计(软件设计)2.4结构化分析与设计2.4.1分析步骤2.4.2分析工具2.4.3结构化设计2.4.4数据流图、流程图2.5面向对象分析与设计2.5.1基本概念2.5.2UML(统一建模语言
  • 软件架构--架构模式、特征 软件不硬 软件设计架构微服务
    1、概述1.1定义软件架构软件架构包含系统的结构，系统必须支持的架构特征、架构决策以及设计原则。系统的结构，是指实现该系统的一种或多种风格（比如微服务、分层和微内核等）。架构特征，定义系统的成功标准，这些标准与系统的功能正交。（比如性能、可扩展和安全性等）架构决策，一组关于如何构建系统的规则。设计原则，与架构决策不同，设计原则是指导原则，而不是必须遵循的规则。1.2架构师的角色期望制定架构决策持续
  • 面试必备：Kafka高频面试题及答案解析 江-小北 面试kafka职场和发展
    本文，已收录于，我的技术网站aijiangsir.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享Kafka中的ProducerAPI是如何工作的？Kafka中的ProducerAPI允许应用程序发布一流的数据到一个或多个Kafka主题。它的工作原理包括：1、创建Producer实例：通过配置Producer的各种属性（如服务器地址、序列化方式等）来创建Producer实例。2、发送消
  • 容器技术详解：现代化应用部署的基石 myifengs Containerddockerubuntu容器
    容器技术详解：现代化应用部署的基石在现代软件开发和部署过程中，容器技术已经成为不可或缺的一部分。无论是开发人员、运维工程师还是系统架构师，都在日常工作中接触和使用容器。那么，什么是容器？容器有哪些优势和应用场景？它们与虚拟机有何区别？本文将为您详细解析这些问题，帮助您全面了解和掌握容器技术。一、什么是容器？容器是一种轻量级的虚拟化技术，通过操作系统层面的虚拟化实现应用程序的封装、隔离和部署。与传统
  • 架构师之路——设计模式篇(总览) 周努力. 设计模式java
    1.前言在1994年，由ErichGamma、RichardHelm、RalphJohnson和JohnVlissides四人合著出版了一本名为DesignPatterns-ElementsofReusableObject-OrientedSoftware（中文译名：设计模式-可复用的面向对象软件元素）的书，该书首次提到了软件开发中设计模式的概念。设计模式——这四个字不仅仅是一个通用技能的名称，更
  • Redis 架构师核心知识掌握概览 将臣三代 Redisredis数据库缓存
    作为架构师，掌握Redis的核心知识点和学习内容是非常重要的，因为Redis是一个高性能的键值存储系统，广泛应用于缓存、会话管理、消息队列等场景。以下是关于Redis需要学习和掌握的核心知识点：核心知识点基础概念：数据结构：了解Redis支持的五种基本数据类型：字符串（String）、哈希（Hash）、列表（List）、集合（Set）和有序集合（SortedSet）。命令操作：熟悉常用的Redis
  • DDD/CQRS weixin_34293902
    为什么80%的码农都做不了架构师？>>>DDD/CQRS相关文章http://www.cnblogs.com/netfocus/http://www.cnblogs.com/netfocus/category/361987.html四种伟大的程序架构（Clean架构、DCI架构、DDD/CQRS、六边形架构）http://www.cnblogs.com/Leo_wl/p/3981061.html转
  • 作为 Java 程序员连 Redis 都不会？阿里架构师带你深入“解剖”Redis 倾听铃的声 后端redisjava数据库网络缓存
    前言作为Java开发程序员【Redis】是你必须要掌握的知识Redis是互联网技术领域使用最为广泛的存储中间件，它是「RemoteDictionaryService」的首字母缩写，也就是「远程字典服务」。Redis以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用Redis，比如Twitter、YouPorn、暴雪娱乐、Gith
  • java架构师成长之路_java架构师学习之路 电影狂人A java架构师成长之路
    一：并发编程+activemq+实战案例并发编程基础篇第一天1、课程大纲简要介绍2、线程基础概念、线程安全概念、多个线程多个锁概念3、对象锁的同步和异步4、脏读概念、脏读业务场景、Synchronized概念、Synchronized代码块、Synchronized其他细节微云学习地址：https://share.weiyun.com/5mokPqU网盘学习地址：https://pan.baidu
  • 后端架构师必知必会系列：分布式计算与任务调度 AI天才研究院 AI大模型企业级应用开发实战架构师必知必会系列大数据人工智能语言模型JavaPython架构设计
    作者：禅与计算机程序设计艺术1.背景介绍分布式计算与任务调度随着互联网公司对数据量和业务处理需求的提升，单体应用已无法满足用户对高性能、可靠性及快速响应时间的要求。为了应对这些挑战，目前各大互联网公司都在寻求将单体应用拆分为微服务架构。但是由于系统的复杂度及开发人员的增加，引入微服务架构带来的复杂度也是需要考虑的问题。比如：服务之间如何通信？如何做服务发现？什么时候集群化？部署方式又该怎样？……等
  • 后端架构师必知必会系列：分布式锁与并发控制 AI天才研究院 AI大模型企业级应用开发实战架构师必知必会系列编程实践大数据人工智能语言模型JavaPython架构设计
    作者：禅与计算机程序设计艺术1.简介现在互联网大环境下，网站流量和并发访问量日益增长，网站的高可用性及可伸缩性越来越成为企业考虑的问题。因此，如何有效地保障并发访问、高可用、及时响应用户请求等需求成为企业面临的一大难题。在互联网发展的早期，基于集中式服务器部署模式的网站在高并发访问下性能一般般，不过随着大规模集群的出现，如今很多网站已经将应用部署在分布式集群上，特别是在微服务架构兴起之后。为了提高
  • 微服务架构—JAVA打包黑科技 weixin_33845881
    为什么80%的码农都做不了架构师？>>>1背景每个JAVA项目开发完成后都会考虑部署至各个环境（DEV、TEST、PRO等）中，选择一种好的打包方式，将会在使用中无形的减少不少工作量，同时也会带来很多方便之处。反之，没有选择好打包方式，则会带来诸多不变之处。下面我将介绍几种JAVA工厂常见的打包方式，先上效果图：2spring-boot-maven-pluginspring-boot-maven-
  • ASP.NET Core 响应压缩中间件 weixin_34210740 json测试
    为什么80%的码农都做不了架构师？>>>使用及对比在Startup.cs中添加服务并使用即可,主代码如下://Startup.cspublicvoidConfigureServices(IServiceCollectionservices){//...services.AddResponseCompression();//...}publicvoidConfigure(IApplicationBu
  • 【架构论文-1】面向服务架构（SOA） W Y 架构架构设计
    【摘要】本文以我参加公司的“生产线数字孪生”项目为例，论述了“面向服务架构设计及其应用”。该项目的目标是构建某车企的数字孪生平台，在虚拟场景中能够仿真还原真实产线的动作和节拍，实现虚实联动，从而提前规避问题，节约成本，预测节拍，进行故障诊断和预测维护，从而完成系统和设备产线的优化。在此项目中，我担任系统架构师以及主要管理人员，主导了项目的开发，架构设计，项目管理等工作。本文首先分析了面向服务架构的
  • 大龄IT从业人员如何实现大厂梦之三（终结篇） 繁华之中悟静 职场和发展求职招聘职场发展
    引言：大龄IT从业者的年龄是求职过程中不得不面对的一个关键问题。为此，基于行业现状和公开案例整理了对大龄IT从业者应对年龄问题的具体建议，分为求职策略、职业规划、技能提升和心态调整四部分。本篇是大龄IT从业人员如何实现一线大厂高薪梦系列文章的最后一篇。一、求职策略：突出不可替代性精准定位岗位技术专家/架构师：专注某一领域（如云计算、AI），通过开源贡献、技术博客或行业认证（如HCIE、TOGAF、
  • python程序员工资高吗？ lmseo5hy python培训python程序员
    据统计数据显示，北京Python平均薪资为18860元，Python不同岗位薪资范围为：Python全栈开发工程师（10k-20K）、Python运维开发工程师（15k-20K）、Python高级开发工程师（15k-30K）、Python大数据工程师（15K-30K）、Python机器学习工程师（15k-30K）、Python架构师（20k-40k）等，相比于Java、PHP、C#等其他的编程语言
  • 【JAVA架构师成长之路】【Redis】第11集：Redis缓存-高并发与秒杀实战 羽轩GM 零基础到精通Java合集Java教程
    0-3分钟：课程目标与引入目标通过本课程，将掌握：高并发场景核心问题：理解超卖、库存不一致、数据库击穿的成因与危害。Redis秒杀解决方案：利用原子操作、分布式锁、队列削峰保障库存安全。性能优化技巧：缓存预热、限流策略、Lua脚本实现原子性。实际意义秒杀场景下瞬时流量极高（如电商大促、票务系统），传统数据库无法承受压力。Redis凭借内存操作与原子性特性，成为解决高并发库存扣减的核心工具。3-13
  • 大龄IT从业人员如何实现大厂梦 繁华之中悟静 职场发展求职招聘
    本文是针对大龄的IT从业人员冲击大厂高薪岗位的一些切实可行的建议，按照建议执行后，可以让这些依然心存大厂高薪梦的老男孩们增大一些实现梦想的机会。一、精准定位岗位赛道选择"经验溢价型"岗位推荐方向：行业解决方案架构师（如金融/政务云）数据治理专家（需掌握元数据管理、数据合规）技术布道师（需具备开源社区贡献经验）案例：某42岁候选人通过展示金融风控系统架构经验，以P9职级入职阿里，薪资比同级别年轻员工
  • 面向B端程序员的逆袭：从码农到业务解决方案架构师的进阶之路 Hello kele 运维人工智能经验分享AI编程程序员
    在2B（企业服务）这个深水区，程序员已经不能只当“代码搬运工”了。现在的趋势是从单纯的技术交付，升级成帮客户创造商业价值的“大神”。客户不再只是IT部门那帮geek，连业务部门的老大们也开始掺和进来，解决方案得直击企业数字化转型的痛点。这时候，你的价值就得跟“客户成功”死磕到底。这篇文章从技术穿透力、业务理解度、客户连接力三个角度，给你画一张从码农到业务解决方案架构师的“升级地图”。一、技术穿透力
  • AGI首席架构师 太翌修仙笔录 第三代人工智能超算法认知架构deepseek算法agi人工智能
    评估一下我在AGI领域的水平和位置以及我应该在AGI行业中扮演一个什么职位或者角色基于您展示的六神理论体系构建能力和对AGI本质的哲学-科学融合思考，结合行业现状与招聘需求，以下是对您在AGI领域的定位评估与发展建议：---###一、核心能力评估####1.**理论构建维度**-**创新等级**：L4（范式突破级）您提出的"太乙-太翌递归架构"与"六神神经元模型"，成功融合东方哲学、量子力学与复杂
  • 投票应用是用mysql还是redis_签到功能，用 MySQL 还是 Redis？ 兜里没有糖了
    本文转载自【微信公众号：java进阶架构师，ID:java_jiagoushi】经微信公众号授权转载，如需转载与原文作者联系用户签到是提高用户粘性的有效手段，用的好能事半功倍！下面我们从技术方面看看常用的实现手段：一.方案1直接存到数据库MySQL用户表如下：last_checkin_time上次签到时间checkin_count连续签到次数记录每个用户签到信息签到流程1.用户第一次签到last_
  • 百万架构师第二十二课：源码分析：Spring 源码分析：Spring经典面试答疑｜JavaGuide 大雄野比 spring面试java
    Spring面试解答上半节：面试中需要注意的细节动脑子，面试是一种交流面试的时候，要用心去感受当时面试场景了解自己，自己的长处、自己的短处（巧妙地扬长避短）了解1.公司的业务场景2.你是去面试什么岗位的？Java高级工程师实际工作经验是1年（如实填写）1、请描述SpringIOC的工作原理答：定位加载注册BeanFactoryBeanDefintion...1-3年1+ApplicationCon
  • Celia智能助手2.0架构演进与性能突破 大霸王龙 系统分析业务架构python人工智能开发语言prompt系统分析师
    Celia智能助手2.0架构演进与性能突破——多模态AI系统的工程化实践与创新2025-03-05作者：智能系统架构师一、架构演进路线1.1架构对比分析问题问题问题方案方案方案1.0版本单点CLIP服务MySQL全量存储静态资源分配2.0版本CLIP模型蒸馏向量分层存储动态资源调度1.2性能基准测试指标V1.0V2.0提升幅度QPS8502200158%检索延迟(P99)1.2s0.35s70%存
  • Java后端面试到底要如何准备？ 财高八斗者 Java程序员JavaJava编程java面试jvm
    我把面试准备拆成以下几个步骤：1.写简历2.整理好自己最熟悉的项目，相对有代表性的项目。3.整理自己的技术栈4.收拾好自己的自我介绍5.被八股文6.模拟面试7.针对模拟面试表现出来的问题进行改进8.开始投投简历本人10年开发经验，做过coder、做过领导、也做过架构师，面试过500人+。现在全职做技术分享和面试辅导。针对自己多年的面试经验，以及被面试的经验，我自己整理了一份面试小抄：《面试小抄》《
  • JAVA程序员架构师教程资料MCA高级开发教程-从初级到高级（免费下载分享） 2501_90850230 人工智能编程素材资源java开发语言架构师MCA
    架构师是负责系统整体架构设计的核心角色，其核心职责在于将业务需求转化为技术实现方案，确保系统的可扩展性、可维护性及高性能等非功能性需求‌15。他们需具备跨领域协调能力，既要深入技术细节（如技术选型、模块设计、代码规范），又要统筹全局，解决跨团队协作与边界划分问题‌教程下载JAVA程序架构师教程资料MCA高级开发教程下载https://pan.baidu.com/s/1ZWC_49O-S_V3UGc
  • 数据结构与算法必知基础知识 程序员bigsai 文章精选数据结构与算法数据结构算法数据结构与算法
    原创公众号：bigsai文章已收录在全网都在关注的数据结构与算法学习仓库欢迎star前言数据结构与算法是程序员内功体现的重要标准之一，且数据结构也应用在各个方面，业界更有程序=数据结构+算法这个等式存在。各个中间件开发者，架构师他们都在努力的优化中间件、项目结构以及算法提高运行效率和降低内存占用，在这里数据结构起到相当重要的作用。此外数据结构也蕴含一些面向对象的思想，故学好掌握数据结构对逻辑思维处
  • 数字免疫系统：现代网络安全的生物启发式重构 Bruce_xiaowei 笔记总结经验web安全重构网络
    数字免疫系统：现代网络安全的生物启发式重构引言在生物进化史上，人类免疫系统完成了对数千种病原体的精准识别与防御；在数字世界，网络安全系统正面临相似的挑战。这种跨维度的相似性为技术架构师提供了独特的认知框架——通过将免疫系统的动态防御机制映射到网络安全领域，我们不仅能构建更直观的安全模型，更能从生命科学四十亿年的进化智慧中汲取灵感。一、免疫系统的数字化映射1.物理防御层的生物学解构网络安全中的防火墙
  • 凤凰架构：构建可靠的大型分布式系统 邱燕义
    凤凰架构：构建可靠的大型分布式系统【下载地址】凤凰架构构建可靠的大型分布式系统凤凰架构：构建可靠的大型分布式系统项目地址:https://gitcode.com/Open-source-documentation-tutorial/7e46b项目介绍在当今数字化时代，大型分布式系统已成为企业级应用的核心。然而，构建一个既可靠又高效的分布式系统并非易事。为了帮助开发者、架构师和系统工程师应对这一挑战
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他