桥边风满袖
桥边风满袖

3.3-机智云之GoKit-MCU程序详解

一、通信协议详解

1、协议命令格式：

header + len + cmd + sn + payload + checksum

固定包头+包长度+命令+包序号+数据区约定+校验和

2、P0数据区约定解析《XX-机智云接入串口通讯协议文档》

【1】WiFi模组请求设备信息；

【2】WiFi模组与设备MCU的心跳；

【3】设备MCU通知WiFi模组进入配置模式；

【4】设备MCU重置WiFi模组；

【5】WiFi模组向设备MCU通知WiFi模组工作状态的变化；

【6】WiFi模组请求重启MCU；

【7】非法消息通知；

【8】WiFi模组读取设备的当前状态；

【9】设备MCU向WiFi模组主动上报当前状态；

【10】WiFi模组控制设备；

注意：查看《XX-机智云接入串口通讯协议文档》

有效数据的上传(协议4.8、4.9)，上传协议的组成形式为：action(1B) + dev_status(11B) ; 

有效数据的上传(协议4.10)，下达协议的组成形式为：action(1B) + attr_flags(1B) + attr_vals(6B) ; 

二、程序详解

1、代码目录介绍

【1】一级目录说明

Gizwits：协议相关目录

Hal：外设驱动库

Lib：STM32驱动库

Project：工程管理文件

User：代码入口文件目录

Utils：工具函数目录

README.txt：GoKit3(V)文档

【2】代码文件说明（gizwits_product.c/h，gizwits_protocol.c/h）

【3】协议API介绍

2、程序实现原理

【1】协议实现机制：协议解析后，将P0数据区的有效数据点生成对应的数据点事件，再按事件处理数据点。

【2】数据点转换事件的说明：根据协议P0数据区的attr_flags位判断出有效数据点，并将其转化成对应的数据点事件，然后在事件处理函数中(gizwitsEventProcess)完成事件的处理。

3、程序初始化说明

【1】数据协议结构体的定义

设备MCU向WIFi模组上报当前状态：payload(数据区约定) == flag(标识)+action(动作)+dev_status(设备状态)

WIFi模组下发指令控制设备MCU：payload(数据区约定) == flag(标识)+action(动作)+attr_flags(标志位)+attr_vals(数据值)

【2】程序主函数

SystemInit()、userInit()、gizwitsInit()、userHandle()、gizwitsHandle()

【3】用户程序初始化

【4】定时器使用

【5】串口的使用

4、配置模式说明

设备需要进入配置模式才能进行联网，并与云端进行通信，在本示例工程中是通过按键触发进入相应的配置模式。

5、协议处理函数的实现

【1】首先是一些局部变量的初始化，比较重要的是：“protocolHead_t *recvHead = NULL;”它的作用是保存解析出来的协议包头。

【2】然后是协议的重发机制，它的作用是对发送后的协议数据进行超时判断，超时200ms进行重发，重发上限为三次。

【3】接下来程序会从环形缓冲区中抓取一包的数据。

【4】当我们获得到一整包的数据，就会进入下面的if判断逻辑，进行协议的解析。

【5】然后是各协议命令的处理流程

【6】协议判断完成后是一个状态机的判断，用来完成对应协议命令的处理。

【7】之后是一个数据上报判断机制，主要执行了gizCheckReport函数。

【8】最后一段代码是一个数据定时上报机制。

6、控制型协议的实现

【1】流程：gitProtocalIssuedProcess —> ACTION_CONTROL_DEVICE  —> gizDataPoint2Event —> gizwitsEventProcess

【2】控制型事件处理

【3】可写型数据类型转换

【4】可写型数据类型转换

7、上报型协议的实现

【1】流程：userHandle —> gizCheckReport  —> gizDataPoint2ReportData —> gizReportData

【2】只读型数据的获取

【3】上报转态判断

【4】只读型数据类型转换

8、机智云协议数据处理

【1】数据点类型转换

【2】数据解压与压缩处理

你可能感兴趣的:(3.3-机智云之GoKit-MCU程序详解)

  • python中的分支结构 幻鸩605 python开发语言
    一、顺序结构与选择结构顺序结构：代码会按照书写的先后顺序，依次逐行执行。选择结构：依据条件判断的结果，来决定执行哪一部分代码。二、单分支、双分支、多分支单分支（if）#使用if可以开启代码块如果条件为真执行代码块#（多行语句，保持相同缩进）if10>5:#条件满足时执行的代码print("哈哈哈")print("嘿嘿嘿")print("嘻嘻嘻")print("程序结束")双分支（if-else）i
  • Python爬虫实战：研究httplib2库相关技术 ylfhpy 爬虫项目实战python爬虫phphttplib2
    1.引言1.1研究背景与意义随着互联网的快速发展，网络上的信息量呈爆炸式增长。如何从海量的网页中高效地获取有价值的数据，成为了当前信息技术领域的一个重要研究课题。网络爬虫作为一种自动获取互联网信息的程序，能够按照一定的规则，自动地抓取网页内容并提取和整理信息，为信息检索、数据分析、机器学习等领域提供了丰富的数据来源。在电子商务领域，爬虫可以用于价格监控、竞品分析和市场调研；在学术研究中，爬虫可以帮
  • C++为什么中不应该返回局部变量的地址 i love 3 C++返回引用c++return
    最近在写代码的时候遇到返回局部变量的引用问题，认识不是很清晰，下面是转自http://blog.csdn.net/tujinqiuqq85948239/article/details/27236677博文的详细解释！在EffectiveC++中明确指出：不应该返回局部变量的引用，原因在于：局部变量会在函数返回后被销毁，因此被返回的引用就成为了”无所指”的引用，程序会进入未知状态。如果比较理解函数局
  • 函数返回局部变量
    一般的来说，函数是可以返回局部变量的。局部变量的作用域只在函数内部，在函数返回后，局部变量的内存已经释放了。因此，如果函数返回的是局部变量的值，不涉及地址，程序不会出错。但是如果返回的是局部变量的地址(指针)的话，程序运行后会出错。因为函数只是把指针复制后返回了，但是指针指向的内容已经被释放了，这样指针指向的内容就是不可预料的内容，调用就会出错。准确的来说，函数不能通过返回指向栈内存的指针(注意这
  • C语言返回局部变量的几种用法--（经典例子）
    一般来说，函数是可以返回局部变量的。局部变量的作用域只在函数内部，在函数返回后，局部变量的内存已经释放了。因此，如果函数返回的是局部变量的值，不涉及地址，程序不会出错。但是如果返回的是局部变量的地址(指针)的话，程序运行后会出错。因为函数只是把指针复制后返回了，但是指针指向的内容已经被释放了，这样指针指向的内容就是不可预料的内容，调用就会出错。准确来说，函数不能通过返回指向栈内存的指针(注意这里指
  • android原生 睡死,Android消息推送关键技术之休眠唤醒
    为了节省电量，Android系统在一段时间不操作后，会进入休眠状态，Android6.0之后更是引入了Doze和Standby两种省电模式，达到进一步省电的目的。在这些省电模式下，会挂起一些设备的电源，限制网络访问和一些其它的后台操作，因此休眠自然也会影响到后台的推送服务。Android休眠机制由于Android系统是基于Linux内核的，所以Android系统地休眠机制也继承自Linux，并且在
  • python 优化IO和并发提高性能 贵哥的编程之路(热爱分享 为后来者) python
    一、任务量与执行效率的关系任务量和效率成反比：任务量越大，程序整体耗时越长，执行效率越低。程序执行效率=完成单位任务所需的时间。任务多、耗时长，效率自然低。二、如何提高程序执行效率？减少任务量只做必要的工作，减少无用或重复的任务。例如：数据预处理、过滤无效请求、合并重复操作等。提高并发量让多个任务“同时”进行（并发/并行），充分利用CPU和IO资源。例如：多线程/多进程/协程/异步IO等。减少单个
  • C语言内存的“禁区”：为何不能返回局部变量的地址？ web安全工具库 2025C++学习c语言开发语言
    资料合集下载链接：https://pan.quark.cn/s/472bbdfcd014在C语言编程中，指针和内存管理是两大核心，也是许多新手甚至有经验的开发者容易踩坑的地方。一个经典的问题就是：“为什么我的函数返回一个指针，有时候能用，有时候程序就崩溃了？”答案往往藏在C语言的内存分区模型中。今天，我们就根据一份课堂笔记，深入探讨一个关键的“禁区”：从函数返回局部变量的地址，并搞清楚为什么有些地
  • 自动化工具ansible,以及playbook剧本
    自动化工具ansible,以及playbook剧本这篇博客主要说的是，ansible,以及playbook和常用的模块首先先介绍ansibleansible是一个自动化的运维工具，基于python开发主要的功能，可以实现批量的部署程序，批量的执行命令ansible默认通过的是ssh的协议管理机器，无需配置任何服务，管理端部署好后就可以使用。应用的环境应用代码的自动化部署系统管路配置自动化支持持续交
  • Python中的分支结构 xiaojimao1 python开发语言Python中的分支结构
    文章目录前言一、顺序结构与选择结构1.顺序结构2、选择结构二、单分支、双分支与多分支1、单分支2、双分支3、多分支三、分支嵌套代码逻辑解释四、pass关键字总结前言在编程中，分支结构是一种重要的控制结构，它允许程序根据不同的条件执行不同的代码。Python中的分支结构主要包括顺序结构、选择结构，以及单分支、双分支、多分支和分支嵌套等多种形式。此外，pass关键字在分支结构中也有其独特的用途。本文将
  • ArrayList剖析 weixin_44612246 javaspringboot
    大家天天在用List，ArrayList一般来讲应该是程序员用的最多的集合类了。我们今天研究一下ArrayList。总体来讲，从底层数据结构或者源码的角度看，List比Map或者Set要简单。底层数据结构ArryList其实就是可变长数组。初始化的时候，可以指定容量，不指定容量的话，ArrayList被初始化为空数组，首次存入数据的时候才进行容量初始化，初始化最小容量为10。ArrayList的容
  • Java内存区域划分及各区域作用
    Java虚拟机内存区域示意图：各分区都有什么特点，他们的作用是什么呢？1.程序计数器（ProgramCounterRegister）线程私有。程序计数器是一块较小的空间，它可以看做是当前线程所执行的字节码的行号指示器。2.Java虚拟机栈线程私有。Java虚拟机栈的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型：每个方法在执行的同时都会创建一个栈帧（StackFrame）用于存储局
  • 2.Golang goroutine详解：轻量级并发的艺术 GO兔 Go基础golang开发语言
    欢迎大家点赞，收藏，评论，转发，你们的支持是我最大的写作动力作者:GO兔博客:https://luckxgo.cn引言在Golang的世界里，有个小家伙彻底改变了我们编写并发程序的方式——它就是goroutine！如果你还在用传统线程写并发，那简直就像在用牛拉火车。今天这篇笔记，咱们就来揭开goroutine的神秘面纱，看看这个轻量级的并发单元是如何让Go程序高效运行的。技术要点1.什么是goro
  • Java内存区域(运行时数据区域)怎么划分的？
    1、Java内存区域（运行时数据区域）怎么划分的？程序计数器，Java虚拟机栈，本地方法栈，堆，方法区2、线程私用的部分(程序计数器，Java虚拟机栈，本地方法栈)程序计数器程序计数器存储了当前线程正在执行的字节码指令的地址（如果是当前执行的是Native方法，那么计数器为空），字节码解释器就是通过改变计数器的值来选取下一条需要执行的字节码指令。程序计数器是线程私有的，便于各个线程切换后，可以恢复
  • Excel高效转Json工具类详解 你一身傲骨怎能输 游戏工具链exceljson
    文章摘要该工具类提供Excel到Json的转换功能，主要包含：ExcelToJsonToolEditor：核心编辑器类，处理Excel批量/单表转换、文件路径操作类型定义：TypeValue存储字段信息，JsonKeyType标识键类型转换流程：读取Excel→生成Json→自动创建对应C#配置类代码扩展性：支持指定表转换、错误处理、代码模板化生成关键方法：DoXlsxToJson处理单表转换，G
  • Excel文件解析：操作系统与应用程序的分工 你一身傲骨怎能输 游戏工具链excel
    文章摘要本文介绍了操作系统和应用程序在Excel文件处理中的分工。操作系统仅负责文件存储管理和类型识别，不解析内容；而应用程序则负责解析Excel文件的具体格式。对于.xlsx文件，应用程序会先解压zip包，再解析其中的XML文件（如workbook.xml）重建表格数据。文章以C#的ExcelDataReader库为例，展示了从文件打开到数据读取的具体流程。总结指出：操作系统管文件存取，应用程序
  • 大数据面试题之Hive(1) 小的~~ 大数据大数据hivehadoop
    说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?说下Hive是什么?跟数据仓库区别?Hive架构Hive内部表和外部表的区别?为什么内部表的删除，就会将数据全部删除，而外部表只删除表结构?为什么用外部表更好?Hive建表语句?创建表时使用什么分隔符?Hive删除语句外部表删除的是什么?Hive数据倾斜以及解决方案Hive如果不用参数调优，在map和reduce端应该做什么Hive
  • LoRA微调详解：如何为AIGC模型节省90%显存 SuperAGI2025 AI大模型应用开发宝典AIGCai
    LoRA微调详解：如何为AIGC模型节省90%显存关键词：LoRA、低秩适应、AIGC模型、参数高效微调、显存优化摘要：在AIGC（人工智能生成内容）领域，大模型（如GPT-3、LLaMA、StableDiffusion）的微调需要消耗海量显存，普通用户或企业难以负担。本文将深入解析LoRA（Low-RankAdaptation，低秩适应）这一参数高效微调技术，通过生活类比、数学原理、代码实战和应
  • JAVA内存区域划分 weixin_44612246 java开发语言redis
    根据《JAVA虚拟机规范》的规定，JAVA虚拟机在执行JAVA程序的过程中会把内存划分为不同的数据区域。不同类型的数据会存储在不同的区域，理解JAVA内存区域的工作细节对理解JAVA多线程、线程安全性有着重要意义。注意，JAVA内存区域的划分与我们常说的java内存模型JMM(JavaMemeryModel)是两个互不交叉的维度的概念，两者没有任何关系。JMM主要是将主内存和工作内存的关系、数据从
  • 学习记录：DAY35 2301_79760424 每日学习记录学习
    前言自从得了精神病，整个人精神多了！日程今天也早起了，美中不足的是昨天没怎么睡。本来很气很暴躁的，学了一会释怀了，反正这种状态也不是不能学，多来几天就习惯了。--------7.2--------偷懒了，这两天几乎就没干什么事情学习内容省流：redis入门HttpClient微信小程序缓存机制1.redis入门基于内存储存的数据库redis.net.cn0）安装window版本：Releases·
  • topk------提取张量极值的关键函数 AI扶我青云志 人工智能
    torch.topk()是PyTorch中用于高效提取张量极值的关键函数，可返回指定维度上最大或最小的k个元素及其索引。以下从参数、作用和应用场景三方面详解：一、核心参数详解函数签名：torch.topk(input,k,dim=None,largest=True,sorted=True,*,out=None)参数类型默认值说明inputTensor必填输入张量kint必填需返回的元素数量dimi
  • 【Java面试】讲讲Redis的Cluster的分片机制 用心分享技术 Java面试题java面试redis
    RedisCluster分片机制详解1.分片核心机制：哈希槽（HashSlot）RedisCluster采用虚拟哈希槽分区，将数据分散到16384个固定槽位（slot）上，每个主节点负责一部分槽位。键的槽位计算方式为：slot=CRC16(key)%16384#仅计算键中`{}`内的内容（如`user:{1000}`仅哈希`1000`）分片流程示例：集群有3个主节点，槽分配为：节点A：0-5460
  • 深入浅出地讲解数据仓库建设中的业务建模方法论，包括实体联系视图模式、维度建模、星型模型、雪花模型、主题建模等 AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介数据分析师经历了从小处收集数据到中大型互联网公司的数据，面对海量数据和种类繁多的数据源头，如何快速准确地进行分析、建模、报表，成为众多数据分析师的共同心愿。而数据建模则是数据分析师的基础功课之一。数据建模作为数据分析师的一项关键技能和素质要求，其目标是将分析获得的数据转化成有意义的信息，并最终呈现给用户，能够帮助企业实现科学管理、优化决策、提升效益和服务能力。随
  • java中agent的作用
    一java中agent1.1agent-javaagent是Java虚拟机(JVM)提供的一个启动参数，用于在Java程序main方法执行之前，加载一个特殊的Java代理程序（JavaAgent）。它的核心作用是对运行中的Java程序进行字节码层面的动态修改、监控和增强。如安全审计/漏洞检测。-javaagent:/bankapp/deploy/raspant/raspant.jar
  • [ 渗透测试面试篇 ] 渗透测试面试题大集合(详解)（4-2）XSS注入相关面试题 寒蝉听雨[原ID_PowerShell] 面试总结渗透测试自学篇渗透测试面试分享渗透测试升职加薪网络安全XSS注入面试题网络安全面试题1024程序员节
    博主介绍‍博主介绍：大家好，我是_PowerShell，很高兴认识大家~✨主攻领域：【渗透领域】【数据通信】【通讯安全】【web安全】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步文末有彩蛋作者水平有限，欢迎各位大佬指点，相互学习进步！渗透方向的岗位，涉及到的知识点是很广泛的。这里我总结了整个一系列的面试题，可能没有覆盖到全部的知识面，但是应该是比较全面的
  • py每日spider案例之某website之古籍搜索 我不是程序员~~~~ 爬虫项目实战py
    importrequestsheaders={"accept":"application/json,text/plain,*/*","accept-language":"zh-CN,zh;q=0.9","cache-control":"no-cache","cont
  • Mac电脑 触摸板增强工具 BetterTouchTool
    BetterTouchToolmac版，是一款触摸板增强工具，允许用户使用各种手势来控制其计算机。Bettertouchtoolmac是一个小而高效的macOS应用程序，旨在帮助您为手势定义快捷方式。此外，Bettertouchtool可用于使用常规鼠标和键盘快捷键，并提供伴侣iOS应用程序：您可以使用移动设备来控制计算机。原文地址：BetterTouchTool触摸板增强工具
  • Effective Go 编程技巧总结 强哥之神 golang人工智能GPU调度linux语言模型云计算
    Go是一种新兴的编程语言。尽管它借鉴了其他语言的许多特性，但也具备一些独特的属性，使得用Go编写的高效程序在风格上与其他语言编写的程序有所不同。直接将C++或Java程序翻译成Go代码，通常无法取得令人满意的结果——Java程序的编写方式是Java风格，而非Go风格。另一方面，如果从Go的语言特性出发去思考问题，可能会编写出风格截然不同但更为成功的程序。换句话说，要编写出优秀的Go代码，理解Go语
  • 用Ruby脚本抓取百度MP3新歌Top 100发布到闲聊 iteye_8302 Ruby百度脚本RubyPHPrubygems
    昨天和ouspec闲聊谈到可以用[url=http://www.iteye.com/wiki/JavaEye/1499-javaeye-api-help]JavaEye的闲聊api[/url]做些什么：[url]http://quake.iteye.com/blog/chat/1766[/url][quote]用JavaEye的闲聊API可以做什么？举例子：你可以注册一个账号，写个小程序从某个"专
  • Linux编程——Makefile 使用
    在先前的文章中，我们已经学习了gcc和gdb的使用。本节，我们将介绍Makefile的使用。Makefile带来的好处就是——“自动化编译”，一但写好，只需要一个make命令，整个工程便可以完全编译，极大的提高了软件的开发效率（特别是对于那些项目较大、文件较多的工程）。make是一个命令工具，最主要也是最基本的功能就是根据makefile文件中描述的源程序至今的相互关系来完成自动编译、维护多个源文
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他