- 【笔记-软考】大数据架构-Lambda与Kappa架构对比
我叫白小猿
软考软考架构大数据KappaLambda
Author:赵志乾Date:2024-07-28Declaration:AllRightReserved!!!1.简介大数据系统架构的设计思想很大程度受技术条件和思维模式的限制;Lambda架构在提出初期面向小范围业务,直接将成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合,用View模型将二者处理后得到的输出结果结合起来,在服务层进行统一后,再开放给上层服务,是相当可行且高效
- HDFS(Hadoop分布式文件系统)总结
Cachel wood
大数据开发hadoophdfs大数据散列表算法哈希算法spark
文章目录一、HDFS概述1.定义与定位2.核心特点二、HDFS架构核心组件1.NameNode(名称节点)2.DataNode(数据节点)3.Client(客户端)4.SecondaryNameNode(辅助名称节点)三、数据存储机制1.数据块(Block)设计2.复制策略(默认复制因子=3)3.数据完整性校验四、文件读写流程1.写入流程2.读取流程五、高可用性(HA)机制1.单点故障解决方案2.
- Spark教程1:Spark基础介绍
Cachel wood
大数据开发spark大数据分布式计算机网络数据库数据仓库
文章目录一、Spark是什么?二、Spark的核心优势三、Spark的核心概念四、Spark的主要组件五、Spark的部署模式六、Spark与Hadoop的关系七、Spark应用开发流程八、Spark的应用场景九、Spark版本更新与社区一、Spark是什么?ApacheSpark是一个开源的分布式大数据处理引擎,最初由加州大学伯克利分校AMPLab开发,2013年捐赠给Apache软件基金会,如
- Hadoop的部分用法
覃炳文20230322027
hadoophive大数据分布式
前言Hadoop是一个由Apache基金会开发的开源框架,它允许跨多个机器使用分布式处理大数据集。Hadoop的核心是HDFS(HadoopDistributedFileSystem)和MapReduce编程模型。1.Hadoop环境搭建在开始使用Hadoop之前,你需要搭建Hadoop环境。这通常包括安装Java、配置Hadoop环境变量、配置Hadoop的配置文件等步骤。1.1环境准备在开始安
- Netty4.1 - TCP粘包拆包解决方案及案例代码
wwyh520
IO编程netty
Netty是目前业界最流行的NIO框架之一,它的健壮性、高性能、可定制和可扩展性在同类框架中都是首屈一指。它已经得到了成百上千的商业项目的验证,例如Hadoop的RPC框架Avro就使用了Netty作为底层通信框架,其他的业界主流RPC框架,例如:Dubbo、Google开源的gRPC、新浪微博开源的Motan、Twitter开源的finagle也使用Netty来构建高性能的异步通信能力。另外,阿
- Storm核心概念与实战详解
AI天才研究院
Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
作者:禅与计算机程序设计艺术1.简介2010年Hadoop项目开源后,Storm项目也随之走向人气爆棚。在如此火热的当下,给我们带来的好处不仅仅是增强对Hadoop平台的掌控能力,更重要的是让我们感受到了快速发展、海量数据处理能力、低延迟的优势。在这一系列文章中,我将深入浅出地介绍Storm项目,并从实际案例出发,带领大家全面理解Storm中的关键概念及其运作方式,让您轻松掌握Storm的高效率、
- 基于Hadoop大数据分析应用场景与实战
跨过山河大海
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom:Hadoop当前大数据管理标准之一,运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发,允许将数据载入内存作反复
- Hadoop 发展过程是怎样的?
AI天才研究院
Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
作者:禅与计算机程序设计艺术1.简介2003年,美国加州大学洛杉矶分校教授李彦宏博士发明了一种分布式文件系统——GFS(GoogleFileSystem)。由于该文件系统设计得足够简单,可以适应大规模数据集存储需求,在此基础上演化出多种应用,包括MapReduce、BigTable、PageRank等,并成为当时互联网公司的标配技术之一。2004年,Google发布了第一版Hadoop项目,定位是
- 通过CDH安装Spark的详细指南
暴躁哥
大数据技术spark大数据分布式
通过CDH安装Spark的详细指南简介ClouderaDistributionofHadoop(CDH)是一个企业级的大数据平台,它集成了多个开源组件,包括Hadoop、Spark、Hive等。本文将详细介绍如何通过CDH安装和配置Spark。前提条件在开始安装之前,请确保满足以下条件:已安装CDH集群具有管理员权限所有节点之间网络互通系统时间同步足够的磁盘空间(建议至少预留20GB)安装步骤1.
- Hadoop 版本进化论:从 1.0 到 2.0,架构革命全解析
拾光师
大数据后端
Hadoop版本hadoop1.x版本由三部分组成Common(辅助工具)HDFS(数据存储)MapReduce(计算和资源调度)存在的问题JobTracker同时具备了资源管理和作业控制两个功能,成为了系统的最大瓶颈采用了master/slave结构,master存在单点问题,一旦master出现故障,会导致整个集群不可用采用了基于槽位的资源分配模型,将槽位分为了Mapslot和Reducesl
- Hadoop RPC 分层设计的哲学:高内聚、低耦合的最佳实践
拾光师
大数据后端
HadoopRPCHadoopRPC主要分为四个部分,分别是序列化层、函数调用层、网络传输层和服务器端处理框架,实现机制为:序列化层:主要作用是将结构化对象转为字节流以便于通过网络进行传输或写入持久存储。函数调用层:主要作用是定位要调用的函数并执行该参数,采用了java反射机制和动态代理实现了函数调用网络传输层:描述了client和server之间消息传输的方式,基于TCP/IP的socket机制
- 基于pyspark的北京历史天气数据分析及可视化_离线
大数据CLUB
spark数据分析可视化数据分析数据挖掘hadoop大数据spark
基于pyspark的北京历史天气数据分析及可视化项目概况[]点这里,查看所有项目[]数据类型北京历史天气数据开发环境centos7软件版本python3.8.18、hadoop3.2.0、spark3.1.2、mysql5.7.38、scala2.12.18、jdk8开发语言python开发流程数据上传(hdfs)->数据分析(spark)->数据存储(mysql)->后端(flask)->前端(
- Hadoop RPC 分层设计的哲学:高内聚、低耦合的最佳实践
后端
HadoopRPCHadoopRPC主要分为四个部分,分别是序列化层、函数调用层、网络传输层和服务器端处理框架,实现机制为:序列化层:主要作用是将结构化对象转为字节流以便于通过网络进行传输或写入持久存储。函数调用层:主要作用是定位要调用的函数并执行该参数,采用了java反射机制和动态代理实现了函数调用网络传输层:描述了client和server之间消息传输的方式,基于TCP/IP的socket机制
- 基于pyspark的北京历史天气数据分析及可视化_实时
大数据CLUB
spark数据分析可视化数据分析数据挖掘sparkhadoop大数据
基于pyspark的北京历史天气数据分析及可视化项目概况[]点这里,查看所有项目[]数据类型北京历史天气数据开发环境centos7软件版本python3.8.18、hadoop3.2.0、spark3.1.2、mysql5.7.38、scala2.12.18、jdk8、kafka2.8.2开发语言python开发流程数据上传(hdfs)->数据分析(spark)->数据写kafka(python)
- 《从零开始:Hadoop 3.3.0 全分布式环境搭建与运行详解(含自动化配置)》
李哈哈敲代码
学习经验分布式hadoop自动化大数据linux
Hadoop3.3.0全分布并环境搭建与运行部署详解一、准备工作1.1环境要求三台Linux主机,如node1、node2、node3配置推荐:内存大于4GB,CPU大于2核,磁盘空间大于40GB1.2软件列表JDK1.8(!!需要提前上传到software目录下,解压到server目录下)Hadoop3.3.01.3目录规划(注意在根目录下创建export)/export/server#安装目录
- Hadoop等大数据处理框架的Java API
扬子鳄008
Javahadoopjava大数据
Hadoop是一个非常流行的大数据处理框架,主要用于存储和处理大规模数据集。Hadoop主要有两个核心组件:HDFS(HadoopDistributedFileSystem)和MapReduce。此外,还有许多其他组件,如YARN(YetAnotherResourceNegotiator)、HBase、Hive等。下面详细介绍Hadoop及其相关组件的JavaAPI及其使用方法。HadoopHad
- python--将mysql建表语句转换成hive建表语句
呆呆不呆~
sparkpythonmysqlhivespark
1.代码importjsonimportsysimportpymysqldefqueryDataBase(tablename):#连接数据库并查询列信息conn=pymysql.connect(user='root',password='123456',host='hadoop11')cursor=conn.cursor()cursor.execute("SELECTcolumn_name,dat
- 手把手教你玩转 Sqoop:从数据库到大数据的「数据搬运工」
AAA建材批发王师傅
数据库sqoop大数据hivehdfs
一、Sqoop是什么?——数据界的「超级搬运工」兄弟们,今天咱们聊个大数据圈的「搬运小能手」——Sqoop!可能有人会问:这玩意儿跟Flume啥区别?简单来说:Flume是专门搬日志数据的「快递员」而Sqoop是搬数据库数据的「搬家公司」它的名字咋来的?SQL+Hadoop,直接告诉你核心技能:在关系型数据库(比如MySQL)和Hadoop家族(HDFS、Hive、HBase)之间疯狂倒腾数据!核
- Python 工程师迈向大数据时代: Hadoop 与 Spark 框架深度解析与实战指南
清水白石008
pythonPython题库大数据pythonhadoop
Python工程师迈向大数据时代:Hadoop与Spark框架深度解析与实战指南引言亲爱的Python工程师们,欢迎来到大数据时代!在这个数据驱动的时代,海量数据如同奔腾不息的河流,蕴藏着前所未有的价值。然而,传统的数据处理工具在面对TB甚至PB级别的数据时,往往显得力不从心。如何高效地处理、分析和挖掘这些海量数据,成为了现代软件工程师,特别是Python工程师们必须掌握的关键技能。幸运的是,大数
- 从 0 到 Offer!大数据核心面试题全解析,答案精准拿捏面试官(hadoop篇)
浅谈星痕
大数据
1.什么是Hadoop?Hadoop是一个开源的分布式系统基础架构,用于存储和处理大规模数据集。它主要包含HDFS(HadoopDistributedFileSystem)分布式文件系统、MapReduce分布式计算框架以及YARN(YetAnotherResourceNegotiator)资源管理器。HDFS负责数据的分布式存储,将大文件分割成多个数据块存储在不同节点上;MapReduce用于分
- [5-03-01].第14节:集群搭建 - 在Linux系统中搭建
1.01^1000
#企业级框架springcloud
SpringCloud学习大纲三、集群环境搭建:3.1.集群规划1.nacos规划:hadoop103hadoop104hadoop105192.168.148.3192.168.148.4192.168.148.5nacosnacosnacos2.MYSQL规划:192.168.148.333065.7.27
- 大数据学习(141)-分布式数据库
viperrrrrrr
大数据学习分布式clickhousehdfshbase
在分布式数据库中主要有hdfs、hbase、clickhouse三种。HDFS(HadoopDistributedFileSystem)、HBase和ClickHouse都是处理大数据的分布式系统,但它们的设计目标、架构和适用场景有所不同。一、HDFS(HadoopDistributedFileSystem)HDFS是Hadoop生态系统的一部分,是一个高度容错的系统,适合存储大量数据。它被设计为
- HDFS Federation(联邦) 架构YARN的Capacity Scheduler调度策略 ResourceManager的共享存储具体实现方式
2401_8554978
hdfs架构java
HDFSFederation(联邦)架构什么是HDFSFederation?随着数据量的增长,单一的NameNode成为了HDFS的瓶颈,因为它需要管理整个文件系统的命名空间和所有文件块的位置信息。为了克服这个限制,Hadoop引入了Federation机制,允许一个集群中有多个NameNode/NameSpace,每个NameNode管理一部分文件系统,从而分散负载。优点:提高扩展性:通过增加N
- scp与rsync
JeremyHeria
#hadoophadoop大数据
编写集群分发脚本xsyncscp(securecopy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(fromserver1toserver2)(2)基本语法scp-rpdir/pdir/pdir/fnameuser@hadoopuser@hadoopuser@
- 复习打卡大数据篇——Hadoop HDFS 03
筒栗子
大数据hadoophdfs
目录1.HDFS元数据存储2.HDFSHA高可用1.HDFS元数据存储HDFS中的元数据按类型可以分为:文件系统的元数据:包括文件名、目录名、修改信息、block的信息、副本信息等。datanodes的状态信息:比如节点状态、使用率等。HDFS中的元数据按存储位置可以分为内存中元数据和磁盘上的元数据磁盘上的元件数据包括fsimage镜像文件和editslog编辑日志,因为在磁盘上可以保证持久化存储
- TiDB 替换 HBase 全场景实践指南 ——从架构革新到业务赋能
TiDB 社区干货传送门
tidbhbase架构数据库大数据
作者:数据源的TiDB学习之路原文来源:https://tidb.net/blog/c687d474第一章:HBase的历史使命与技术瓶颈1.1HBase的核心价值与经典场景作为Hadoop生态的核心组件,HBase凭借LSM-Tree存储引擎和Region分片机制,在2010年代成为海量数据存储的标杆。其典型场景包括:日志流处理:支持Kafka每日TB级数据持久化,写入吞吐达百万级QPS(如某头
- 什么是MapReduce
ThisIsClark
大数据mapreduce大数据
MapReduce:大数据处理的经典范式什么是MapReduce?MapReduce是一种编程模型和软件框架,用于大规模数据集(通常大于1TB)的并行处理。它由Google在2004年提出,后来成为ApacheHadoop项目的核心计算引擎。MapReduce通过将计算任务分解为两个主要阶段——Map(映射)和Reduce(归约)——来实现分布式计算。核心思想MapReduce的核心设计原则可以概
- Hive的优化
小王同学mf
hivehadoop数据仓库
一、开启本地模式大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过,有时Hive的输入数据量是非常小的。在这种情况下,为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况,Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间可以明显被缩短。用户可以通过设置hive.exec.mode.local.auto的值
- 数据库选型之路YMatrix与Clickhouse对比
星*语
数据库数据仓库时序数据库
背锅我们是被迫的数据库问题‘触发’越来越频繁了,开发、业务人员也一直抱怨数据库不行,作为运维人员,天天各种处理问题,还被其他部门喷,有问题矛头全部指向数据库。刚上任的部门领导整天也是压力山大,内部会议分析了当前的情况,最终解决方案是架构变更。当前的生产系统运行在Mysql上,从开始的保留半年的数据,到现在缩减到保留不足三个月的数据,全量数据实时同步到Hadoop,随着业务的发展,Mysql和Had
- 【Ambari3.0.0 部署】Step3—安装JDK17与JDK1.8-适用于el8
TTBIGDATA
ambaribigtophdphidataplusedp大数据el8
如果有其他系统部署需求可以参考原文https://doc.janettr.com/install/manual/Step3—安装JDK17与JDK1.8Ambari3.0及部分Bigtop/Hadoop新组件强制要求JDK17,而HBase/Hive/Spark生态仍有组件长期依赖JDK1.8。因此推荐双版本共存方案,让集群灵活兼容各种大数据组件,满足未来升级和遗留需求。JDK17与JDK1.8可
- mongodb3.03开启认证
21jhf
mongodb
下载了最新mongodb3.03版本,当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题,现总结如下:
(百度上搜到的基本都是老版本的,看到db.addUser的就是,请忽略)
Windows下我做了一个bat文件,用来启动mongodb,命令行如下:
mongod --dbpath db\data --port 27017 --directoryperdb --logp
- 【Spark103】Task not serializable
bit1129
Serializable
Task not serializable是Spark开发过程最令人头疼的问题之一,这里记录下出现这个问题的两个实例,一个是自己遇到的,另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在,至少目前阶段碰到此类问题,没有什么章法
1.
package spark.exampl
- 你所熟知的 LRU(最近最少使用)
dalan_123
java
关于LRU这个名词在很多地方或听说,或使用,接下来看下lru缓存回收的实现
1、大体的想法
a、查询出最近最晚使用的项
b、给最近的使用的项做标记
通过使用链表就可以完成这两个操作,关于最近最少使用的项只需要返回链表的尾部;标记最近使用的项,只需要将该项移除并放置到头部,那么难点就出现 你如何能够快速在链表定位对应的该项?
这时候多
- Javascript 跨域
周凡杨
JavaScriptjsonp跨域cross-domain
 
- linux下安装apache服务器
g21121
apache
安装apache
下载windows版本apache,下载地址:http://httpd.apache.org/download.cgi
1.windows下安装apache
Windows下安装apache比较简单,注意选择路径和端口即可,这里就不再赘述了。 2.linux下安装apache:
下载之后上传到linux的相关目录,这里指定为/home/apach
- FineReport的JS编辑框和URL地址栏语法简介
老A不折腾
finereportweb报表报表软件语法总结
JS编辑框:
1.FineReport的js。
作为一款BS产品,browser端的JavaScript是必不可少的。
FineReport中的js是已经调用了finereport.js的。
大家知道,预览报表时,报表servlet会将cpt模板转为html,在这个html的head头部中会引入FineReport的js,这个finereport.js中包含了许多内置的fun
- 根据STATUS信息对MySQL进行优化
墙头上一根草
status
mysql 查看当前正在执行的操作,即正在执行的sql语句的方法为:
show processlist 命令
mysql> show global status;可以列出MySQL服务器运行各种状态值,我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
- 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名
aijuans
Spring 3
本文介绍如何给Spring的Bean配置文件的Bean定义别名?
原始的
<bean id="business" class="onlyfun.caterpillar.device.Business">
<property name="writer">
<ref b
- 高性能mysql 之 性能剖析
annan211
性能mysqlmysql 性能剖析剖析
1 定义性能优化
mysql服务器性能,此处定义为 响应时间。
在解释性能优化之前,先来消除一个误解,很多人认为,性能优化就是降低cpu的利用率或者减少对资源的使用。
这是一个陷阱。
资源时用来消耗并用来工作的,所以有时候消耗更多的资源能够加快查询速度,保持cpu忙绿,这是必要的。很多时候发现
编译进了新版本的InnoDB之后,cpu利用率上升的很厉害,这并不
- 主外键和索引唯一性约束
百合不是茶
索引唯一性约束主外键约束联机删除
目标;第一步;创建两张表 用户表和文章表
第二步;发表文章
1,建表;
---用户表 BlogUsers
--userID唯一的
--userName
--pwd
--sex
create
- 线程的调度
bijian1013
java多线程thread线程的调度java多线程
1. Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。
2. 多数线程的调度是抢占式的(即我想中断程序运行就中断,不需要和将被中断的程序协商)
a) 
- 查看日志常用命令
bijian1013
linux命令unix
一.日志查找方法,可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log
二.查看日志常用命令1.grep '关键字' error.log:在error.log中搜索'关键字'2.grep -C10 '关键字' error.log:显示关键字前后10行记录3.grep '关键字' error.l
- 【持久化框架MyBatis3一】MyBatis版HelloWorld
bit1129
helloworld
MyBatis这个系列的文章,主要参考《Java Persistence with MyBatis 3》。
样例数据
本文以MySQL数据库为例,建立一个STUDENTS表,插入两条数据,然后进行单表的增删改查
CREATE TABLE STUDENTS
(
stud_id int(11) NOT NULL AUTO_INCREMENT,
- 【Hadoop十五】Hadoop Counter
bit1129
hadoop
1. 只有Map任务的Map Reduce Job
File System Counters
FILE: Number of bytes read=3629530
FILE: Number of bytes written=98312
FILE: Number of read operations=0
FILE: Number of lar
- 解决Tomcat数据连接池无法释放
ronin47
tomcat 连接池 优化
近段时间,公司的检测中心报表系统(SMC)的开发人员时不时找到我,说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作,发现用户不能登录时,都是在Tomcat中将这个项目Reload一下就好了,不过只是治标而已,因为大概几个小时之后又会 再次出现无法登录的情况。
今天上午,开发人员小毛又找到我,要我协助将这个问题根治一下,拖太久用户难保不投诉。
简单分析了一
- java-75-二叉树两结点的最低共同父结点
bylijinnan
java
import java.util.LinkedList;
import java.util.List;
import ljn.help.*;
public class BTreeLowestParentOfTwoNodes {
public static void main(String[] args) {
/*
* node data is stored in
- 行业垂直搜索引擎网页抓取项目
carlwu
LuceneNutchHeritrixSolr
公司有一个搜索引擎项目,希望各路高人有空来帮忙指导,谢谢!
这是详细需求:
(1) 通过提供的网站地址(大概100-200个网站),网页抓取程序能不断抓取网页和其它类型的文件(如Excel、PDF、Word、ppt及zip类型),并且程序能够根据事先提供的规则,过滤掉不相干的下载内容。
(2) 程序能够搜索这些抓取的内容,并能对这些抓取文件按照油田名进行分类,然后放到服务器不同的目录中。
- [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费
comsci
资源
降低通讯服务资费,就意味着有更多的用户进入,就意味着通讯服务提供商要接待和服务更多的用户,在总体运维成本没有由于技术升级而大幅下降的情况下,这种降低资费的行为将导致每个用户的平均带宽不断下降,而享受到的服务质量也在下降,这对用户和服务商都是不利的。。。。。。。。
&nbs
- Java时区转换及时间格式
Cwind
java
本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用,以及不同时区时间相互转化的方法和原理。
问题描述:
向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如,服务器位于东八区(北京时间,GMT+8:00),而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
- readonly,只读,不可用
dashuaifu
jsjspdisablereadOnlyreadOnly
readOnly 和 readonly 不同,在做js开发时一定要注意函数大小写和jsp黄线的警告!!!我就经历过这么一件事:
使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能,有的就不行,而且函数readOnly有黄线警告!!!就这样被折磨了不短时间!!!(期间使用过disable函数,但是发现disable函数之后后台接收不到前台的的数据!!!)
- LABjs、RequireJS、SeaJS 介绍
dcj3sjt126com
jsWeb
LABjs 的核心是 LAB(Loading and Blocking):Loading 指异步并行加载,Blocking 是指同步等待执行。LABjs 通过优雅的语法(script 和 wait)实现了这两大特性,核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器,倡导的是一种模块化开发理念,核心价值是让 JavaScript 的模块化开发变得更
- [应用结构]入口脚本
dcj3sjt126com
PHPyii2
入口脚本
入口脚本是应用启动流程中的第一环,一个应用(不管是网页应用还是控制台应用)只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。
Web 应用的入口脚本必须放在终端用户能够访问的目录下,通常命名为 index.php,也可以使用 Web 服务器能定位到的其他名称。
控制台应用的入口脚本一般在应用根目录下命名为 yii(后缀为.php),该文
- haoop shell命令
eksliang
hadoophadoop shell
cat
chgrp
chmod
chown
copyFromLocal
copyToLocal
cp
du
dus
expunge
get
getmerge
ls
lsr
mkdir
movefromLocal
mv
put
rm
rmr
setrep
stat
tail
test
text
- MultiStateView不同的状态下显示不同的界面
gundumw100
android
只要将指定的view放在该控件里面,可以该view在不同的状态下显示不同的界面,这对ListView很有用,比如加载界面,空白界面,错误界面。而且这些见面由你指定布局,非常灵活。
PS:ListView虽然可以设置一个EmptyView,但使用起来不方便,不灵活,有点累赘。
<com.kennyc.view.MultiStateView xmlns:android=&qu
- jQuery实现页面内锚点平滑跳转
ini
JavaScripthtmljqueryhtml5css
平时我们做导航滚动到内容都是通过锚点来做,刷的一下就直接跳到内容了,没有一丝的滚动效果,而且 url 链接最后会有“小尾巴”,就像#keleyi,今天我就介绍一款 jquery 做的滚动的特效,既可以设置滚动速度,又可以在 url 链接上没有“小尾巴”。
效果体验:http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码:
&
- kafka offset迁移
kane_xie
kafka
在早前的kafka版本中(0.8.0),offset是被存储在zookeeper中的。
到当前版本(0.8.2)为止,kafka同时支持offset存储在zookeeper和offset manager(broker)中。
从官方的说明来看,未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话,可以考虑在合适
- android > 搭建 cordova 环境
mft8899
android
1 , 安装 node.js
http://nodejs.org
node -v 查看版本
2, 安装 npm
可以先从 https://github.com/isaacs/npm/tags 下载 源码 解压到
- java封装的比较器,比较是否全相同,获取不同字段名字
qifeifei
非常实用的java比较器,贴上代码:
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import net.sf.json.JsonConfig;
i
- 记录一些函数用法
.Aky.
位运算PHP数据库函数IP
高手们照旧忽略。
想弄个全天朝IP段数据库,找了个今天最新更新的国内所有运营商IP段,copy到文件,用文件函数,字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件,直接用phpmyadmin导入.csv文件的形式导入。(生命在于折腾,也许你们觉得我傻X,直接下载人家弄好的导入不就可以,做自己的菜鸟,让别人去说吧)
当然用到了ip2long()函数把字符串转为整型数
- sublime text 3 rust
wudixiaotie
Sublime Text
1.sublime text 3 => install package => Rust
2.cd ~/.config/sublime-text-3/Packages
3.mkdir rust
4.git clone https://github.com/sp0/rust-style
5.cd rust-style
6.cargo build --release
7.ctrl