_秋鸿
_秋鸿

Win7下Spark环境搭建


1.spark下载

网站：http://spark.apache.org/downloads.html
我下载的版本是 spark-2.2.0-bin-hadoop2.7.tgz，表明下载的hadoop需要时2.7.x版本的

2.scala下载

3.hadoop下载

网站：http://www.apache.org/dyn/closer.cgi/hadoop/core/，选择与spark一致的版本

4.winutils.exe下载

网站：https://github.com/steveloughran/winutils选择与hadoop一致的版本，然后将bin下的文件覆盖已安装的hadoop目录下的bin

5.环境变量

 
   
SCALA_HOME  : C:\Program Files (x86)\scala2.11.7;
JAVA_HOME   : C:\Program Files\Java\jdk1.8.0_51
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1
SPARK_HOME  : C:\Hadoop\spark-2.2.0-bin-hadoop2.7
PATH    : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin
 
  
 
  
 
   参考网站： https://stackoverflow.com/questions/44386153/why-does-spark-shell-fail-with-error-not-found-value-spark 
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(JAVA)

        

            

                
    
                    
  • 2024最新「阿里」Java高级工程师面试高频题：JVM+Redis+并发+算法+框架
                        2401_89285777
java面试jvm
                        
    Java集合22题ArrayList和Vector的区别。说说ArrayList,Vector,LinkedList的存储性能和特性。快速失败(fail-fast)和安全失败(fail-safe)的区别是什么？hashmap的数据结构。HashMap的工作原理是什么?Hashmap什么时候进行扩容呢？List、Map、Set三个接口，存取元素时，各有什么特点？Set里的元素是不能重复的，那么用什么
    
                    
    • 
                    
  • Java 练习
                        5xidixi
java算法
                        
    和为k的子数组给你一个整数数组nums和一个整数k，请你统计并返回该数组中和为k的子数组的个数。子数组是数组中元素的连续非空序列。方法一枚举我们可以枚举[0…i]里的所有的下标j来判断其中符合条件的数字。所以，使用一个外层循环for(inti=0;i=0;--j)来遍历从i到数组起始位置（包括）的所有元素，计算这些元素组成的子数组的和sum。在内层循环中，每次将当前元素nums[j]加到sum上，
    
                    
    • 
                    
  • Java练习
                        5xidixi
java算法开发语言
                        
    1.给定两个整数数组nums1,nums2,找到它们的公共元素并返回。将其中一个数组放入哈希表中，再遍历另一个数组进行判断即可。可以通过布尔数组来实现一个哈希集合，在遍历nums1时，对于每个x，将hash[x]设为true。之后再对nums2进行遍历，对于nums2中的x，在hash[x]中进行对比，如果为真，将x存入结果中。publicclassSolution{publicArrayList
    
                    
    • 
                    
  • LeetCode热题100（滑动窗口篇）
                        Yui_
刷题日志leetcode算法职场和发展C++javapython
                        
    题目出自Leetcode热题100：Leetcode热题100文章目录3.无重复字符的最长子串思路代码C++JavaPython438.找到字符串中所有字母异位词思路代码C++JavaPython总结3.无重复字符的最长子串给定一个字符串s，请你找出其中不含有重复字符的最长子串的长度。思路这种子串子数组问题，而且还满足窗口的右边界右移动就是加，左边界右移就是减的问题大概率就是滑动窗口。[]即为窗
    
                    
    • 
                    
  • JavaEE之常见的锁策略
                        所待.383
JavaEEjava-eejavaandroid
                        
    前面我们学习过线程不安全问题，我们通过给代码加锁来解决线程不安全问题，在生活中我们也知道有很多种类型的锁，同时在代码的世界当中，也对应着很多类型的锁，今天我们对锁一探究竟！1.常见的锁策略注意:接下来介绍的锁策略不仅仅是局限于Java.任何和"锁"相关的话题,都可能会涉及到以下内容.这些特性主要是给锁的实现者来参考的.我们普通的程序猿也需要了解⼀些,对于合理的使用锁也是有很大帮助的.1.1乐观锁v
    
                    
    • 
                    
  • 初始JavaEE篇 —— 文件操作与IO
                        我要学编程(ಥ_ಥ)
JavaEEjava-eejava开发语言文件操作IO
                        
    找往期文章包括但不限于本期文章中不懂的知识点：个人主页：我要学编程程(ಥ_ಥ)-CSDN博客所属专栏：JavaEE目录文件介绍Java标准库中提供操作文件的类文件系统操作File类的介绍File类的使用文件内容操作二进制文件的读写操作文本文件的读写操作文件介绍文件分为两种：一种是狭义上的文件；另一种是广义上的文件。狭义的文件就是指机器上存储数据的地方，在电脑上面，C盘、D盘这些就可以称为文件；而广
    
                    
    • 
                    
  • Java 如何只测试某个类或方法：Maven与IntelliJ IDEA的不同方法及注意事项
                        2301_79306982
javaintellij-idea
                        
    1.使用Maven只测试某一个类或方法(1)测试一个类Maven提供了通过命令行运行特定测试类的能力：mvn-Dtest=ClassNametest示例：mvn-Dtest=fileIOTesttest这将只运行fileIOTest类的所有测试方法。(2)测试一个具体方法如果只想运行某一个类中的特定测试方法，可以指定类名和方法名：mvn-Dtest=ClassName#methodNametest
    
                    
    • 
                    
  • 第一章 反射(2023版本IDEA)
                        上官花雨
Java开发之框架基础技术intellij-ideapythonjava
                        
    学习目标1.1Java反向概述1.1.1什么是反射1.1.2Java反射常用的API1.2反射的应用1.2.1获取类的信息1.获取Class实例2.从Class实例获取信息1.2.2通过反射来创建Java类型的实例有如下两种方式。1.2.3访问类的属性  在本章中，将学习Java中反射的用法，如通过反射查看类的信息，创建实例、调用方法等。通过本章学习，我们能够了解反射的概念和作用，能够在开发中简单
    
                    
    • 
                    
  • Redis 中 TTL 的基本知识与禁用缓存键的实现策略（Java）
                        码农研究僧
Java缓存redisjava缓存策略
                        
    目录前言1.基本知识2.Java代码前言找工作，来万码优才：#小程序://万码优才/r6rqmzDaXpYkJZF单纯学习Redis可以看我前言的Java基本知识路线！！对于Java的基本知识推荐阅读：java框架零基础从入门到精通的学习路线附开源项目面经等（超全）【Java项目】实战CRUD的功能整理（持续更新）在Java项目中，Redis配置了全局的TTL时间，后续想到可以通过设定单个key的
    
                    
    • 
                    
  • Java ee 文件操作和IO
                        5xidixi
java-eejava
                        
    字节输入流字节输入流通过FileInputStream实现对文件的读取操作。通过文件路径来创建一个输出流，通过一个byte数组来接受读取到的文件内容，用read方法进行循环读取。当返回-1时则表示读取完成。关闭输入流。importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.IOException
    
                    
    • 
                    
  • 2025备战金三银四 Java 大厂面试题
                        
java面试
                        
    以下是一些2025年备战Java大厂面试可能会涉及的常见面试题：一、基础部分1.Java基本数据类型（1）解释自动装箱和自动拆箱的概念，并举例说明。一、自动装箱和自动拆箱的概念自动装箱（Autoboxing）：自动装箱是Java编译器在基本数据类型和对应的包装类之间自动进行的转换，它将基本数据类型自动转换为对应的包装类对象。这是Java5引入的一个特性，旨在使代码更简洁，避免了显式调用包装类的构造
    
                    
    • 
                    
  • [20250116]-前端面试题——Vue篇
                        
后端
                        
    面试问题记录问题1请简单介绍一下你对Vue的理解，包括它的特点和优势。回答：Vue是一款渐进式JavaScript框架，主要用于构建用户界面。它的核心库专注于视图层，并且易于与其他库或现有项目集成。Vue的特点：渐进式框架：可以从简单的项目逐步扩展为复杂的单页应用（SPA）。双向数据绑定：通过v-model实现数据和视图的实时同步。组件化开发：将页面分解成可复用的组件，提高开发效率和可维护性。虚拟
    
                    
    • 
                    
  • 华为OD上机考试真题（Java）——字符串分割
                        程序员buddha2080
华为OD机考java华为od开发语言
                        
    题目：给定一个字符串，只包含小写字母，字符串长度是5-30。求：是否存在两个节点，使得字符串被这两个节点分成三个部分，每个部分的ASCII码的值之和都相等。如果存在输出两个节点下标，以逗号隔开。下标从0开始，如果不存在，则输出0,0。如果存在答案，则是唯一解。示例一：输入abcbbbcab输出2,5说明：以位置2和5作为分割点，将字符串分割为ac,bb,ca三个子串，每一个的子串权重都为196，输
    
                    
    • 
                    
  • 《计算机组成及汇编语言原理》读后感
                        
java
                        
    一、为什么选择这本书？这本书来自于：https://github.com/codefollower/My-Blog/issues/1。工作之后，个人一直追求的一个方面就是“系统化”，笼统的来说就是从以下两方面进行系统化：“基础”+“专业”。这本书属于基础方面的深化，通过Java虚拟机来讲计算机组成。二、这本书写了什么？这本书的书名是《PrincipleofComputerOrganizationa
    
                    
    • 
                    
  • Java开发-深入理解Redis Cluster的工作原理
                        

                        
    RedisCluster深度解析RedisCluster是Redis提供的分布式解决方案，旨在实现高可用性和横向扩展。通过一系列机制，RedisCluster能够有效地管理大规模数据，确保系统的稳定与高效运行。以下将详细介绍RedisCluster的工作原理及其核心组件。核心工作原理1.数据分片RedisCluster将数据分片成多个槽（slot），总共有16384个槽。每个节点负责一部分槽，通过
    
                    
    • 
                    
  • PHP与HTML、CSS、JavaScript、jQuery的关系**
                        生信天地
javascriptphphtml
                        
    在当今数字化的Web开发领域，PHP与HTML、CSS、JavaScript、jQuery各自扮演着重要的角色，并且它们之间存在着紧密而复杂的关系。一、HTML与PHP的关系HTML（超文本标记语言）是构建网页内容结构的基础。它定义了网页中的各种元素，如标题、段落、列表、链接等。PHP（超文本预处理器）则是一种服务器端脚本语言。数据嵌入与动态内容生成PHP可以嵌入到HTML中，在服务器端执行PHP
    
                    
    • 
                    
  • chubby 是什么，和 zookeeper 比你怎么看？思维导图 代码示例（java 架构)
                        用心去追梦
java-zookeeperzookeeperjava
                        
    Chubby简介Chubby是由Google开发并使用的分布式锁服务，它为应用程序提供了简单但可靠的分布式协调机制。Chubby的设计初衷是为了满足Google内部对分布式系统中一致性和高可用性的需求。它不仅用于提供分布式锁，还被用来做命名服务、配置管理、健康检查等。Chubby的特点：分布式锁服务：提供了一种简单的接口来获取和释放锁，确保在分布式环境中只有一个客户端可以访问特定资源。文件系统接口
    
                    
    • 
                    
  • ZAB 和 Paxos 算法的联系与区别？思维导图 代码示例（java 架构)
                        用心去追梦
算法java架构
                        
    ZAB和Paxos算法的联系与区别ZAB(ZooKeeperAtomicBroadcast)和Paxos都是用于分布式系统中达成共识的算法，但它们在设计目标、应用场景以及实现细节上存在显著差异。以下是两者之间的联系和区别的详细分析。联系一致性协议：两者都是为了在分布式环境中提供强一致性保证而设计的一致性协议。解决拜占庭将军问题：尽管Paxos主要针对非拜占庭故障（如网络分区或节点崩溃），但两者都旨
    
                    
    • 
                    
  • Zookeeper 的典型应用场景？思维导图 代码示例（java 架构)
                        用心去追梦
java-zookeeperzookeeperjava
                        
    ZooKeeper的典型应用场景ZooKeeper是一个高效的分布式协调服务，广泛应用于各种需要在分布式环境中保持一致性和同步的应用程序。以下是ZooKeeper的一些典型应用场景：1.配置管理描述：ZooKeeper可以用来集中管理和分发系统配置参数，确保所有节点使用相同的配置。优点：动态更新配置而无需重启服务；实时生效。2.命名服务描述：为分布式系统中的组件提供统一的名称注册和查找机制。优点：
    
                    
    • 
                    
  • Zookeeper 的 java 客户端都有哪些？思维导图 代码示例（java 架构)
                        用心去追梦
java-zookeeperzookeeperjava
                        
    ZooKeeper提供了多种Java客户端库，以满足不同层次的需求和复杂度。以下是几种常见的ZooKeeperJava客户端，以及它们的特点、思维导图结构描述和一个简单的代码示例。常见的ZooKeeperJava客户端官方ZooKeeper客户端：特点：这是最基础的ZooKeeper客户端库，提供了直接操作ZooKeeper的API。适用场景：适用于需要对ZooKeeper进行底层控制的应用程序。
    
                    
    • 
                    
  • TypeScript与JavaScript的区别
                        

                        
    本文我们要聊一聊TypeScript和JavaScript之间的区别。可能我们已经注意到，TypeScript是JavaScript的超集，那么它到底比JavaScript多了些什么？为什么我们要选择TypeScript，而不仅仅是写普通的JavaScript呢？本文我们就一起看看TypeScript和JavaScript的核心差异，让你对它们有个更加清晰的认识。3.1什么是TypeScript与
    
                    
    • 
                    
  • Zookeeper 集群最少要几台机器，集群规则是怎样的？思维导图 代码示例（java 架构)
                        用心去追梦
java-zookeeperzookeeperjava
                        
    在ZooKeeper集群中，为了确保高可用性和容错能力，通常建议最少使用三台机器。这是因为ZooKeeper使用一种称为“Quorum”（法定人数）的机制来达成共识，即超过半数的节点同意某个操作才能认为该操作成功。如果集群中有N个节点，则需要至少(N/2+1)个节点存活并且能够相互通信，才能保证集群正常工作。集群规则奇数节点：推荐使用奇数个节点（如3、5或7），因为这样可以更有效地达成多数派。例如
    
                    
    • 
                    
  • zookeeper 是如何保证事务的顺序一致性的? 思维导图 代码示例（java 架构)
                        用心去追梦
java-zookeeperzookeeperjava
                        
    ZooKeeper通过一种称为ZooKeeperAtomicBroadcast(ZAB)的协议来保证事务的顺序一致性。ZAB协议确保了所有服务器上的更新都按照相同的顺序进行，即使在Leader更换的情况下也能保持一致性。以下是ZAB如何保证事务顺序一致性的机制概述、思维导图结构描述以及Java架构代码示例。ZAB保证事务顺序一致性的机制Leader选举与状态同步：当集群启动或当前Leader失效时
    
                    
    • 
                    
  • 分布式集群中为什么会有 Master？思维导图 代码示例（java 架构)
                        用心去追梦
分布式java架构
                        
    在分布式集群中引入Master（通常也称为Leader或Primary）节点的主要原因是为了解决一致性问题，提供单点决策机制，并简化系统的管理和协调。Master节点负责协调集群中的任务分配、监控集群健康状况、处理故障转移等关键职责。以下是为什么需要Master节点的原因：为什么需要Master节点一致性：在分布式系统中，多个节点可能同时尝试更新相同的数据，这会导致数据不一致。Master节点可以
    
                    
    • 
                    
  • Java基础面试：可变长参数
                        
程序员java面试
                        
    Java中的可变长参数什么是可变参可变参数是在Java5.0中引入的一个特性，是一种语法糖，它允许方法可以接受不定数量的参数，而无需显式地处理数组。在编译时，方法声明中的可变参数会被转换为数组参数，方法调用中的参数会被打包成一个数组。可变参的语法可变参数的语法非常简单，只需要在参数类型后面加上三个点...即可。例如：publicvoidprintNumbers(int...numbers){for
    
                    
    • 
                    
  • 前端开发：Web前端和HTML
                        qincjun
前端html
                        
    一、解释1.Web前端开发？Web前端开发是指创建用户在浏览器中直接交互和体验的部分的过程。‌前端开发主要涉及HTML、CSS和JavaScript这三大核心技术。HTML用于构建网页内容的骨架，CSS用于设置和控制网页的外观和布局，而JavaScript则赋予网页动态交互能力。‌‌Web（全称WorldWideWeb）是一种基于超文本和HTTP协议的全球性的、动态交互的、跨平台的分布式图形信息系
    
                    
    • 
                    
  • 如何只使用 CSS 实现网站的暗黑模式切换
                        

                        
    CSS技巧与案例详解vue2与vue3技巧合集VueUse源码解读想让你的网站从“明亮清新”切换到“暗黑酷炫”，而不依赖任何JavaScript？没问题！仅用CSS就能完成这个任务，根据用户设备的系统设置动态切换主题。本教程将教你如何实现一个可以随系统设置自动切换明暗模式的网站，完全抛弃JavaScript。第一步：基础HTML页面结构首先，我们需要一个简单的HTML页面来进行实践，为后续的样式处
    
                    
    • 
                    
  • 【前端面试系列】JavaScript比较操作符
                        
前端javascript面试
                        
    一、比较操作符概述JavaScript中的比较操作符主要分为两类：相等操作符（==）和全等操作符（===）。理解这两者的区别和使用场景对于编写健壮的代码至关重要。二、相等操作符（==）深入解析相等操作符（==）用于比较两个操作数是否相等，且在比较前会进行类型转换。2.1类型转换规则布尔值转换为数值console.log(true==1);//trueconsole.log(false==0);//
    
                    
    • 
                    
  • Callable接口
                        難釋懷
java
                        
    Callable是Java5引入的一个接口，位于java.util.concurrent包中。它类似于Runnable接口，但提供了更强大的功能。主要区别在于：Callable的call()方法可以返回一个结果，并且可以抛出异常。Callable需要与Future和ExecutorService结合使用来获取执行结果。通过Callable接口，我们可以创建异步任务，这些任务能够在后台线程池中执行，
    
                    
    • 
                    
  • TypeScript 中的类型推断：提升代码安全与开发效率
                        

                        
    TypeScript是JavaScript的超集，通过在代码中添加静态类型检查来提升代码的安全性和开发效率。在使用TypeScript时，理解和利用类型推断机制是至关重要的。类型推断可以减少显式类型注解的需求，从而提高代码的可读性和开发效率。本文将深入探讨TypeScript中的类型推断机制，常见的推断场景，以及如何在实际项目中有效利用这一特性。什么是类型推断？类型推断是指编译器自动推断出变量或表
    
                    
    • 
                                
  • 集合框架
                                    天子之骄
java数据结构集合框架
                                    
       集合框架 
集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 
从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。 
  
简单介绍： 
  
Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
    
                                
    • 
                                
  • Table Driven（表驱动）方法实例
                                    bijian1013
javaenumTable Driven表驱动
                                    
    实例一：   
/**
 * 驾驶人年龄段
 * 保险行业，会对驾驶人的年龄做年龄段的区分判断
 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞)
 */
public class AgePeriodTest {

    //if...el
    
                                
    • 
                                
  • Jquery 总结
                                    cuishikuan
javajqueryAjaxWebjquery方法
                                    
    1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim('   Hello   ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
    
                                
    • 
                                
  • 面向对象概念的提出
                                    麦田的设计者
java面向对象面向过程
                                    
       
     面向对象中，一切都是由对象展开的，组织代码，封装数据。 
  在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。 
  
    下面就结合编程语言的发展史，聊一聊面向过程和面向对象。 
     c语言由贝尔实
    
                                
    • 
                                
  • linux网口绑定
                                    被触发
linux
                                    
    刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。 
 
一、环境描述 
我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。 
 
二、双网卡绑定步骤： 
2.1 修改/etc/sysconfig/network
    
                                
    • 
                                
  • XML基础语法
                                    肆无忌惮_
xml
                                    
    一、什么是XML？ 
XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。 
  
二、为什么学习XML？ 
用来解决程序间数据传输的格式问题 
做配置文件 
充当小型数据库 
  
三、XML与HTM
    
                                
    • 
                                
  • 为网页添加自己喜欢的字体
                                    知了ing
字体 秒表 css
                                    
    @font-face {
			font-family: miaobiao;//定义字体名字
			font-style:  normal;
		    font-weight: 400;
			src: url('font/DS-DIGI-e.eot');//字体文件
		} 
使用： 
 
<label style="font-size:18px;font-famil
    
                                
    • 
                                
  • redis范围查询应用-查找IP所在城市
                                    矮蛋蛋
redis
                                    
    原文地址： 
http://www.tuicool.com/articles/BrURbqV 
需求 
 
根据IP找到对应的城市 
 
原来的解决方案 
 
oracle表（ip_country）： 
 
 
查询IP对应的城市： 
 
1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 
 
2. select city from ip_
    
                                
    • 
                                
  • 输入两个整数， 计算百分比
                                    alleni123
java
                                    
    	public static String getPercent(int x, int total){
		 
		double result=(x*1.0)/(total*1.0);
		System.out.println(result);
		
		
		DecimalFormat df1=new DecimalFormat("0.0000%");
		

    
                                
    • 
                                
  • 百合——————>怎么学习计算机语言
                                    百合不是茶
java 移动开发
                                    
        对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
    
                                
    • 
                                
  • linux下tomcat开机自启动
                                    bijian1013
tomcat
                                    
    方法一： 
修改Tomcat/bin/startup.sh 为: 
export JAVA_HOME=/home/java1.6.0_27
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export PATH=$JAVA_HOME/bin:$PATH
export CATALINA_H
    
                                
    • 
                                
  • spring aop实例
                                    bijian1013
javaspringAOP
                                    
    1.AdviceMethods.java 
package com.bijian.study.spring.aop.schema;

public class AdviceMethods {

	public void preGreeting() {
		System.out.println("--how are you!--");
	}
} 
2.beans.x
    
                                
    • 
                                
  • [Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization
                                    bit1129
serialization
                                    
    enableComplexMapKeySerialization配置项的含义 
 Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。 
  
GsonBuilder用于
    
                                
    • 
                                
  • 【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题
                                    bit1129
Stream
                                    
    包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 
1. At most once，数据最多只能接受一次，有可能接收不到 
2. At least once, 数据至少接受一次，有可能重复接收 
3. Exactly once  数据保证被处理并且只被处理一次， 
  
具体的多读几遍http://spark.apache.org/docs/lates
    
                                
    • 
                                
  • shell脚本批量检测端口是否被占用脚本
                                    ronin47

                                    
    #!/bin/bash
cat ports   |while read line
do#nc -z  -w 10  $line

nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then
echo $line:ok
else
echo $line:fail
fi

done

这里的ports 既可以是文件
    
                                
    • 
                                
  • java-2.设计包含min函数的栈
                                    bylijinnan
java
                                    
    具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ 
 

import java.util.ArrayList;
import java.util.List;


public class MinStack {

	//maybe we can use origin array rathe
    
                                
    • 
                                
  • Netty源码学习-ChannelHandler
                                    bylijinnan
javanetty
                                    
     
一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 
例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是 
因为每一次调用decode方法时，可能数据未接收完全（incomplete）， 
它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 
 
 

p
    
                                
    • 
                                
  • java生成随机数
                                    cngolon
java
                                    
    方法一： 
/** 
* 生成随机数 
* @author [email protected] 
* @return 
*/ 
public synchronized static String getChargeSequenceNum(String pre){ 
StringBuffer sequenceNum = new StringBuffer(); 
Date dateTime = new D
    
                                
    • 
                                
  • POI读写海量数据
                                    ctrain
海量数据
                                    
    import java.io.FileOutputStream; 
import java.io.OutputStream; 
 
import org.apache.poi.xssf.streaming.SXSSFRow; 
import org.apache.poi.xssf.streaming.SXSSFSheet; 
import org.apache.poi.xssf.streaming
    
                                
    • 
                                
  • mysql 日期格式化date_format详细使用
                                    daizj
mysqldate_format日期格式转换日期格式化
                                    
     
 日期转换函数的详细使用说明 
   DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
    
                                
    • 
                                
  • 一个程序员分享8年的开发经验
                                    dcj3sjt126com
程序员
                                    
      
在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。 
明确入行的目的 
很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
    
                                
    • 
                                
  • android欢迎界面淡入淡出效果
                                    dcj3sjt126com
android
                                    
    很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。 
主要代码如下： 
package com.myaibang.activity; 
import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
    
                                
    • 
                                
  • linux 复习笔记之常见压缩命令
                                    eksliang
tar解压linux系统常见压缩命令linux压缩命令tar压缩
                                    
    转载请出自出处:http://eksliang.iteye.com/blog/2109693 
linux中常见压缩文件的拓展名 
*.gz   gzip程序压缩的文件
*.bz2  bzip程序压缩的文件
*.tar  tar程序打包的数据，没有经过压缩
*.tar.gz  tar程序打包后，并经过gzip程序压缩
*.tar.bz2 tar程序打包后，并经过bzip程序压缩
*.zi
    
                                
    • 
                                
  • Android 应用程序发送shell命令
                                    gqdy365
android
                                    
    项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！ 
 
发就发吧！ 
 
一、关于shell指令： 
我们知道，shell指令是Linux里面带的
    
                                
    • 
                                
  • java 无损读取文本文件
                                    hw1287789687
读取文件无损读取读取文本文件charset
                                    
    java 如何无损读取文本文件呢？ 
以下是有损的 
@Deprecated
	public static String getFullContent(File file, String charset) {
		BufferedReader reader = null;
		if (!file.exists()) {
			System.out.println("getFull
    
                                
    • 
                                
  • Firebase 相关文章索引
                                    justjavac
firebase
                                    
    Awesome Firebase 
最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 
Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。 
开发者只需引用一个 API 库文件就可以使用标准 RE
    
                                
    • 
                                
  • C++学习重点
                                    lx.asymmetric
C++笔记
                                    
    1.c++面向对象的三个特性：封装性，继承性以及多态性。 
  
2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。 
  
3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。 
  
4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 
&n
    
                                
    • 
                                
  • java bean和xml相互转换
                                    q821424508
javabeanxmlxml和bean转换java bean和xml转换
                                    
    这几天在做微信公众号 
做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题， 
然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧 ， 
还是贴出来记录一下  
  
  
顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。 
  
packag
    
                                
    • 
                                
  • C 语言初级 位运算
                                    1140566087
位运算c
                                    
      第十章 位运算    1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节    2、位运算符：  运算符 作用  ~ 按位求反  << 左移  >> 右移  & 按位与  ^ 按位异或  | 按位或   他们的优先级从高到低；    3、位运算符的运算功能：  a、按位取反：  ~01001101 = 101
    
                                
    • 
                                
  • 14点睛Spring4.1-脚本编程
                                    wiselyman
spring4
                                    
    14.1 Scripting脚本编程 
 
 脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 
 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 
 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 
 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; 
 spring支持脚本
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他