酒城译痴无心剑
酒城译痴无心剑

Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集

文章目录

  • 零、本讲学习目标
  • 一、Spark SQL
    • （一）Spark SQL概述
    • （二）Spark SQL功能
    • （三）Spark SQL结构
      • 1、Spark SQL架构图
      • 2、Spark SQL三大过程
      • 3、Spark SQL内部五大组件
    • （四）Spark SQL工作流程
    • （五）Spark SQL主要特点
      • 1、将SQL查询与Spark应用程序无缝组合
      • 2、Spark SQL以相同方式连接多种数据源
      • 3、在现有数据仓库上运行SQL或HiveQL查询
  • 二、数据帧 - DataFrame
    • （一）DataFrame概述
    • （二）将RDD转成DataFrame
  • 三、数据集 - Dataset
    • （一）Dataset概述
    • （二）将RDD转成DataSet
    • （三）DataFrame与Dataset的关系
  • 四、简单使用Spark SQL
    • （一）了解SparkSession
    • （二）准备工作
      • 1、准备数据文件
      • 2、启动Spark Shell
    • （三）加载数据为Dataset
      • 1、读文件得数据集
      • 2、显示数据集内容
      • 3、显示数据集模式
    • （四）给数据集添加元数据信息
      • 1、定义学生样例类
      • 2、导入隐式转换
      • 3、将数据集转换成学生数据集
      • 4、对学生数据集进行操作
        • （1）显示数据集内容
        • （2）打印数据集模式
        • （3）对数据集进行投影操作
        • （4）对数据集进行过滤操作
        • （5）对数据集进行统计操作
        • （6）对数据集进行排序操作
        • （7）重命名数据集字段
    • （五）将数据集转为数据帧
      • 1、将数据集转为数据帧
      • 2、对学生数据帧进行操作
        • （1）显示数据帧内容
        • （2）显示数据帧模式信息
        • （3）对数据帧进行投影操作
        • （4）对数据帧进行过滤操作
        • （5）对数据帧进行统计操作
        • （6）对数据帧进行排序操作
        • （7）重命名数据帧字段
    • （六）基于数据帧进行SQL查询
      • 1、基于数据帧创建临时视图
      • 2、使用spark对象执行SQL查询
        • （1）查询全部表记录
        • （2）显示数据表结构
        • （3）对表进行投影操作
        • （4）对表进行选择操作
        • （5）对表进行统计操作
        • （6）对表进行排序操作
        • （7）重命名数据表字段
  • 五、课后作业

零、本讲学习目标

  1. 了解Spark SQL的基本概念
  2. 掌握DataFrame的基本概念
  3. 掌握Dataset的基本概念
  4. 会基于DataFrame执行SQL查询

在很多情况下，开发工程师并不了解Scala语言，也不了解Spark常用API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，利用SQL语言的语法简洁、学习门槛低以及在编程语言普及程度和流行程度高等诸多优势，从而开发了Spark SQL模块，通过Spark SQL，开发人员能够通过使用SQL语句，实现对结构化数据的处理。

一、Spark SQL

（一）Spark SQL概述

  • Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。

（

你可能感兴趣的:(Spark大数据处理讲课笔记,spark,笔记,sql)

  • SQLSERVER 中GO的作用 weixin_30278311 数据库
    go向SQLServer实用工具发出一批Transact-SQL语句结束的信号。go是把t-sql语句分批次执行。（一步成功了才会执行下一步,即一步一个go）BEGIN和END语句用于将多个Transact-SQL语句组合为一个逻辑块。在控制流语句必须执行包含两条或多条Transact-SQL语句的语句块的任何地方，都可以使用BEGIN和END语句。转载于:https://www.cnblogs.
  • NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解 汀、人工智能 LLM工业级落地实践人工智能LLM自然语言处理NL2SQL大模型应用Text2SQLgpt
    NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（SpidervsBIRD）全面对比优劣分析[Text2SQL、Text2DSL]NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理1.MindSQL(库)MindSQL是一
  • SQLSERVER 中GO的作用详解
    为了省事，直接贴过来的。请看下文详解。usedb_CSharpgoselect*,备注=casewhenGrade>=90then'成绩优秀'whenGrade=80then'成绩良好'whenGrade=70then'成绩及格'else'不及格'endfromtb_Grade如果只是执行一条语句，有没有GO都一样如果多条语句之间用GO分隔开就不一样了每个被GO分隔的语句都是一个单独的事务，一个语
  • 【MSSQL】sql server怎样整理某个表的碎片 厦门德仔 MSSQLsqlserver数据库服务器
    SQLServer如何整理某个表的碎片在数据库的维护过程中，碎片化是一个常见的问题。随着数据的插入、更新和删除，SQLServer中的表和索引可能会出现碎片，这会导致查询性能下降。本文将介绍如何在SQLServer中整理某个表的碎片，并提供代码示例帮助你理解。什么是碎片化？碎片化是指数据在物理存储上不连续，导致数据库无法有效利用存储空间。碎片化通常分为两种类型：内部碎片：数据页中存在空闲空间，没有
  • 【.net core】【sqlsugar】在where条件查询时使用原生SQL MoFe1 .netcoresql数据库
    //初始化查询varquery=repository.IQueryable();//添加原生SQLWHERE条件query=query.Where("fieldAWhere(stringwhereString,objectparameters=null);
  • 我的创作纪念日 BoAiB 其他
    机缘起初，只是因为这个平台学习知识很方便，慢慢的有了记录自己“成长”的想法，也很想一直坚持下去。收获获得了100+粉丝的关注获得了6000+正向的反馈，如赞、评论、阅读量等关注了许多榜样大神学习习惯也变得更好了，会很认真仔细的记录自己的收获，也很开心能被大家认可我的分享日常创作已经是我生活的一部分了一边学习，一边实践，一边记录以前总觉得，做笔记太浪费时间了，总觉得实践才是硬道理，现在想想，真是愚昧
  • 大模型RLHF强化学习笔记（一）：强化学习基础梳理Part1 Gravity! 大模型笔记大模型LLM算法机器学习强化学习人工智能
    【如果笔记对你有帮助，欢迎关注&点赞&收藏，收到正反馈会加快更新！谢谢支持！】一、强化学习基础1.1Intro定义：强化学习是一种机器学习方法，需要智能体通过与环境交互学习最优策略基本要素：状态（State）：智能体在决策过程中需要考虑的所有相关信息（环境描述）动作（Action）：在环境中可以采取的行为策略（Policy）：定义了在给定状态下智能体应该选择哪个动作，目标是最大化智能体的长期累积奖
  • Mariadb-Server的二进制安装 linux土老帽 linux土老帽mariadblinuxcentos
    搭建环境：OS:centos7.6版本mariadb:mariadb-10.2.25-linux-x86_64.tar.gz#下载地址：DownloadMariaDBServer-MariaDB.org1.创建用户组useradd-r-s/sbin/nologin-d/data/mysqlmysql#创建用户-r系统账户-s指定shell/sbin/nologin-d指定家目录但是不创建原因是系统
  • MySql主从备份Slave 甚享享 mysql数据库
    Mysql主从备份可以在除主服务器外的其他服务器是部署从库，用于实时备份生产环境数据，核心是mysql的log-bin日志（二进制日志），主库开启bin日志后，从库通过日志同步(SlaveI/O)和回放(SlaveSQL)实现数据同步.因为设置主从备份时，需要指定主库lob-bin日志运行行数，所以之前的数据需要通过“数据同步”或者手动同步完成修改配置文件Linux:my.cnfWindows:m
  • windows mysql主从备份_windows下mysql主从备份设置 韩山云客 windowsmysql主从备份
    Windowsserver2008mysql主从数据设置步骤：一、安装MySQL说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL5.5.22二、配置MySQL主服务器(192.168.21.169)mysql-uroot-p#进入MySQL控制台createdatabaseosyunweidb;#建立数据库osyunweidb
  • mysql主从备份_mysql实现主从备份 Lucas HC mysql主从备份
    mysql主从备份的原理:主服务器在做数据库操作的时候将所有的操作通过日志记录在binlog里面，有专门的文件存放。如localhost-bin.000003，这种，从服务器和主服务配置好关系后，通过I/O线程获取到这个binlog文件然后写入到从服务器的relaylog(中继日志)中，然后从服务器执行从服务器中的sql语句进行数据库的同步。实现：准备:两台服务器，mysql环境，可以是Windo
  • Mysql 主从备份 龙那个猫robot 数据库mysql
    英文好的可以直接去mysql官网查看https://dev.mysql.com/doc/refman/5.7/en/replication.html1环境准备我这里准备两套linux虚拟机，主mysql服务器,从mysql服务区ip192.168.1.30ip192.168.1.1001.1备份主mysql数据库1.2从数据库恢复主mysql数据库1.3配置主mysql服务器配置server-id
  • 使用 Docker 部署 MySQL 8
    使用Docker部署MySQL8详细指南MySQL是一个广泛使用的开源关系型数据库管理系统。通过Docker部署MySQL8可以快速搭建一个可移植、可扩展的数据库环境。本文将详细介绍如何使用Docker部署MySQL8，并讲解如何根据需求配置MySQL。从拉取镜像开始的详细步骤1.拉取MySQL8镜像首先，从DockerHub拉取MySQL8的官方镜像。dockerpullmysql:8.0mys
  • iphone se 一代 不完美越狱 14.6 视频壁纸教程(踩坑笔记) YANG_301 iosiphone
    iphonese一代不完美越狱14.6加视频壁纸教程-踩坑笔记越狱流程1.爱思助手制作启动u盘坑点:2.越狱好后视频壁纸软件1.源2.软件安装越狱流程1.爱思助手制作启动u盘https://www.i4.cn/news_detail_42302.html此网址为具体流程,但要注意!!!坑点:下图中最后一排quickmode应被勾选(勾选后是×(´ཀ`」∠))进入options后不禁要勾选allow
  • SQl中多使用EXISTS导致多查出了一条不符合条件的数据 yangchanghua111 sql数据库
    原本的部分条件如下andi.is_complement='20'andi.yxbz='1'AND(i.nameLIKEconcat('%','红','%')OREXISTS(SELECT*FROMcommodity_suit_composecscWHEREcsc.suit_id=i.IDANDcsc.compose_nameLIKEconcat('%','红','%')))查寻i表的name和cs
  • MySQL备份和恢复
    MySQL常用管理命令1.创建登录用户mysql>createuserzhangsan@'%'identifiedby'123456';#%指任意的远程终端2.测试用户登录#yuminstallmysql-y#mysql-uzahngsan-p123456-h192.168.109.1503.用户为自己更改密码mysql>setpasswore=password('新密码')4.root给其他用户
  • 【SequoiaDB】4 巨杉数据库SequoiaDB整体架构 Alen_Liu_SZ 巨杉数据库SequoiaDB架构编目节点协调节点数据节点巨杉数据库
    1整体架构SequoiaDB巨杉数据库作为分布式数据库，由数据库存储引擎与数据库实例两大模块组成。其中，数据库存储引擎模块是数据存储的核心，负责提供整个数据库的读写服务、数据的高可用与容灾、ACID与发你不是事务等全部核心数据服务能力。数据库实例模块则作为协议与语法的适配层，用户可根据需要创建包括MySQL、PostgreSQL与SparkSQL在内的结构化数据实例；支持JSON语法的MongoD
  • 如何用Docker部署Mysql 小楠小楠小楠 dockermysql容器
    1.安装Docker确保已安装Docker，并启动Docker服务。Linux：bash复制sudoaptupdatesudoaptinstalldocker.iosudosystemctlstartdockersudosystemctlenabledocker2.拉取MySQL镜像从DockerHub拉取官方MySQL镜像。bash复制dockerpullmysql:latest3.启动MySQ
  • 使用Docker部署mysql8 小莫分享 dockeradb容器
    1、拉取mysql8的镜像：1[root@i-zgn6som8~]#dockerpullmysql:8.02、创建配置和数据文件夹并修改权限：1234mkdir-p/data/mysql8/confmkdir-p/data/mysql8/datachmod-R755/data/mysql8/3、配置一个自定义的配置文件my.cnf:1vim/data/mysql8/conf/my.cnf文件内容如
  • MySQL主从备份 W111115_ MySQLmysql数据库
    前提条件：安装mysql,并开启二进制日志（bin-log日志）【让一台的bin-log日志传到另一台主机上，然后第二台主机收到后，将其bin-log日志读取并恢复到第二台机器上---整个过程实时操作同步】实现过程1.主从机器都开启二进制日志主服务器：vim/etc/my.cnf#编辑mysql配置文件log-bin=mysql-bin#开启二进制日志--------在配置文件中添加server-
  • 软件测试从业者必备的SQL知识 十二测试录 数据库sql数据库
    作为职场人，学一门技能是用来解决日常工作问题的，没必要从头到尾把这块知识弄透，没那么多时间。基于此，十二根据自己的经验，把软件测试从业者需要掌握的SQL知识，整理如下；只要跟着这个顺序，从头到尾执行即可。前置准备事项：1、在自己电脑上安装一个mysql数据库，文章见->虚拟机Centos下安装Mysql完整过程（图文详解）_虚拟机安装mysql-CSDN博客2、找一个mysql客户端链接工具：初学
  • 平台再升级！接入DeepSeek AI，三大能力一键生成 橙武科技 低代码AIdeepseek人工智能
    在数字化项目落地过程中，很多企业都会面临相同的问题：数据库建模要写SQL表结构；业务流程需要画LogicFlow流程图；前端页面还要写AMISJSON配置。从想法到实现，中间至少要经历产品经理、架构师、后端、前端多轮沟通。每个环节都耗时，改起来还要推翻重来。demo地址：https://admin.cwcode.top✨我们的平台，现在直接整合了DeepSeekAI大模型只要输入一句需求，就能：✅
  • 什么是 QueryGPT？智能查询工具如何重塑信息检索的未来？ 镜舟科技 StarRocksQueryGPT数据查询数据分析多模态交互
    从客户行为数据到供应链信息，从市场趋势到内部运营指标，这些数据蕴含着巨大的商业价值。然而，数据量的激增也带来了前所未有的检索挑战：如何在海量信息中快速定位所需数据？如何确保查询结果的准确性和时效性？据统计，75%的企业正受困于低效的查询工具，这已成为阻碍企业数字化转型的关键痛点。传统的数据查询方式主要依赖SQL语句或特定的查询语言，这要求用户具备专业的编程知识和对数据结构的深入理解。即使对于数据分
  • Python训练营打卡——DAY16（2025.5.5） cosine2025 Python训练营打卡python开发语言机器学习
    目录一、NumPy数组基础笔记1.理解数组的维度(Dimensions)2.NumPy数组与深度学习Tensor的关系3.一维数组(1DArray)4.二维数组(2DArray)5.数组的创建5.1数组的简单创建5.2数组的随机化创建5.3数组的遍历5.4数组的运算6.数组的索引6.1一维数组索引6.2二维数组索引6.3三维数组索引二、SHAP值的深入理解三、总结1.NumPy数组基础总结2.SH
  • MySQL事务深度解析：原理、优化及最佳实践 木木丰 mysqlmysql数据库javawindows
    MySQL中的事务（Transaction）是数据库操作的基本单位，它代表着一组逻辑上相互关联的操作，要么全部成功，要么全部失败。这种“要么全做，要么全不做”的特性确保了数据库的完整性和一致性。事务在MySQL中扮演着至关重要的角色，特别是在处理复杂业务逻辑和并发访问时。下面将详细探讨MySQL事务的概念、使用方法、注意事项以及在实际应用中的最佳实践。一、事务的概念事务是一个不可分割的工作逻辑单元
  • MySQL表达式之公用表表达式(CTE)的使用示例 @Corgi 后端开发mysql数据库CTE
    示例一数据表中有每个企业每年每月并且每月的产值是累加的数据的数据记录需求：统计企业产值能力，找出所有家企业中产值最高的企业，其产值记为P。对于第i家企业，其产值为Pi则该企业的产值能力评分=Pi/P×100。SQL：--使用ROW_NUMBER()为每个企业每年每个月的产值排名，筛选出每个企业每年最大月份的产值。WITHMaxMonthlyOutputAS(SELECTcompany_id,dec
  • SnowConvert：自动化数据迁移的技术解析与最佳实践 weixin_30777913 迁移学习数据库运维
    SnowConvert是Snowflake生态系统的关键迁移工具，专为将传统数据仓库（如Oracle、Teradata、SQLServer等）的代码资产高效、准确地转换为Snowflake原生语法而设计。以下基于官方文档对其技术原理、工作流程及最佳实践进行深入分析：一、SnowConvert核心技术解析精准的语法映射引擎语言支持：深度解析源系统特有语法（OraclePL/SQL,TeradataB
  • AWS Lambda与RDS连接优化之旅 t0_54manong 编程问题解决手册aws云计算个人开发
    在云计算的时代，AWSLambda与RDS的结合为开发者提供了高效且灵活的解决方案。然而，在实际应用中，我们常常会遇到一些性能瓶颈。本文将通过一个真实案例，探讨如何优化AWSLambda与RDS之间的连接，以提高API的响应速度。背景介绍最近，我们在AWS上部署了一个使用Dotnet6开发的API，它通过APIGateway暴露给外部，并连接到同VPC内的MySQLAuroraRDS数据库。部署前
  • linux mysql命令行操作
    命令行,linux,命令行操作相关学习资料：https://edu.51cto.com/video/797.htmlhttps://edu.51cto.com/video/1400.htmlhttps://edu.51cto.com/video/3832.htmlLinuxMySQL命令行操作入门指南作为一名刚入行的开发者，掌握Linux系统下的MySQL命令行操作是一项基本技能。本文将带你一步步
  • TDengine 3.3.5.0 新功能 —— 查看库文件占用空间、压缩率 TDengine （老段） TDengine产品设计数据库时序数据库物联网tdengine涛思数据iot
    1.背景TDengine之前版本一直没有通过SQL命令查看数据库占用的磁盘空间大小，从3.3.5.0开始，增加了这个方便且实用的小功能，这里详细介绍下。2.SQL基本语法selectexprfrominformation_schema.ins_disk_usage[wherecondtion]行为说明：查看各个vgroup的各个组件磁盘占用情况，并且可以通过查询语句计算压缩率等。示例：taos>s
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他