E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Scala-大数据开发
Scala-
匿名函数
packagecom.scala.A//匿名函数/**1)说明没有名字的函数就是匿名函数。(x:Int)=>{函数体}x:表示输入参数;Int:表示输入参数类型;函数体:表示具体代码逻辑2)案例实操传递匿名函数至简原则:(1)参数的类型可以省略,会根据形参进行自动的推导(2)类型省略之后,发现只有一个参数,则圆括号可以省略;其他情况:没有参数和参数超过1的永远不能省略圆括号。(3)匿名函数如果只有
文文鑫
·
2023-10-12 08:22
Scala
scala
为何需要重新编译过的hive
3.安装好后可按如下命令查看hive兼容的spark总结前言大数据生态各个组件之间存在兼容性问题,假如您想从事
大数据开发
相关工作,那么后续很有可能会做离线数仓的项目,而在搭建数仓环境时会用到spark,
博嘁东
·
2023-10-11 14:18
hive
spark
big
data
大数据开发
-Flink-数据流DataStream和DataSet
Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面
大数据开发
往事随风_h
·
2023-10-11 14:01
Flink
flink
大数据开发
:Hadoop分布式架构简介
今天的
大数据开发
分享,我们来对Hadoop分布式架构做一个具体的讲解。
加米谷大数据张老师
·
2023-10-11 00:26
大数据
分布式
大数据
hadoop
大数据开发
学习Hadoop路线图(详细篇)
Hadoop发展到今天家族产品已经非常丰富,能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术,市场上很多公司的大数据业务都是基于Hadoop开展,而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术,就是进入大数据领域的必经之路。下面详细介绍一下,学习Hadoop开发技术的路线图。Hadoop本身是用java开发的,所以对java的支持性非常
qq_43713878
·
2023-10-11 00:24
大数据
大数据分析
Linux
spark
数据挖掘
Hadoop
大数据开发
大数据学习
大数据
大数据学习
Hadoop
Linux
大数据开发
数据可视化实战:如何给毛*易的歌曲做词云展示?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-10 21:59
数据分析
信息可视化
python
数据分析
数据采集实战:如何自动化运营微博?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-10 19:25
数据分析
自动化
python
数据分析
Linux学习笔记(五):文本处理及shell编程
欢迎关注公众号,一起从天坑专业转行
大数据开发
。文本处理三剑客:awk,grep,sedawk:AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
Python大视觉
·
2023-10-10 13:03
linux
linux
运维
服务器
0101idea运行
scala-
基础入门-scala
1前言scala基于不同应用,可以以不同方式运行。本人目前从事Java开发,开发工具idea,这里就介绍idea创建工程运行scala的方式。环境如下:软件(工具)版本描述scala2.12.11idea2022.3开发工具Javajdk1.8maven3.8.1依赖管理2idea创建普通scala工程第一步:新建项目,如下图所示第二步:创建包路径和测试类,打印helloworldpackagec
gaog2zh
·
2023-10-09 17:42
大数据
scala
开发语言
后端
秋招面经第六弹:理想一面-
大数据开发
工程师
秋招第六弹:理想一面-
大数据开发
工程师写在最前:秋招以来一直在冲,因为事情比较多,对于笔试面试一直没有复盘,现在靠仅存的记忆把面试的一些问题记录下来,尽可能记录出能回忆到的问题,但可能记的不是很全。
牧码文
·
2023-10-08 20:41
数据仓库
大数据
java
开发语言
大数据开发
和java的前景_2019,Java码农还有必要转型
大数据开发
吗?
没有什么是亘古不变的,就像手机软件的不断更新迭代一样,陈旧的事物终将会被取代。相比于十年前程序员“高需求、高薪资、高难度”的三高状态,到如今,也开始逐渐被打破。虽然在科技时代,码农几乎永远不会失业,但随着新技术的产生,如果不去提升自己,那么你将会被取代。从去年开始,相信很多的码农,都看到了各类关于大数据的信息。新闻、自媒体、科技媒体等都在对它进行解读。各个大型的互联网公司,像BAT也已经快速的实施
摩尔精英
·
2023-10-08 20:10
大数据开发和java的前景
Hadoop2.x安全:hadoop集群之kerberos认证(一、原理+安装配置)
微信公众号:
大数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-10-08 15:16
AdaBoost(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-08 11:20
数据分析
数据挖掘
数据分析
算法
AdaBoost(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-08 11:49
数据分析
数据挖掘
数据分析
算法
大数据Hadoop原理:大数据Hadoop技术原理简介
在大数据技术体系当中,Hadoop技术框架无疑是重点当中的重点,目前主流的
大数据开发
任务,都是基于Hadoop来进行的。
加米谷大数据张老师
·
2023-10-08 06:05
大数据
大数据
hadoop
分布式
转行为什么选择
大数据开发
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课,怎奈两眼皮太过亲热,痴迷于彼此的缠绵,不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字,小编瞬间从床上弹坐起来。先说好,小编并不是要买房,而是被醒目的[“活下去”——万科是在真哭还是假哭?]和[“活下去”!中原地产:万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了,有人欢喜有人愁!记得前几年
weixin_34360651
·
2023-10-07 17:48
转行为什么选择
大数据开发
?
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课,怎奈两眼皮太过亲热,痴迷于彼此的缠绵,不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字,小编瞬间从床上弹坐起来。先说好,小编并不是要买房,而是被醒目的[“活下去”——万科是在真哭还是假哭?]和[“活下去”!中原地产:万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了,有人欢喜有人愁!记得前几年
小迪和夫人
·
2023-10-07 17:44
大数据
大数据
转行大数据
PageRank(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-07 14:03
数据分析
数据挖掘
数据分析
算法
关于华为FusionInsight Manager安全模式下执行spark任务的一个坑--记录
我们公司在客户那里做spark
大数据开发
服务,但是客户那面使用FI集群是安全模式,并且版本还跟我们开发的项目版本不一致。版本不一致这个好解决,,但是安全模式这一块确实给我卡主了,整了大概半个月才整好。
焱行软件科技计算机毕设
·
2023-10-07 13:45
大数据学习线路以及面试知识图谱
大纲本系列主题是
大数据开发
面试指南,旨在为大家提供一个大数据学习的基本路线,完善数据开发的技术栈,以及我们面试一个
大数据开发
岗位的时候,哪些东西是重点考察的,这些公司更希望面试者具备哪些技能。
yoku酱
·
2023-10-07 13:56
PageRank(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-07 09:39
数据分析
数据挖掘
数据分析
算法
关联规则挖掘(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-06 12:56
数据分析
数据挖掘
数据分析
算法
关联规则挖掘(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-06 12:56
数据分析
数据挖掘
数据分析
算法
React项目部署 - Nginx配置
本人的技术路线从Java全栈工程师一路奔向
大数据开发
、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。
一头小山猪
·
2023-10-06 05:13
萌新科普
#
一应俱全
react.js
nginx
前端
大数据开发
面试笔记Day1
面试优先级眼前一亮的人:所有项目都需要能快速入手开发的年轻人,而这种能力一定程度上来自于对开源项目的贡献;另外,找到该公司该部门的研发重点,以及与周围部门的协同研发项目,如果某一个项目碰巧非常适合你并且急缺人手时,就必定录取。必备项:计算机各种基础、面试题、java、大数据相关知识、实际代码算法能力与代码风格。对开源项目的贡献对开源项目的贡献,作者经验匮乏,也是第一次听到,所以进行以下查询。对于大
Joy T
·
2023-10-04 08:46
大数据
#
面试
笔记
3000字梳理
大数据开发
流程及规范(建议收藏)
在大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会降低研发效率,增加成本与风险。数据中台数据开发规范旨在为广大数据研发者、管理者提供规范化的开研发流程指导方法,目的是简化、规范日常的数据中台管理和开发工作,提高工作效率,减少无效与
公众号:肉眼品世界
·
2023-10-04 01:49
大数据
Python爬取哔哩哔哩(bilibili)视频
本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频,首先我是一名
大数据开发
工程师,爬虫只是我的一个业余爱好,喜欢爬虫的小伙伴可以一起交流。
chinaherolts2008
·
2023-10-03 17:11
python基础教程
python
一站式
大数据开发
治理DataWorks学习
大数据开发
治理平台DataWorks产品文档
大数据开发
治理平台DataWorks体验馆一站式
大数据开发
治理DataWorks使用宝典一站式
大数据开发
治理DataWorks学习路径实验:全链路数据治理实践
qiufeng1ye
·
2023-10-03 17:49
Hadoop2.x安全:Window下Kerberos客户端安装及浏览器配置
微信公众号:
大数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-10-02 16:05
EM聚类(下):用EM算法对王者荣耀英雄进行划分
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-02 15:19
数据分析
数据挖掘
算法
聚类
EM聚类(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-02 15:47
数据分析
数据挖掘
算法
聚类
K-Means(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-02 10:35
数据分析
数据挖掘
数据分析
算法
K-Means(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-10-02 10:35
数据分析
数据挖掘
算法
kmeans
大数据开发
之 留存类统计写法
业务场景问题:统计活跃用户的近7天、30天留存率?这个是数据仓库开发同学基本都会遇到的问题,属于留存类问题,实现方式也有很多种类,但是在大数据场景下的效率差距很大,因此整理自己写过四种输出留存的方式和对比下优劣。解决方案本文整理工作过程中输出留存的几种方式,分为三类有join方式、窗口函数方式、bitmap方式,若今后还遇到其他方式后续会补充,另外文中sql都是购物的pv中间表作为例子,将上述问题
浩海紫冰
·
2023-10-02 03:37
大数据
spark
sql
数据仓库架构师的岗位工作职责及应具备的能力
技术研发类岗位包括大数据架构师、数据仓库架构师、
大数据开发
工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。
皮皮杂谈
·
2023-10-02 01:14
大数据开发
:Kafka Producer端主要参数解析
今天的
大数据开发
分享,我们就主要来讲讲KafkaProducer端主要参数。
成都加米谷大数据
·
2023-10-01 06:24
大数据开发
之Hive篇10-Hive查询with语句
备注:Hive版本2.1.1文章目录一.Hivewith语句概述二.Hivewith语句测试案例测试数据--createtablecreatetabledept(deptnoint,dnamevarchar(14),locvarchar(13));insertintodept(deptno,dname,loc)values('10','accounting','newyork');insertin
只是甲
·
2023-09-30 05:18
大数据和数据仓库
#
Hive
hadoop
封装
Hive
with
大数据工程师零基础起步——成长路线引入
即学即写,持续更新中
大数据开发
基础1编程语言1.1JAVA1.2Scala(优先级靠后,有遇到需要用的时候再学,如Spark)2数据结构和算法3计算机网络4操作系统5数据库基础6设计模式7LINUX系统
ElsaWu1998
·
2023-09-29 22:16
大数据工程师
大数据
hadoop
KNN(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-29 22:46
数据分析
支持向量机
算法
机器学习
KNN(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-29 22:13
数据分析
数据挖掘
数据分析
算法
大数据开发
学习进阶路线图
转载声明:本文由:https://blog.csdn.net/qq_38872310/article/details/79758426?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158760983719724848356217%2522%252C%2522scm%2522%253A%252220140713.130102334.
AmorCoding
·
2023-09-29 09:21
大数据架构
大数据
SVM(下):如何进行乳腺癌检测?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-29 06:13
数据分析
支持向量机
算法
机器学习
SVM(上):如何用一根棍子将蓝红两色球分开?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-29 06:43
数据分析
支持向量机
算法
机器学习
brew 安装MySQL 5.7
本人的技术路线从Java全栈工程师一路奔向
大数据开发
、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。
LuckyTHP
·
2023-09-28 22:26
mysql
数据库
重拾那支遗弃的画笔
三年前,一起工作的同事放弃高额工作,从事新型职位
大数据开发
工程师,这让自己对其产生浓厚的兴趣。两年前,从第一家公司跳槽,领导本打算培养自己作为大数据工程师的接班人,结果迫于压力从公司离职。
深思即可见
·
2023-09-28 22:07
朴素贝叶斯分类(上):数据挖掘十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-28 02:09
数据分析
数据挖掘
算法
分类
朴素贝叶斯分类(下):数据挖掘十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、
大数据开发
、数据分析等。
秋无之地
·
2023-09-28 02:35
数据分析
数据挖掘
算法
分类
【
大数据开发
技术】实验03-Hadoop读取文件
文章目录Hadoop读取文件一、实验目标二、实验要求三、实验内容四、实验步骤Hadoop读取文件一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理掌握HDFS的API使用方法掌握通过URL类读取HDFS上的文件内容的方法掌握FileSystem读取HDFS上文件内容的方法二、实验要求给出每个实验操作步骤成功的效果截图,。对本次实验工作进行全面的总结。完成实验内容后,实验报
Want595
·
2023-09-27 06:13
《
大数据开发技术
》
大数据
hadoop
分布式
详解MySQL事务原理
今天给大家分享的是
大数据开发
基础部分MySQL的事务,事务在MySQL知识点中非常重要的部分,很多伙伴只是知道MySQL的四大特性,但不知道其中的原理,老刘这次给大家详细的描述MySQL四大特性的原理,
java小霜
·
2023-09-27 01:28
MySQL
mysql
数据库
java
开发语言
后端
大数据开发
:Flink内存数据结构
今天的
大数据开发
学习分享,我们来讲讲,Flink内存数据结构。Flink的内存管理像OS管理内存,划分为段和页。1、内存段内存段,即MemorySegment,是Flink内存抽象的最小分配单元。
成都加米谷大数据
·
2023-09-27 00:48
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他