【大数据开发】

从传统数仓到互联网大数据开发，不走弯路很重要

1.自我介绍二本学校毕业5年，在某已倒闭手机厂商做安卓开发3年，到银行外包写SQL1年，现在在某大厂做大数据开发工作即将一年，月处理数据量PB级别。
大数据肌肉猿·2020-08-11 20:53

被创业公司领导穿小鞋，一怒之下我拿了6个offer，最终跳槽到ebay

一路走来不易，要了解更多她，可以看之前的文章：我是程序媛，从事大数据开发两年，我有话说。疫情之下，在魔都一个多月，拿了6家公司的大数据offer，最终入职ebay大
大数据肌肉猿·2020-08-11 20:53

大数据学习之路

学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发
大数据肌肉猿·2020-08-11 20:35

大数据开发工程师面试题

1.mapreduce（1）mapreduce流程读取HDFS文件，每行解析成一个对。利用自定义的map函数，对进行处理，转换为新对输出。对输出按任务定义的Partitioner和Reducer数进行分区。对输出进行排序、分组。对输出进行combine（可选）。将多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。（shuffle）对多个map的输出进行合并、排序。r
王龙江_3c83·2020-08-11 19:34

大数据：Hive和Hbase的区别于优势

对于大数据开发工程师，有必要了解这两个数据仓库的区别以及各自的应用场景。2.Hive和HBase简介ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。
MasterT-J·2020-08-11 17:58

大数据开发之hive知识点总结

hive一、认知数据库与数据仓库数据库mysql,oracle,sqlserver,DB2,sqlite,MDB数据仓库hive是MR的客户端，不必要每台机器都安装部署特性1、hive操作接口是采用SQL语法的，HQL2、避免了写MapReduce的繁琐过程体系结构1、client终端命令行JDBC，不常用，很麻烦2、matastore原本的数据集和字段名称以及数据信息之间的双射关系我们目前是存在
芝麻水煮西瓜·2020-08-11 05:54

kettle 大数据整合（三）

www.boxuegu.com/freecourse/…kettle8.2sakila数据库ETL项目基础进阶实战（二）：www.boxuegu.com/freecourse/…kettle8.2大数据整合构建企业大数据开发环境
weixin_34321977·2020-08-11 05:08

视频教程-Oracle 11g RAC+DataGuard(RAC)容灾(2+2)实施部署实战视频教程-Oracle

Oracle11gRAC+DataGuard(RAC)容灾(2+2)实施部署实战视频教程OracleOCM顶级认证,PMP项目管理师,10余年工作经验,先后担任过OracleDBA,JAVA软件工程师,大数据开发工程师等岗位
weixin_33071681·2020-08-11 04:48

视频教程-2018新录制oracle 12c数据库安装-Oracle

2018新录制oracle12c数据库安装OracleOCM顶级认证,PMP项目管理师,10余年工作经验,先后担任过OracleDBA,JAVA软件工程师,大数据开发工程师等岗位。
weixin_30883999·2020-08-11 04:46

开源大数据开发平台DataSphereStudio&Linkis安装记录

Linkis:https://github.com/WeBankFinTech/LinkisDataSphereStudio:https://github.com/WeBankFinTech/DataSphereStudio编译部署常见问题：https://github.com/WeBankFinTech/Linkis/wiki/%E9%83%A8%E7%BD%B2%E5%92%8C%E7%BC%
皎夜既明·2020-08-11 03:51

武汉Java开发学习到什么程度可以就业？

目前Java广泛用于Web开发、大数据开发、Android开发以及各种后端服务开发领域。对于零基础的Java初学者来说，还需要从Ja
戏精程序媛·2020-08-11 01:44

分享一名拿到阿里offer的朋友的学习经历

一年前从Java转的大数据开发，喜欢折腾，一直希望能跳到大公司去锻炼，但是感觉自己的技术没有非常地深入，而且没有很好的项目经验，刚好那个时间认识了老蒙，跟着学到了不少东西，所以最后才会有这篇文章的诞生。
kevin_吴敏·2020-08-11 00:15

云创大数据平台助力六大省级大赛！

此前，吉林、上海、江西、山西、安徽五省（市）采用了云创大数据开发的大数据实验平台和云计算实训平台作为省级大赛平台。
深度学习世界·2020-08-10 21:33

Java比Python复杂但是为何依然有很多人会选择学习Java

首先，当前Java和Python都是流行程度比较高的编程语言，而且二者都同为全场景编程语言，在Web开发、大数据开发等领域都有广泛的应用，从应用前景来看，未来很长一段时间内，Java和Python都依然会占据着重要的位置
顾延笙·2020-08-10 14:00

虚拟机如何固定IP，同时可以上网

做大数据开发，需要固定ip，才能用ssh连接机器，但是在安装大数据软件的时候需要上网功能，如何兼得呢，下面由我细细到来。虚拟机网络有三种方式，host、net、bridge，我只说下net实现。
wang2717·2020-08-10 11:45

Hive2.0安装完整版——Hive2.3.4

所以hive安装和使用也是大数据开发或运维人员都必须掌握的。hive的安装很简单，而且Hive1.0和Hive2.0版本的安装都非常类似，完全可以套用。此文中选择Hive2.3.4作为示范！
羲凡丞相·2020-08-10 08:21

踩坑日记-记录那些年踩过的坑

大数据开发篇：一，组件搭建中scala在IDEA里面不能添加插件的问题解决方式：解决方式：删除C盘里面的IDEA的目录，重启IDEA，在IDEA里面选择scala插件下载搭建zk环境时报错：拒绝连接解决方式
进击的crawler·2020-08-10 06:40

python爬虫前程无忧——数据分析+词云图

3.数据分析与可视化：（1）分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来；（2）分析“数据分析”、“大数据开发工程师”、“数据采集”
一休祺·2020-08-10 06:38

阿里云数据工厂DataWorks

阿里云数据工厂DataWorksDataWorks（数据工场，原大数据开发套件）是阿里云数加重要的PaaS平台产品，它提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。
云特快·2020-08-10 04:33

面试官：你都工作三年了，怎么对海量数据处理都没有掌握

作为一名大数据开发工程师，求职面试时，关于海量数据处理的问题时常会遇到。
爱开发V·2020-08-09 17:44

网易2020校招笔试- 大数据开发工程师（正式批）

目录一、翻倍方法一：暴力方法二：递归二、跳柱子方法一：暴力，寻找能到达的最高柱子，方便我下次跳方法二：动态规划dp三、人数统计方法：哈希表四、积木方法如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人，个人博客为：爱做梦的鱼https://zihao.blog.csdn.net/，微信公众号、微信
爱做梦的鱼·2020-08-09 17:59

一年经验大数据开发网易游戏社招面经(已拿offer)

先说一下背景，我是19年毕业的一所普通211的本科生，在国企工作一年，感觉技术进入瓶颈，就想跳槽了。不得不说今年行情确实很差，加上我工作年限太短了，投了一个多月的简历才拿到一个网易游戏的面试机会，所以劝各位想换工作的话最好还是别裸辞。话不多说，网易面试一共两轮技术面+一轮HR面：一面（技术面：1个小时）自我介绍数仓整条链路具体负责哪块团队多少人Flume具体配置Flume到Kafka的一次性Kaf
极伪·2020-08-09 17:28

Apache Kafka开源流式KSQL实战

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-09 11:33

Java基础实战（二）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task02Java基础实战
Tommie_tangh·2020-08-09 09:20

Java基础实战（三）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task03Java基础实战
Tommie_tangh·2020-08-09 09:48

Java基础陌生知识点总结

文章内容输出来源：拉勾教育大数据开发高薪训练营Java基础陌生知识点总结变量命名规则变量不能重复声明。
Tommie_tangh·2020-08-09 09:48

Hive Storage Handler入门和实战

另外，Hive作为数仓的核心组件，借助StorageHandler，数据导入导出可以统一以SQL实现，减少了大数据开发维护的技
chncaesar·2020-08-09 07:07

Java基础实战（一）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task01Java基础实战
Tommie_tangh·2020-08-09 05:06

大数据开发面试经验

大数据开发面试题目Hadoop介绍MapReduce的运行过程，shuffle过程如果在现场，我可以手绘MapReduce从InputFormat到OutputFormat的流程，一边画图一边说。
群山QunShine·2020-08-09 03:13

大数据开发一 Hadoop3.2.1 集群搭建与启动

目录1.简述2.集群搭建与启动2.1基本环境准备与安装选择2.2hadoop的配置文件设置（重点）2.3启动3.踩坑记录4.结语1.简述作为一名后端工程师，一直对大数据开发有浓厚的兴趣。
47号技术工·2020-08-08 02:39

bboss特色介绍

全局事务托管，安全认证，SSO，web会话共享，cxfwebservice服务发布和管理，hessian服务发布和管理，高性能elasticsearchorm模块，kafka/redis/mq/mongodb、大数据开发等
yinbp·2020-08-08 01:58

拉钩大数据开发高薪训练营首月体验

拉钩大数据开发高薪训练营首月体验心得感受–大数据开发高薪训练营我6月29号参加大数据开发高薪训练营。这一个月在拉钩上课真的收获蛮多的。一个月的时间把JAVA得基础整个梳理了一遍。
颜渊月和F·2020-08-07 22:59

Prometheus+Clickhouse实现业务告警

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源来源:https://www.jianshu.com/p/ae308e60220b大数据技术与架构点击右侧关注，大数据开发领域最强公众号！
大数据技术与架构·2020-08-07 19:51

CentOS 6.x 进入单用户模式加密

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
小山猪的沙塔·2020-08-07 18:39

Spark系列（三）更快一点--Spark运行处理数据原理，如何简单提高并行度？？

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2020-08-07 10:55

Flume系列 （二）Flume的实际操作--增量写入Hive--自定义拦截器完成数据过滤--数据传入kafka消费

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2020-08-07 10:55

Spark系列 （四）第一部分：RDD-DataSet-DataFrame你究竟该用哪个？应该如何使用API？？

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2020-08-07 10:55

Spark 系列（六）Spark-GraphX的PageRank算法----热度排名的实例代码+图解展示

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2020-08-07 09:39

《离线和实时大数据开发实战》_Hive优化实践_读书笔记

Hive优化实践1.离线数据处理的主要挑战:数据倾斜"倾斜"指统计学历的偏态分布;所谓偏态分布,即统计数据峰值与平均值不相等的频率分布根据峰值小于或大于平均值可分为正偏函数和负偏函数,其偏离的程度可用偏态系数刻画;Hive的优化正是采用各种措施和方法对上述场景的倾斜问题进行优化和处理2.Hive使用方面的优化对于大众的,KPI相关的指标等通常设计良好的数据仓库公共层肯定已经包含了,直接使用即可,不
Imflash·2020-08-07 09:12

《离线和实时大数据开发实战》_Hive原理实践_读书笔记

Hive原理实践Hive让数据的直接使用人员都能使用Hadoop的大数据处理能力，即使不会java编程1、离线大数据处理的主要技术：Hive1.2、Hive出现背景Hive是Facebook开发并贡献给Hadoop开源社区的；Hive是建立在Hadoop体系架构上的一层SQL抽象；HiveSQL是翻译为MapReduce任务后再Hadoop集群执行的，而Hadoop是一个批处理系统，所以HiveS
Imflash·2020-08-07 09:11

今年面试，光靠技术肯定不行了!

目前，大部分企业并没有特别成熟的大数据体系，导致大数据开发人才成长速度缓慢，处于摸着石头过河状态，极易走弯路。如何破局并抢占高薪岗位，进击大厂，成为所有程序员面临的问题
weixin_38753422·2020-08-05 04:38

《Python数据可视化之Matplotlib与Pyecharts》视频

Matplotlib与Pyecharts》B站数据分析、Python、大数据免费学习教程：第1章大数据可视化概述https://www.bilibili.com/video/BV1ga4y1i7Am/第2章搭建大数据开发环境
王国平·2020-08-05 04:18

2020，程序员如何高效提升身价？

目前，大部分企业并没有特别成熟的大数据体系，导致大数据开发人才成长速度缓慢，处于摸着石头过河状态，极易走弯路。如何破局并抢占高薪岗位，进击大厂，成为所有程序员面临的问题
chenssy·2020-08-05 04:47

云创大数据平台助力四大省级大赛！

在云计算比赛中，由裁判长刘鹏教授下发比赛试题，并基于云创大数据开发的云计算实训平台进行现场PK，比赛分数由该平台实时呈现展示，完整复现了第45届世赛云计算比赛的过程。云创云计算
深度学习世界·2020-08-05 02:41

使用easyBCD在Win10安装Ubuntu16.04LS安装双系统

作为一名大数据开发人员或者服务器开发者，window总是令人带来诸多不愉快，linux是一个很好的选择，统一的标准操作，无缝对接服务器端口，处理底层数据，真是爱不释手，越用越离不开。
戎煜·2020-08-05 01:06

大数据开发实战：Hive表DDL和DML

1、Hive表DDL1.1、创建表Hive中创建表的完整语法如下：CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMETcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)
weixin_34161032·2020-08-04 20:35

大数据学习路线图，大数据需要学什么

大数据开发学习路线：第一阶段：Hadoop生态架构技术1、语言基础Java：多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。
大数据基础入门教程·2020-08-04 15:02

【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态

阅读全文数加·大数据开发套件目前支持任务调度周期有五种：天、周、月、分钟、小时。本文将介绍这五种周期的配置和调度形态。调度规则——调度任务是否能运行起来要满足的条件：上游任务实例是否都运行成功。
chuhan3075·2020-08-04 13:05

大数据开发之hive篇----DDL建库和建表

首先，我们在介绍DDL之前，先让我们来了解一下hive的那些database，table，partition，bucket在hdfs上面是怎么样展示的。这四个里面前三个在hdfs上面都是文件夹，而具体的数据就是存储在文件里面的，所以当我们添加数据进去的时候实际上就是往这个表所代表的文件夹里面添加文件。另外，我们也知道，在hive刚搭建好的时候里面就有一个默认的数据库了default，它在hdfs上
豆豆总·2020-08-04 11:22

奈学教育《大数据开发工程师》课程大纲

本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
naixuejiaoyu·2020-08-03 20:59
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他