【大数据开发】

apache beam 初探--java篇

受技术开源的影响，大数据开发者提供了十分丰富的工具。但也因为如此，增加了开发者选择合适工具的难
weixin_30920513·2020-07-10 07:34

kafka connect

一.KafkaConnect简介Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。
HuFeiHu-Blog·2020-07-10 04:47

五分钟系列 | Spark3.0新特性之动态分区裁剪

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-07-10 01:16

大数据开发--hadoop压缩 snappy测试

摘要：  我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的，我们可以查看$HADOOP_HOME/lib/native,最开始里面是空的。或者执行hadoopchecknative-a来查看支持的压缩，发现压缩格式基本都是false。如果要用snappy压缩，需要重新编译hadoop。下面我们来编译hadoop。一、编译准备部署JAVA环境安装m
夏至1208·2020-07-09 22:18

大数据开发--hadoop存储格式

行式存储与列式存储  在介绍hive存储格式之前，我们先来了解一下行式存储与列式存储的区别。1、行式存储优点：  一条数据就是一行，比较符合面向对象的思维，所有信息都放在一起。这种存储格式可以很方便的进行insert/update操作。缺点：a、如果只需要查询几个列的数据，它会读取所有的列的数据，而不能跳过不需要的列。一般在数据量比较大的时候性能影响比较明显。b、由于每一行中有很多不同的数据类型，
夏至1208·2020-07-09 22:18

零基础，在30岁学习大数据开发还有机会吗？

生活压力越来越大，家庭、房贷、车贷等压力像一座座大山压在30岁这批而立之年的人群。面对着行业的不景气，加薪、升职似乎都成为了遥不可及的事情。因此，很多从业者开始走向了转型的道路，纵观目前市场的发展，大数据开始成为首选。从去年开始，互联网上一直存在着这样的言论，比如：云服务普及了，运维工程师就要失业了；等DevOps或者SRE落地了，运维工程师也要失业了；容器技术普及了，运维工程师也该失业了……很多
数据工程师陈晨·2020-07-09 14:12

干了三年Java，是不是该考虑转型了？

前两个路径，如果你比较优秀，就当我没说，如果你觉得自己还不是那么优秀，那第三个方向能更快的帮你涨薪，毕竟大数据开发的缺口还是更大一些的，所以今天给你们讲讲第三个方向：大
chenssy·2020-07-09 14:53

大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢？

眼下，Flink可以说是DT时代程序员的加分项，更是大数据开发求职者进大厂的必备技能，但很多开发者在工作面试中依旧有不少问题：知识片面，技术薄弱，知其然不知所以然，无法从容应对大厂技术面；缺乏实践，不懂业务需求
程序员小灰·2020-07-09 13:30

大数据开发工程师面试题 （20.04.15）

概述本篇同样是一些博主最近面试遇到的问题，在此和大家分享一下。正文1.在开发中，你们用的Flink版本答：我们使用的是Flink1.8.0版本。注意：各个版本的发布时间2.Flink发生数据倾斜，怎么解决？自带的数据倾斜解决机制？答：①自带的机制rebalancing:分区元素轮循，从⽽为每个分区创建相等的负载。dataStream.rebalance()②发生窗口数据倾斜时：将key进行扩展，扩
纯净天空7·2020-07-09 10:46

大数据开发工程师面试题 （20.04.16）

概述本篇是本周周四博主面试遇到的问题，在此和大家分享一下。正文1.介绍一下你的项目那肯定是拿自己最拿手的项目啊，博主最近交付的项目名叫：XXX综合分析系统，就拿它讲一讲咯。参考示例：这是我的一个小伙伴分享的java项目的重点部分的讲述方式。壹背景：当时，有一个任务指标，是说，要我们根据用户的历史购买记录或者访问足迹，定制有针对客户的广告产品的推送。贰接到任务后的思路：我接到的这个需求后，因为从来没
纯净天空7·2020-07-09 10:46

大数据开发工程师面试题 （20.04.14）

概述本篇博客将收集总结一些，本博主面试大数据开发工程师岗位遇到的面试题，虽然不一定高频，但是也算经验之谈，希望对各位有所帮助。
纯净天空7·2020-07-09 10:46

大数据开发Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建（超详细）

Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建最近在新电脑上配置大数据开发环境，踩了不少坑，更具网上的一些方法整理了一套比较简单的hadoop+zookeeper+hbase
SusurHe·2020-07-09 09:03

大数据开发之Hadoop篇----hdfs垃圾回收机制配置

其实要启动hdfs上的垃圾回收机制只需要配置两个参数就可以了，也是在core-site.xml上配置就好了，我们先去官网看下这个两参数的解释。官网的解释是：Numberofminutesafterwhichthecheckpointgetsdeleted.Ifzero,thetrashfeatureisdisabled.Thisoptionmaybeconfiguredbothontheserve
豆豆总·2020-07-09 09:49

我们为什么要学习大数据分析？（一）

就目前而言，很多人开始朝向大数据分析和大数据开发两个方向发展了。据统计，转向大数据分析方向的人比转向大数据开发的人更多一些。不少人在这两个方向都是比较纠结的，在小编眼里，还是比较倾向于大数据分析。
CDA·数据分析师·2020-07-09 03:09

Spark on Yarn集群搭建详细过程

由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案：Standalone,Mesos,Yarn。
yjh314·2020-07-09 03:19

师兄大厂面试遇到这条 SQL 数据分析题，差点含泪而归！

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。
云祁·2020-07-08 23:00

【迭代式开发v1】实际去建Web前端页面所需的数据库（以前只是设计）+Web后端部分代码实现——大数据开发实战项目（八）

目录一、大家一起完成的部分二、分工部分1、张志浩、赵磊：实际去建Web前端页面所需的数据库（以前只是设计，并没有实际建表）1.1、数据库设计：1.2、数据库连接工具1.3、实现：1.4、sql建表语句举例：2、王阔：Web后端部分代码实现（注：未完成终端属性模块的类与方法设计：TerminalAttributes）一、大家一起完成的部分讨论以前音乐推荐系统中的ArtistServiceImpl类中
爱做梦的鱼·2020-07-08 21:01

【迭代式开发v1】Web后端类与方法代码实现——大数据开发实战项目（九）

目录一、一起完成的部分小组讨论确定代码注释规范类注释：在idea中自定义文件头模板方法注释：使用java的原生doc就行二、分工完成部分Web后端类与方法代码实现类和方法设计：代码实现结构截图：一、一起完成的部分小组讨论确定代码注释规范类注释：在idea中自定义文件头模板方法注释：使用java的原生doc就行二、分工完成部分Web后端类与方法代码实现像往常一样分工：赵磊：概况（部分完成，完成部分细
爱做梦的鱼·2020-07-08 21:01

【迭代式开发v1】Web后端类与方法设计（二）——大数据开发实战项目（七）

目录一、大家一起完成的部分1、讨论要把复杂度放到lamda表达式还是要新建个数据类2、sql语句要写成静态还是动态（加入变量）二、分工部分1.类设计与方法设计：1.1、赵磊模块一：概述模块：Overview（完成，但细节问题有待讨论、实践部分完成，完成部分细节问题有待讨论、实践）1.2、赵磊模块二：用户分析模块：UserAnalysis（完成，但细节问题有待讨论、实践）1.3、王阔模块一：存留分析
爱做梦的鱼·2020-07-08 21:01

Web开发技术选型、分层、分包以及类与方法设计——大数据开发实战项目（六）

目录Web设计：一、大家一起完成的部分参考：1.技术选型：springboot，前端bootstrap，数据库Mysql，数据库访问JDBCTemplate。2.分层：四层结构。3.分包：二、分工部分1.类设计与方法设计：1.1概述模块：Overview（完成部分）1.2.用户分析模块：UserAnalysis（未完成）1.3.留存分析模块：RetentionAnalysis（完成部分）1.4.渠
爱做梦的鱼·2020-07-08 21:00

【ADS层表-V1】前端页面所需的数据库设计——大数据开发实战项目（五）

文章目录前言TiTan数据运营系统——数据库表的具体设计前言如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。大数据项目开发进度（实时更新）专栏
爱做梦的鱼·2020-07-08 21:00

突围川普效应 阿里B2B：善用大数据

阿里巴巴台湾分公司总经理傅纪清15日表示，各国政策风险虽然是不可控的，但从另一角度来看，国际贸易本质毕竟还是跨境的，厂商仍可以借力网路跟大数据开发其他国家市场。
weixin_34220179·2020-07-08 17:49

详细讲解MapReduce二次排序过程

2019独角兽企业重金招聘Python工程师标准>>>我在15年处理大数据的时候还都是使用MapReduce,随着时间的推移,计算工具的发展,内存越来越便宜,计算方式也有了极大的改变.到现在再做大数据开发的好多同学都是直接使用
weixin_33795806·2020-07-08 15:47

ZooKeeper需要关注的点

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！很多大数据栈/分布式系统当中，zk都充当着重要角色。
大数据技术与架构·2020-07-08 10:35

大数据开发环境搭载9--安装kafka集群

9、安装kafka集群下载https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz将kafka安装到/usr/local/kafkatar-xvzfkafka_2.12-0.10.2.1.tgz-C/usr/localmv/usr/local/kafka_2.12-0.10.2.0/usr/
OctaviusWoo·2020-07-08 09:41

数据库、数据库管理系统、SQL和图形界面工具的关系

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
小山猪的沙塔·2020-07-08 09:21

大宝大话大数据(一) ——大数据的整体框架

学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。
北邮郭大宝·2020-07-08 08:10

大宝大话大数据（二）——大数据的学习路径和方法

本文将对自己学习大数据的路径和方法做一个回顾，有意入门大数据开发的同学可以参阅我的学习过程，结合自己的实际情况，做一些优化和调整。以下内容都是我的一家之言，仅供参考。首先说下学习方法的问题。
北邮郭大宝·2020-07-08 08:10

Hive SQL常用命令总结，大数据开发人员按需收藏

Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。这种SQL就是HiveSQL，她可以将SQL语句转换为MapReduce任务运行，通过特殊的SQL去查询分析需要的内容，使不熟悉mapreduce的用户很方便的利用SQL语言查询，
技术大咖秀·2020-07-08 05:42

hadoop之离线处理电商项目架构和实现

解决数据倾斜、sql优化、基于元数据管理、SQL到MR过程Flume：将数据抽取到hdfs调度：crontab、shell、AzkabanHUE：可视化的notebook，CM自带，排查数据2.处理流程大数据开发
shell33168·2020-07-08 05:49

大数据如何学习？想要做大数据的必看！

一文读懂大数据平台——写给大数据开发初学者的话!
金光闪闪耶·2020-07-08 00:25

大数据开发笔记

大数据开发笔记0Brief1Java2SQL3大数据组件底层原理EMR-阿里云大数据平台/工业场景下的大数据工具HDFS-分布式文件系统MapReduce-分布式数据处理引擎HBase-分布式数据库/NoSQL
Fighter Fong·2020-07-07 22:54

北漂之租房指南

北漂未及三月，最最心累的不仅仅从未接触过的工作（怎么就从C++开发转到大数据开发了），还有让人一筹莫展、咬牙切齿的租房问题。
MISAYAONE·2020-07-07 17:05

为什么学习大数据，大数据专家写给大数据分析学习者的10个理由

因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边小编收集了十个为什么要学习大数据分析的十个理由
DemonHunter211·2020-07-07 12:11

数据调度平台系统二大种类及其实现方法与流程

什么是调度系统调度系统，更确切地说，作业调度系统（JobScheduler）或者说工作流调度系统（workflowScheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分
taskctl·2020-07-07 08:57

零基础学[Hadoop]-01

如约而至，你们好我是AC，就是啊晨的意思，今天讲hadoop，是大数据开发工程师必备技术之一好吧，废话不多说，跟我一起，先入个hadoop的门吧文章目录什么是Hadoop？
E699A8·2020-07-06 21:54

详细讲解MapReduce二次排序过程

我在15年处理大数据的时候还都是使用MapReduce,随着时间的推移,计算工具的发展,内存越来越便宜,计算方式也有了极大的改变.到现在再做大数据开发的好多同学都是直接使用spark,hive等工具,很少有再写
mamba10·2020-07-06 17:38

大数据开发有哪些难点？

今天我们聊聊大数据开发，大数据开发共有四个阶段：数据采集，数据汇聚，数据转换和映射，数据应用。那么每一个阶段，他们的难点有都是什么呢?
非科班大数据工程师·2020-07-06 11:17

30岁了，还可以转行大数据开发吗？

这里有一个半路转行做开发实现年薪40W的故事，也许对你有帮助。毕业后第一份工作是公司的销售，卖那种app注册量，没错，就是经常在大街上有人拉着你让你扫二维码注册app那种。但是只工作了四个多月我就萌生了转行做开发的想法，原因有两点：一是通过在公司一段时间的工作，我意识到做开发更有技术含量，未来的想象空间更大，公司所有的销售基本就是靠开发的软件而生；二是开发比销售更体面，不用风吹雨晒花尽心思去猜客户
xyzkenan·2020-07-06 09:11

大数据分析用java还是Python

大数据开发既要学习Python，也要学习java。
·2020-07-06 08:04

大数据开发实战：数据流图及相关数据技术

1、大数据流程图2、大数据各个环节主要技术在这里还是要推荐下我自己建的大数据学习交流群:9437**91324，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件开发党，不定期分享干货
weixin_45732643·2020-07-06 06:54

大数据开发都需要掌握哪些编程语言

当前正处在大数据时代背景下，大数据技术目前也正处在落地应用的初期，未来大数据的发展空间还是比较大的，所以学习大数据相关技术是个不错的选择。大数据编程语言的选择要根据具体的工作岗位来进行，目前大数据领域的工作岗位包括大数据平台研发、大数据应用开发、大数据分析和大数据运维，除了大数据平台研发之外，其他岗位的人才需求量还是比较大的，尤其是大数据分析岗位。大数据应用开发岗位比较常见的编程语言包括Java、
程序员老金·2020-07-06 06:54

大数据开发环境搭建之linux服务器的安装搭建

VM12虚拟机安装首先完成VM12的安装，有需要的请去下方链接下载需要的文件，里面有vm12的安装教程，在这里不做过多的教程。本片主要是linux系统的安装教程。链接：https://pan.baidu.com/s/19fGgOU-hsiErQJ9QdGCMZw提取码：46dmLinux系统的安装（无桌面版）1检查BIOS虚拟化支持（自行百度）2新建虚拟机3新建虚拟机向导4创建虚拟空白光盘5安装L
大数据封神之路·2020-07-06 05:17

TortoiseSVN使用教程【多图超详细】——大数据开发实习（一）

文章目录前言一、SVN简介二、安装1.进官网选择对应版本2.往下划网页可以下载语言包和说明文档3.运行下载的TortoiseSVN安装程序4.运行下载的TortoiseSVN中文语言包三、建立一个工作目录1.首先先把这个目录建立出来。2.进入创建的目录在空白处按下右键后(您可以在working目录的icon上按，也可进入working目录后，在空白的地方按)，选择SVN检出（SVNcheckout
爱做梦的鱼·2020-07-06 04:58

电子战仿真效能评估系统支撑平台

电子战仿真评估支撑平台优势互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果你真的想做，可以来这里，这个手机的开始数字是一伍扒中间的是壹壹三三
weixin_33994444·2020-07-05 23:33

大数据入门——Java基本语法

大数据开发课程有几个月的Java学习，然后进入大数据部分，打牢Java基础，有助于大数据学习。
G小曲·2020-07-05 22:41

写给大数据开发初学者的话

转自http://lxw1234.com/archives/2016/11/779.htm导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者在博客和QQ
weixin_30633949·2020-07-05 21:19

大数据开发初学者必看的学习路线

大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。当我们最初谈大数据的时候，谈的最多的可能是用户行为分析，即通过各种用户行为，包括浏览记录，消费记录，交往和购物娱乐，行动轨迹等各种用户行为产生的数据。由于这些数据本身符合海量，异构的特征，同时通过分析这些数据之间的关联性容易匹配
詹小布·2020-07-05 20:50

年薪40w的大数据开发，它不香么？

薪资高、机会多、缺口大，让大数据在开发圈里成了香饽饽。与此同时，在我做公众号的这两年，目睹了太多人「从入门到放弃」，甚至有些人连大数据的门都没进来。看看你是哪种？在中小企业做了一段时间大数据，但是只做大数据全流程中的一小块工作，对整个流程啊、怎么选型都没啥概念，而且公司的数据量级也不够，跳槽到大厂很难。自学了一阵大数据，只学到了皮毛不说，根本没有数据库去模拟存储计算，简历上也只敢写「了解」某某技术
过往记忆·2020-07-05 19:47

数据中台建设五步法

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！数据中台建设五步法是我们在十几个数据中台项目落地实践中总结出的一套方法论。
大数据技术与架构·2020-07-05 18:29
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他