A大数据开发

算法工程师与大数据工程师有什么区别？

大数据开发工程师是负责了数据仓库建设、ETL开发、数据分
IT小职·2023-06-15 05:13

校招推荐学习java开发还是大数据开发

这两个方向其实都是不错的方向，java虽然卷，但是技能在手也不怕。大数据的发展前景也是不容小觑的。关键就在于你未来想发展的方向以及个人的兴趣首先可以肯定的是，市场上终归是需要Java人才的，但是总会有人来问，Java前景怎么样？是因为看了太多人说自己学完了，培训完了，没有找到工作；甚至有人不断贩卖焦虑，Java早就没前途了，学Java就是浪费时间。于是就得出结论，Java不行了，学了也找不到工作。
我想去吃ya·2023-06-15 00:01

大数据开发之Hive案例篇13：Hive SQL 常见参数调整

文章目录一.问题描述二.解决方案一.问题描述hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。二.解决方案以下是常见的调参:#指定队列setmapreduce.job.queuename=root.default;#在只有map的作业结束时合并小文件，默认开启true；sethive.merge.mapfile=true;##在Map-Reduce的任务结束时合并小
只是甲·2023-06-14 10:50

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB左右。由于历史遗留的问题，数据仓库需要重构，新旧数仓在一段时间内需要并存，此时HDFS空间救不够了。于是申请增加6个节点，每个节点挂20T的存储，累积给HDFS增加120TB左右空间。二.解
只是甲·2023-06-14 10:17

面试题：Spark数据倾斜解决方案

在面试大数据开发岗位中，Spark是必须具备的技能之一。最近在复习Spark时，感觉spark发生数据倾斜场景有很多，但是在面试时，说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢？
齐木木9406·2023-06-14 09:50

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
·2023-06-13 23:46

DataLeap的全链路智能监控报警实践（一）：常见问题

随着字节跳动业务的快速发展，大数据开发场景下需要运维管理的任务越来越多，然而普通的监控系统只支持配置相应任务的监控规则，已经不能完全满足当前需求，在日常运维中开发者经常会面临以下几个问题：任务多，依赖关系复杂
·2023-06-13 18:32

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-06-12 23:22

Day05 05-MySQL实战练习及答案

大数据开发、数据仓库开发、数据分析师或者数据治理等大数据相关岗位，其实更多的时候都是在对SQL进行拿捏，所以建议大家有时间一定一定要把
Aidon-东哥博客·2023-06-12 18:16

5.flink通过ExecutionConfig将参数传递给算子《深入理解flink系列》

+）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

6.flink将命令行参数传递给算子《深入理解flink系列》

+）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数将命令行参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

Maxcompute 数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云云栖号·2023-06-10 23:47

Kafka入门:集群安装部署（最新版kafka-2.4.0）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-06-10 22:44

大数据培训：如何学好大数据开发

bat等大公司常考java多线程面试题1、说说进程,线程,协程之间的区别简而言之,进程是程序运行和资源分配的基本单位,一个程序至少有一个进程,一个进程至少有一个线程.进程在执行过程中拥有独立的内存单元,而多个线程共享内存资源,减少切换次数,从而效率更高.线程是进程的一个实体,是cpu调度和分派的基本单位,是比程序更小的能独立运行的基本单位.同一进程中的多个线程之间可以并发执行.2、你了解守护线程吗
渐暖吧·2023-06-10 08:57

初学者如何快速入门大数据？程序员小哥提点建议

大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。想要学习大数据的小伙伴可以按照这个路线走，大家可以放心学习，共
juan333·2023-06-08 04:46

亲身经历告诉你，0基础转行学Python，毕业就能15000

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。
骨灰级收藏家·2023-06-07 20:37

视频教程-Oracle RMAN备份与恢复视频教程篇-Oracle

OracleRMAN备份与恢复视频教程篇OracleOCM顶级认证,PMP项目管理师,10余年工作经验,先后担任过OracleDBA,JAVA软件工程师,大数据开发工程师等岗位。
学院导师-黄知茂·2023-06-07 20:00

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-07 11:29

Day04 01-MySQL存储过程入门

参数第十章存储过程10.1什么是存储过程MySQL从1.5版本开始支持存储过程(PROCEDURE)存储过程将复杂的业务实现(增删改查、变量、数组、分支、循环、方法调用、事务提交、回滚等等)搬到数据库实现，作为大数据开发者
Aidon-东哥博客·2023-06-07 08:30

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

大数据开发及和大数据相关的技术

在现如今，随着互联网技术飞速的发展，目前有不少朋友询问关于大数据方面的问题，比如什么是大数据开发啊，和大数据相关的技术是什么呢等问题，我们今天就浅谈一下大数据开发及和大数据相关的技术的问题。
乐姐·2023-06-07 05:52

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。
·2023-06-06 21:50

大数据面试核心101问【大厂超级喜欢这些题】

之前出过《史上最全的大数据开发八股文》这篇文章，同学们都觉得还不错，但是有些同学觉得那个背起来还是有些吃力，于是我再次回顾了自己之前面试所有大厂的一些面试题以及牛客上面的一些面经，然后总结了频率问的最高的
三石大数据·2023-04-21 20:16

大数据开发面试重点【2023届秋招总结】

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。
三石大数据·2023-04-21 20:16

史上最全的大数据开发八股文【自己的吐血总结】

自我介绍我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂（岗位都是大数据开发
三石大数据·2023-04-21 20:15

Leetcode SQL会员题【吐血总结~~】第三天

1127.用户购买平台1132.报告的记录II1142.过去30天的用户活动II1149.文章浏览II1159.市场分析II1164.指定日期的产品价格1097.游戏玩法分析V**注：2022年阿里春招实习大数据开发岗位笔试第一题就是留存率源代码
三石大数据·2023-04-21 20:14

【大数据开发必看】可视化BI神器---FineBI

数据可视化分析平台FineBI1.可视化的应用1.1数据可视化可视化分析平台：不用写代码，直接对原始数据通过图形化操作实现分析和构建报表平台主要用于提供给业务人员快速上手实现数据分析构建可视化报表通过图的形式来展示对应的数据，实现信息的传递传递信息的方式文字：不太适合表达数据的信息结果图片：简单直观体现数据走势体现数据大小体现数据比例声音：不太适合数据的表达视频：太笨重，不太方便1.2目的通过图片
三石大数据·2023-04-21 20:43

史上最全的2023最新大数据面试笔记【200+页，10w+字】

简介：我本硕都是双非计算机专业，研二开始学习大数据开发的相关知识，从找实习到秋招，投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂，现在已经签约蚂蚁数据研发工程师
三石大数据·2023-04-21 20:39

我们为什么需要数据血缘

大数据开发作为数据汇集与数据服务提供方，庞大的数据与混乱的数据依赖导致管理成本与使用成本飙升。
jane9872·2023-04-21 16:52

（2018干货系列七）最新大数据学习路线整合

互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。
weixin_30457881·2023-04-21 10:04

大宝大话大数据（一）大数据的骨架

学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。
北邮郭大宝·2023-04-19 21:59

大数据开发必备面试题Flume篇合集

大数据开发必备面试题Flume篇合集1、详细介绍Flume有哪些组件？2、你是如何实现Flume数据传输的监控的？3、Flume参数怎么调优？4、简述下Flume的事务机制。
技术人小柒·2023-04-18 22:53

精通MySQL之架构篇

今天给大家分享的是大数据开发基础部分MySQL的第一篇，老刘讲点和别人不一样的内容！
IT老王博客·2023-04-18 21:30

【库学科技资讯】最厉害的大数据工程师是哪个？这4个岗位入职前一定要区分好！

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？都要做什么工作？哪个功能最强大？今天我们来看一位大神如何解释！
库学科技·2023-04-17 22:43

了解Hbase吗？说下Hbase的架构原理

说下Hbase的架构原理我是精神抖擞王大鹏，不卑不亢，和蔼可亲~计算机硕士，目前小米大数据开发。日常会分享总结一些自己面试实际问题的回答，欢迎一起讨论。
精神抖擞王大鹏·2023-04-17 17:21

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob
MegaDADT·2023-04-17 13:52

echarts经验总结

使用echarts将尽五个年头，发现很多之前遇到的问题回头又遇到了却忘记了当初解决问题的方法，因为公司是做大数据开发，对数据可视化使用频繁且需(fei)求(chang)各(bian)异(tai)，所以echarts
晚饭总吃撑·2023-04-16 19:55

（大数据开发随笔9）Hadoop 3.3.x分布式环境部署——全分布式模式

索引完全分布式模式守护进程布局集群搭建准备总纲配置文件格式化集群启动集群集群控制命令集群启停进程查看启动日志查看集群常见问题案例演示：WordCount完全分布式模式分布式文件系统中，HDFS相关的守护进程也分布在不同的机器上，如：NameNode守护进程，尽可能单独部署在一台硬件性能较好的机器中其他的每台机器上都会部署一个DataNode进程，一般的硬件环境即可SecondaryNameNode
脑汁·2023-04-16 13:58

（大数据开发随笔6）Hadoop 3.3.x分布式环境部署——本地模式

本地模式材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive|OracleCentos7虚拟机部署准备材料：VMware17CentOS-7-x86_64-Minimal-2009.isocentos-7-isos-x86_64安装包
脑汁·2023-04-16 13:28

（大数据开发随笔7）Hadoop 3.3.x分布式环境部署——伪分布式模式

伪分布式模式前戏jdk和hadoop环境变量配置确保防火墙关闭：systemctlstatusfirewalld；返回inactive；关闭命令systemctlstopfirewalld；防止自启动命令systemctldisablefirewalld报错：-bash:/usr/bin/systemctl:Permissiondenied解决：sudochmod-R750/usr/bin/sys
脑汁·2023-04-16 13:58

（大数据开发随笔8）Hadoop 3.3.x分布式环境部署——补充知识

索引克隆虚拟机SSH免密登录ssh简介免密登录scp命令时间同步克隆虚拟机克隆：注意要分开放置三个虚拟机的位置修改克隆机的ip地址vi/etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR重启网络systemctlrestartnetworkipaddr查看ip地址修改克隆机的主机名hostname主机名2hostnamectlset-hostname
脑汁·2023-04-16 13:27

大数据开发：OLAP开源数据分析引擎简介

今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。
成都加米谷大数据·2023-04-16 01:55

大数据开发：消息队列如何处理消息积压

今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？一般来说，消息积压的直接原因一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。
成都加米谷大数据·2023-04-15 20:40

程序员也有年龄限制？3个真实的程序员年龄故事告诉你

今天举3个真实的程序员年龄的例子故事如下第一位：丁军大数据开发工程师35岁择业丁军是一名大数据开发工程师曾在小米工作多年，后兑现股票还了房贷，跳槽去做在线教育。
51Aspx源码服务专家·2023-04-15 20:01

东软跨境电商数仓开发进度

我们学校开始了为期两个月（2022.05.23-2022.07.22）的实训，在本次实训当中，我们将围绕着东软跨境电商主题，开发一个东软睿购跨境电商项目，项目小组三人，一人做前端，一人做后端，一人进行大数据开发
Mmj666·2023-04-15 13:26

大数据开发必备面试题Kafka篇合集

1、简述下使用Kafka的原因。（1）缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。（2）解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。（3）冗余：可以采
技术人小柒·2023-04-15 13:47

大数据开发必备面试题Spark篇02

1、Spark与MapReduce的Shuffle的区别？（1）相同点：都是将mapper（Spark里是ShuffleMapTask）的输出进行partition，不同的partition送到不同的reducer（Spark里reducer可能是下一个stage里的ShuffleMapTask，也可能是ResultTask）。（2）不同点：A、MapReduce默认是排序的，spark默认不排序
技术人小柒·2023-04-15 13:46

大数据开发必备面试题Spark篇01

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap
技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap
技术人小柒·2023-04-15 13:44

大数据学习路线图（2023完整版）适合收藏

大数据开发是一门涉及处理和分析大规模数据的技术领域，随着大数据技术的不断发展和应用，对大数据开发人员的需求也在逐渐增加。就业前景相对较好，尤其在科技行业和数据驱动型企业中。
千锋IT教育·2023-04-14 23:40
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他