大数据开发

数据仓库架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。
皮皮杂谈·2023-10-02 01:14

大数据开发：Kafka Producer端主要参数解析

今天的大数据开发分享，我们就主要来讲讲KafkaProducer端主要参数。
成都加米谷大数据·2023-10-01 06:24

大数据开发之Hive篇10-Hive查询with语句

备注:Hive版本2.1.1文章目录一.Hivewith语句概述二.Hivewith语句测试案例测试数据--createtablecreatetabledept(deptnoint,dnamevarchar(14),locvarchar(13));insertintodept(deptno,dname,loc)values('10','accounting','newyork');insertin
只是甲·2023-09-30 05:18

大数据工程师零基础起步——成长路线引入

即学即写，持续更新中大数据开发基础1编程语言1.1JAVA1.2Scala（优先级靠后，有遇到需要用的时候再学，如Spark）2数据结构和算法3计算机网络4操作系统5数据库基础6设计模式7LINUX系统
ElsaWu1998·2023-09-29 22:16

KNN（上）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-29 22:46

KNN（下）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-29 22:13

大数据开发学习进阶路线图

转载声明：本文由：https://blog.csdn.net/qq_38872310/article/details/79758426?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158760983719724848356217%2522%252C%2522scm%2522%253A%252220140713.130102334.
AmorCoding·2023-09-29 09:21

SVM（下）：如何进行乳腺癌检测？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-29 06:13

SVM（上）：如何用一根棍子将蓝红两色球分开？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-29 06:43

brew 安装MySQL 5.7

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
LuckyTHP·2023-09-28 22:26

重拾那支遗弃的画笔

三年前，一起工作的同事放弃高额工作，从事新型职位大数据开发工程师，这让自己对其产生浓厚的兴趣。两年前，从第一家公司跳槽，领导本打算培养自己作为大数据工程师的接班人，结果迫于压力从公司离职。
深思即可见·2023-09-28 22:07

朴素贝叶斯分类（上）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-28 02:09

朴素贝叶斯分类（下）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-28 02:35

【大数据开发技术】实验03-Hadoop读取文件

文章目录Hadoop读取文件一、实验目标二、实验要求三、实验内容四、实验步骤Hadoop读取文件一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理掌握HDFS的API使用方法掌握通过URL类读取HDFS上的文件内容的方法掌握FileSystem读取HDFS上文件内容的方法二、实验要求给出每个实验操作步骤成功的效果截图，。对本次实验工作进行全面的总结。完成实验内容后，实验报
Want595·2023-09-27 06:13

详解MySQL事务原理

今天给大家分享的是大数据开发基础部分MySQL的事务，事务在MySQL知识点中非常重要的部分，很多伙伴只是知道MySQL的四大特性，但不知道其中的原理，老刘这次给大家详细的描述MySQL四大特性的原理，
java小霜·2023-09-27 01:28

大数据开发：Flink内存数据结构

今天的大数据开发学习分享，我们来讲讲，Flink内存数据结构。Flink的内存管理像OS管理内存，划分为段和页。1、内存段内存段，即MemorySegment，是Flink内存抽象的最小分配单元。
成都加米谷大数据·2023-09-27 00:48

【大数据开发技术】实验04-HDFS文件创建与写入

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理熟练掌握HDFS的API使用方法掌握单个本地文件写入到HDFS文件的方法掌握多个本地文件批量写入到HDFS文件的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图。对本次实验工作进行全面的总结。完成实验内容后，实验报告文件名显示
Want595·2023-09-26 22:55

【腾讯云】打造未来智能应用的基石：腾讯混元大模型

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-09-26 03:47

大数据开发轻量级入门方案

Hi,我是小萝卜算子！经过这么多年的发展，大数据的技术正处于群雄逐鹿阶段，面对这么多技术框架，我们得学会做减法。还记得我转行大数据时，只学了hadoop和hive，非常简单，差不多一周的时间，就可以出去面试了，边面试边改进，最后找到不错的工作。那个时候大部分企业用的还是1.X版本的hadoop，正逐渐的升级到hadoop2.X。当时可以很容易的转型，一大部分原因是大数据的技术还没有普及，需要学的框
小萝卜算子·2023-09-25 14:36

秋招面经第二弹：百度一面-大数据开发工程师

秋招第二弹：百度一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全。
牧码文·2023-09-25 10:50

大数据开发详细解读系列之大——数据的概念

大数据，目前IT行业里炒的最热的一个词，被称为IT行业内的又一次技术变革。随着社会的发展，社交网络的逐渐成熟移动宽带网络的不断提速，未来10年将是一个“大数据”引领的智慧时代。那么，人们常说的大数据是指什么呢？其实“大数据”包含着多种技术概念，简单的来说就是无法在一定的时间内，无法用常规的一些方法或者工具进行抓取、处理的数据集合。要理解大数据这一概念，首先要从“大”字入手。“大”其实就是暗指“数据
尚学先生·2023-09-25 09:28

大数据开发学习脑图+学习路线清晰的告诉你！月薪50K很轻松

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长!大数据学习群：86884***7735一起讨论进步学习第一阶段lin
安靜@忧伤·2023-09-25 03:26

0基础学习大数据路线，0基础大数据开发

加米谷大数据理论＋代码＋实战＋实操的独有课程体系，下面是加米谷的0基础大数据开发课程大纲：第一阶段：Java设计与编程思想学习内容：Java设计与编程思想学习目标：Java基础、Java面向对象、Java
大数据挖掘与大数据分析·2023-09-25 02:20

大数据开发工程师之SQL面试题（一）

sql面试题(一)牛客后台会记录每个用户的试卷作答记录到exam_record表，现在有两个用户的作答记录详情如下：用户1001在2021年9月1日晚上10点11分12秒开始作答试卷9001，并在50分钟后提交，得了90分；用户1002在2021年9月4日上午7点1分2秒开始作答试卷9002，并在10分钟后退出了平台。试卷作答记录表exam_record中，表已建好，其结构如下，请用一条语句将这两
密探特洛伊·2023-09-24 08:00

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统
高天艳阳·2023-09-24 08:00

大数据开发工程师面试题以及答案整理（一）

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的
陆山右·2023-09-24 08:59

大数据开发工程师面试题

一、选择题1、哪个程序负责HDFS数据存储？Datanode2、HDFS中的block默认保存几份？默认3份3、哪个程序通常与NameNode在一个节点启动？Jobtracker4、HDFS默认BlockSize是多少？64MB5、什么通常是集群的最主要瓶颈磁盘IO6、关于SecondaryNameNode？它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间7、什么可以作为集
完美屁桃·2023-09-24 08:27

大数据杂谈

大数据开发方向偏业务侧方向-业务开发-项目经理偏技术方向-平台开发-架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务
February13·2023-09-24 08:26

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图对本次实验工作进行全面的总结。完成实验内容后，实验
Want595·2023-09-22 15:02

从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：实时与查询性能不足，高并发支持挑战大：金融行业中常见的风
·2023-09-21 16:40

大数据学习基础知识总纲

大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从JaveWeb开发转岗过来的(当然
yoku酱·2023-09-21 15:41

决策树（下）：泰坦尼克号乘客的生存预测（完整代码）

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:46

决策树（上）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。欢迎小伙伴们点赞、收藏⭐️、留言、关注，关注必回关上一篇文章已经跟大家介绍过《超详细！
秋无之地·2023-09-21 05:45

超详细！一次学会Python数据可视化的10种技能

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:15

决策树（中）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:09

大数据开发常见问题

Linux磁盘百分之百的问题找到比较大的文件，然后删除大的一些日志文件sudofind/-size+100M-execls-lh{}\;&rewriteBatchedStatements=true&characterEncoding=utf-8免密yonghuALL=(root)NOPASSWD:ALL,!/usr/bin/reboot,!/sbin/reboot,!/bin/su,!/usr/b
工作变成艺术·2023-09-20 21:21

mysql 查找相似数据_MySQL慢查询优化 | 联结原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
weixin_39648492·2023-09-20 13:04

大数据开发工程师是做什么的？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。
我想去吃ya·2023-09-20 01:05

大数据开发中常用组件服务的集群管理脚本整理集合

大数据开发常用脚本整理集合大数据环境相关脚本bash运行模式说明创建shell脚本目录配置hostsSSH自动配置脚本文件同步、复制工具rsync基本用法文件同步脚步命令执行脚本节点循环简化大数据组件相关脚本
CodeDevMaster·2023-09-20 01:34

Docker遇到的问题汇总

Docker遇到的问题汇总进行大数据开发，需要虚拟一个Hadoop集群，原来都是在Win下开发的，前段时间刚换成M1pro的02021款的mbp，遇到很多很多问题，到最后也根本没有办法使用号称支持M1Mac
小菜鸡也有大佬梦·2023-09-19 15:35

大数据开发工程师应该掌握哪些技术？

那么成为一名合格的大数据开发工程师，你需要掌握的技能也比较多。具体是哪些呢，你可以参看下面的这些点。
会飞的鱼go·2023-09-18 04:59

大数据开发系列（一）----Hadoop详细配置

http://www.bubuko.com/infodetail-3137033.htmlcd1、/代表根目录2、.当前目录3、..上级目录4、~当前用户的默认工作目录/../.直接返回根目录安装Linux教程：参考：https://www.cnblogs.com/frankdeng/p/9027037.htmlVMnet1对应仅主机模式VMnet8对应NAT模式以VMnet8的IP作为基础进入r
我喜欢这个感觉·2023-09-18 01:16

大数据开发基础入门与项目实战（二）Java Web数据可视化之2.MySQL单表、约束和事务

文章目录前言1.DQL操作单表（1）DQL之排序查询（2）DQL之聚合函数（3）DQL之分组查询（4）limit关键字2.SQL约束（1）约束的介绍（2）主键约束（3）主键自增（4）非空约束（5）唯一约束（6）默认值3.数据库事务（1）事务的基本概念（2）MySQL手动提交事务（3）MySQL自动提交事务（4）MySQL事务四大特性ACID（5）MySQL事务隔离级别（6）隔离级别相关命令（7）脏
cutercorley·2023-09-17 19:01

Canal：同步mysql增量数据工具，一篇详解核心知识点

老刘是一名即将找工作的研二学生，写博客一方面是总结大数据开发的知识点，一方面是希望能够帮助伙伴让自学从此不求人。
努力的老刘·2023-09-17 17:44

【大数据开发】2024届校招岗位汇总

公司岗位字节跳动数据开发工程师华晨宝马-领悦南京助理工程师-大数据华晨宝马-北京大数据开发工程师
德彪稳坐倒骑驴·2023-09-17 12:55

Smart Community(1)之设计规范

通过前面大数据开发相关知识的学习，准备做一个项目进行练习---我给他起了一个响亮的名字：基于HadoopHA的智慧社区服务平台设计规范：做一个项目之前肯定要先规定一些开发过程中的设计规范（一）数据埋点规范
小唐同学爱学习·2023-09-17 02:53

专科学历能学习大数据开发吗？

近来不少想转行大数据的同学在跟我的的交流中诉说到:想做IT行业，但是学历太低啦。怕花了时间和精力来学习IT相关知识，最后却找不到相应的工作，一起努力都付诸东流。对于这类学生，一般会建议他们来学习大数据，为了前沿技术，为了高薪。具体原因是什么呢，下面一起来了解一下。1.因为大数据是IT行业中比较炙热的项目，现在各个用人单位对于大数据相关的人才需求量特别的大。相关统计数据显示，未来3~5年，中国需要1
yoku酱·2023-09-17 01:34

数据集成：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:23

数据变换：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:53
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他