大数据开发常用技术

2023大数据面试总结

先说些废话作为一个全栈开发工作者，曾经对公司专职的大数据开发有着浓厚的兴趣，所以尝试学习大数据开发所需要的各种技术栈。本文就是我在学习过程中记录下，所遇到的一些大数据面试的提问，仅供参考。
fx67ll·2023-07-19 17:31

被大厂抢着要，最终拿到20k的高薪offer！

学科|Python+大数据开发校区|北京薪资|20k周同学，刚毕业后便从事的IT行业，但2年以来，工作一直没有什么起色，为了跳出舒适圈，找到更高薪的工作，他决定换一种岗位，并系统的提升一下自己的编程技能
Blue92120·2023-07-18 15:02

大数据开发工程师--面试宝典

本文旨在与大数据开发人员一起学习探讨大数据开发技术问题。有兴趣的可以互关进圈哈。2.岗位技能要求（1）Java基础、数据结构与算法、计算机网络基础（2）Linux基础（3）Hado
风气又波·2023-07-17 21:40

python面向对象校园管理系统

面向对象（完整版）_哔哩哔哩_bilibili校园管理系统_不二郭的博客-CSDN博客过程：1-uml图画的和实际demo并不是完全一致2-总部校区下面有分校区，每个课程只能绑定一个班级，比如C语言开发和大数据开发都分属于班级
zew1040994588·2023-07-17 18:41

无线局域网WLAN之初步认识

1、WPAN(WirelessPersonalAreaNetwork):个人无线网络，常用技术有:Bluetooth、ZigBee、NFC、HomeRF、UWB。
夜深人静码代码·2023-07-17 00:01

Java分布式项目常用技术栈简介

Spring-Cloud-Gateway:微服务之前架设的网关服务，实现服务注册中的API请求路由，以及控制流速控制和熔断处理都是常用的架构手段，而这些功能Gateway天然支持运用SpringBoot快速开发框架，构建项目工程；并结合SpringCloud全家桶技术，实现后端个人中心、自媒体、管理中心等微服务。运用SpringCloudAlibabaNacos作为项目中的注册中心和配置中心运用m
零维展开智子·2023-07-15 13:18

大数据开发之windows安装hadoop教程

第一步安装JDK第二步安装Hadoop下载hadoop地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/2.下载hadoop-winutilshttps://github.com/cdarlint/winutils将红色方框里面的文件复制到hadoop-3.2.2\bin目录中，hadoop主要基于linux编写，这个winu
茅草屋的屋·2023-07-15 10:34

大数据开发之Windows10上运行第一个hadoop实例wordcount

第一步下载程序MapReduceClient.jar及数据文件input_file.txt，地址https://github.com/yjjhkyq/Hadoop-On-Window第二步以管理员身份打开cmd不以管理员身份打开cmd会报如下错误Exceptionmessage:CreateSymbolicLinkerror第三步启动hadoop第四步在dfs中创建输入目录并且上传文件hadoop
茅草屋的屋·2023-07-15 10:34

大数据开发之在idea中开发第一个hadoop程序

第一步新建一个maven项目第二步在pom文件中导入相应的依赖bigdataorg.hadoop.example1.0-SNAPSHOT4.0.0example1_wordcountjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common3.2.2org.apache.hadooph
茅草屋的屋·2023-07-15 10:34

SpringBoot（一）：项目概述

项目特点项目开发环境项目技术栈运行项目项目开发约束代码规范模块规范数据库规范业务规范补充说明项目效果图zero-adminzero-admin管理系统是作者在github上面的一个开源项目，这个开源项目使用了如今市场上Web开发的各种常用技术
次时代小羊·2023-07-15 08:19

SpringBoot构建大数据开发框架

为什么使用SpringBoot1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工2、需要各种XML配置，还需要搭建Tomcat或者jetty作为容器来运行，每次构建项目，都需要经历此流程3、一个整合良好的项目框架不仅仅能实现技术、业务的分离，还应该关注并满足开发人员的“隔离”springBoot是什么SpringBoot是由Pivotal团
金光闪闪耶·2023-07-15 08:52

学Spark需要什么基础？

作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。那么Spark需要什么基础？
好程序员IT·2023-07-15 06:36

20天学习Spark（0）之最简单版Spark入门

Spark是一种由scala编写的快速、通用、可扩展的大数据分析引擎，所谓大数据分析主要是对大量数据进行分析处理，是目前大数据开发职业必备技能一、简单介绍下面是对spark的简单介绍，嗯，主要就是说下spark
浩哥的技术博客·2023-07-15 06:59

常用技术完成数据脱敏的设计方案

常用技术完成数据脱敏的设计方案如何使用SpringBoot、MySQL、ActiveMQ和Redis等技术来实现数据脱敏，我提供更详细的说明。
Mr顺·2023-07-15 00:49

大数据开发环境-Hbase

1.启动之前需要确保hadoop启动#查看Hadoop是否已经正常启动:start-all.shjps2.启动Hbase
三三木木七·2023-07-14 22:57

python实现myql表字段自适应并发插入1000万条数据

进行大数据开发时，我们常常需要造数据去进行性能验证，本文我们将介绍两种方法往mysql中插入1000万条随机数据（可以自己指定数据量），两个方法均可以达到目的，其中方法一为顺序执行，耗时较长；方法二为并发插入
随风i·2023-07-14 08:52

NiFi 处理器(Processor)简介

NiFi处理器一.查看处理器选择处理器组件,拖入组件工作区,NiFi官方提供了283个处理器整合了大部分常用技术二.常用处理器ExecuteScript:执行脚本处理器,支持:clojure,ecmascript
小伙无限帅·2023-07-14 07:45

大数据专业学习起来难么

学习难度要因人而异，不能一概而论，如果不确定自己能不能学会，可以找一些视频资源自己先学习下试试Python+大数据学习路线图详细介绍第一阶段大数据开发入门学前导读：从传统关系型数据库入手，掌握数据迁移工具
我想去吃ya·2023-07-14 07:34

易基因 | 表观遗传IVD检测专题报告1：背景，样本类型与常用技术

前言目前已有大量的研究表明，表观遗传学，特别是DNA甲基化变化，伴随着疾病的早期发生到后期发展，并可作为临床疾病全过程管理（其中包括早期诊断、个性化医疗、复发检测、慢性疾病的风险评估等）的生物标记物。如通过检测手术切除的肿瘤组织的DNA甲基化变化，可辅助诊断治疗效果，其分子表征亦可成为预后的评判指标。利用血液，粪便，尿液或者其他生物样品中存在的cell-freeDNA（cfDNA），可准确地检测到
E_GENE·2023-07-13 22:07

Java简介

Java的简介1.Java是什么2.Java的诞生背景3.Java的三个方向三、Java的特性1.面向对象2.简单性3.多线程4.跨平台5.健壮性6.可移植7.高性能四、Java的应用1.Java开发2.大数据开发
水坚石青·2023-07-13 20:30

一个例子带你了解MapReduce

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-23 00:46

英特尔oneAPI人工智能黑客松 - 机器视觉挑战案例

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-22 15:15

大数据开发薪资怎么样

想必想入行的小伙伴在正式开始学习之前，都会考虑薪资这个可观因素。有不少小伙伴是看中了大数据的薪资选择加入这个行业的，想知道以后能找什么工作以及工作薪水，那不妨让我们以数据的方式来展示一下~猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看，2022年1-4月各行业中高端人才平均年薪来看，人工智能行业中高端人才平均年薪最高，为31.04万元；金融行业中高端人才以27.69万元的平均年薪
我想去吃ya·2023-06-21 22:38

任务调度器-DolphinScheduler3集群安装

【背景】我本身是从事大数据开发工作的，在一些外部项目或者一些不太成熟的公司，是没有任务调度器可用的，之前mysql存储过程用自带的event事件调度，一般抽数用Kettle+crontab调度，虽然也可以用
白杨Shayne·2023-06-21 19:57

大数据相关常用软件下载地址集锦

  由于大数据开发中经常需要用到Zookeeper、Hadoop、Spark、HBase、Kafka、Flume、Redis、Hive等软件，安装的时候需要它们的下载地址，这里就汇总一下，方便同学们查找
想你依然心痛·2023-06-21 09:10

大数据入门初学者需要学习的内容及学习路线详解

大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。
大数据开发交流·2023-06-20 20:58

bigdata1234.cn 大数据开发基础课堂测试

数据容量单位：1byte=8bits1kilobyte(KB)=1024bytes1megabyte(MB)=1024KB1gigabyte(GB)=1024MB1terabyte(TB)=1024GB1petabyte(PB)=1024TB1exabyte(EB)=1024PB1zettabyte(ZB)=1024EB1yottabyte(YB)=1024ZB.当前大数据技术的基础是由谷歌首先提
亖嘁·2023-06-20 03:23

大数据开发：流处理组件Flume、Kafka对比

今天的大数据开发学习分享，我们就来对流处理组件Flume、Kafka，做个简单的比较。
加米谷大数据张老师·2023-06-20 00:50

分布式系统基础（一）

《分布式系统常用技术及案例分析（第2版）》，带我走进分布式系统的第一本书。
monkeydbo·2023-06-19 15:59

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-19 15:08

【Hadoop】大数据开发环境配置

【Hadoop】大数据开发环境配置文章目录【Hadoop】大数据开发环境配置1设置静态ip2设置主机名3关闭防火墙4ssh免密码登录5JDK配置6hadoop安装并配置6.1集群节点之间时间同步6.2SSH
chaoql·2023-06-19 15:22

Nginx运维常用技术点总结

文章目录一、简介：1、Nginx简介2、常用四大发行版二、Nginx编译安装：1、Nginx编译安装2、Nginx目录结构3、Nginx相关命令三、Nginx配置文件解析1、最小配置2、虚拟主机3、匹配正则表达式四、Nginx反向代理1、理论2、实践：Nginx反代代理Tomcat五、Nginx负载均衡1、实践：Nginx负载均衡Tomcat2、负载均衡策略六、Nginx+Keepalived高可
神奇的海马体·2023-06-19 12:59

Maven比较全、比较详细maven操作、pom.xml文件配置笔记，适合干大数据开发的人（Windows，Linux）

简介：主要用于Windows和linux写相关插件时弄框架使用，基础的配置操作介绍，适合初学者和不喜欢被代码的人，本篇博客是自己整理的笔记，有不足的地方请多多指教！！！maven操作配置目录maven基础配置Maven的核心配置文件settings.xmlMaven的中央仓库配置Maven的指定编译jdk版本配置Maven打包的相关配置在pox.xml中配置支持依赖打包的代码段在pom.xml配置
小雏菊的成长·2023-06-19 08:13

Flink实战：FlinkSQL接收开启Kerberos认证的Kafka集群数据存入MySQL

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-06-19 01:32

从就业来讲学java还是python_学IT选Java还是Python？就业发展有何区别？

Java更偏向移动应用、科学应用、大数据开发，安卓开发，服务器开发，桌面开发，游戏开发。Java作为
weixin_39602280·2023-06-18 21:25

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。
成都加米谷大数据·2023-06-17 19:45

Flume实现Kafka数据持久化存储到HDFS

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-17 18:46

易基因 | 表观遗传IVD检测专题报告2：已认证表观遗传IVD产品介绍

已认证表观遗传IVD检测产品简介表3：表观遗传IVD检测常用技术表3总结了现有的具有FDA、LDT、或欧盟CE-IVD认证的的基于ctDNA甲基化的IVD产品，产品特征将按应用场景和检测肿瘤类型逐一介绍
易基因科技·2023-06-17 17:35

【大数据】可视化仪表板 - Superset的安装和使用

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-17 09:08

Java大数据：全文搜索引擎Elasticsearch入门

在之前的《Java大数据：大数据开发必须掌握的四种数据库》一文中，我们提到了MongoDB、Redis、ElasticSearch、Hbase，系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍
加米谷大数据张老师·2023-06-17 08:20

Scala基础编程

Scala编程第1阶段：基础语法第2阶段：面向对象（掌握书写）第3阶段：高级特性（重点）第4阶段：并发编程（了解）scala语言的定位：1、在大数据开发中，使用最多的语言：java针对一些高端企业，会要求开发人员使用
从来不加班的小洋洋·2023-06-16 13:52

黑盒、白盒、灰盒，如何选择合适的模糊测试工具？

在软件开发和安全领域，模糊测试是一种常用技术，用于发现应用程序或系统中的潜在漏洞和安全弱点。选择不同的模糊测试方法将极大地影响测试的有效性和效率。
开源网安·2023-06-16 12:10

猿创征文｜大数据开发必备的数据采集工具汇总

适用场景工作方式2、FlinkCDC适用场景工作方式3、Sqoop适用场景工作方式4、Canal适用场景工作方式5、Kettle适用场景工作方式前言随着大数据近几年的发展，已经在国内外的开发市场积累出一大批大数据开发的技术型人才
chad__chang·2023-06-16 03:23

【Hadoop技术篇】hadoop的使用

博主介绍‍博主介绍：大家好，我是淼淼_喵，很高兴认识大家~✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步欢迎评论作者水平有限
chad__chang·2023-06-16 03:53

大数据开发难学么

好学不好学真的是小马过河的问题，会者不难，难者不会。但是不可否认的是，在初学一门语言的时候，都是会有一些难度的，就看你有没有找对学习路线和适合自己的学习方法~最简单的方法就是自己先学习一下，看看自己的理解能力和掌握情况怎么样就能判断到底是不是难学了学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及J
我想去吃ya·2023-06-15 15:05

团体心理咨询理论与实践 第五讲团体心理咨询常用技术

团体心理咨询常用技术美国团体工作专业协会提出的团体领导者应具备的技术1.有能力选择合适的团体参加者2.对团体咨询有清晰的界定，有能力对组员解释团体目标和程序3.有能力对组员行为进行积极的干预4.对组员进行适当的示范
Cuingaating·2023-06-15 14:55

大数据开发之Hive案例篇10-大表笛卡尔积优化

文章目录一.问题描述二.解决方案2.1数据倾斜2.2SQL改写1:由分析函数改为常规写法2.3分析数据分布2.4SQL改写2:重写参考:一.问题描述需求描述:表概述:dt时间分区data_source数据来源类别start_date时间data_count当前时间的数量需要实现的需求求每个data_source下start_date当前累积的data_countSQL代码:selectdt,dat
只是甲·2023-06-15 13:32

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:57

Maxcompute 数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:25

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:05
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他