大数据开发常用技术

Java语法进阶及常用技术（八）--线程池

初识线程池什么是“池”----软件中的“池”，可以理解为计划经济。我们的资源是有限的，比如只有十个线程，我们创造十个线程的线程池，可能我们的任务非常多，如1000个任务，我们就把1000个任务放到我们十个线程中去，慢慢的去执行，最终会执行完所有任务。但是资源总量十个线程是被控制住的，还有就是不需要再创建更多的线程了，创建线程是有一定的开销的。所以我们复用线程池的这十个线程，每个线程的执行效率也会提
其乐无涯·2023-06-15 09:55

算法工程师与大数据工程师有什么区别？

大数据开发工程师是负责了数据仓库建设、ETL开发、数据分
IT小职·2023-06-15 05:13

校招推荐学习java开发还是大数据开发

这两个方向其实都是不错的方向，java虽然卷，但是技能在手也不怕。大数据的发展前景也是不容小觑的。关键就在于你未来想发展的方向以及个人的兴趣首先可以肯定的是，市场上终归是需要Java人才的，但是总会有人来问，Java前景怎么样？是因为看了太多人说自己学完了，培训完了，没有找到工作；甚至有人不断贩卖焦虑，Java早就没前途了，学Java就是浪费时间。于是就得出结论，Java不行了，学了也找不到工作。
我想去吃ya·2023-06-15 00:01

在 Apache Spark 中利用 HyperLogLog 函数实现高级分析

预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计，这样就能降低1000倍的数据处理量，从而在查询时大幅减少计算量，提升响应速度
·2023-06-14 16:54

大数据开发之Hive案例篇13：Hive SQL 常见参数调整

文章目录一.问题描述二.解决方案一.问题描述hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。二.解决方案以下是常见的调参:#指定队列setmapreduce.job.queuename=root.default;#在只有map的作业结束时合并小文件，默认开启true；sethive.merge.mapfile=true;##在Map-Reduce的任务结束时合并小
只是甲·2023-06-14 10:50

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB左右。由于历史遗留的问题，数据仓库需要重构，新旧数仓在一段时间内需要并存，此时HDFS空间救不够了。于是申请增加6个节点，每个节点挂20T的存储，累积给HDFS增加120TB左右空间。二.解
只是甲·2023-06-14 10:17

面试题：Spark数据倾斜解决方案

在面试大数据开发岗位中，Spark是必须具备的技能之一。最近在复习Spark时，感觉spark发生数据倾斜场景有很多，但是在面试时，说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢？
齐木木9406·2023-06-14 09:50

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
·2023-06-13 23:46

DataLeap的全链路智能监控报警实践（一）：常见问题

随着字节跳动业务的快速发展，大数据开发场景下需要运维管理的任务越来越多，然而普通的监控系统只支持配置相应任务的监控规则，已经不能完全满足当前需求，在日常运维中开发者经常会面临以下几个问题：任务多，依赖关系复杂
·2023-06-13 18:32

01：快速入门爬虫

2.爬虫的流程流程图（1）获取网页获取网页就是给一个网址发送请求，该网址会返回整个网页的数据常用技术获取
码农写手·2023-06-13 14:58

企业网中有哪些常见的网络设备？它有什么功能？

一、交换机交换机是组建企业网时最基本的设备，下面从交换机的功能，低端和高端交换机的区别，交换机调试常用技术几个方面来认识交换机。
网工学姐·2023-06-13 06:05

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-06-12 23:22

Day05 05-MySQL实战练习及答案

大数据开发、数据仓库开发、数据分析师或者数据治理等大数据相关岗位，其实更多的时候都是在对SQL进行拿捏，所以建议大家有时间一定一定要把
Aidon-东哥博客·2023-06-12 18:16

2023/06/12 产品经理常用技术名词记录

PM懂点技术总是好的吧，还是要能听懂简单的专业名词。遇到就更新…—前端\color{green}{前端}前端—H5即HTML5，第五代超文本标记语言。泛指H5广告，是一种借助微信传播的营销形式。H5页面是传统桌面网站的轻量级版本，支持无法嵌入传统网页的功能。可以把H5页面看作是网页和应用程序的混合体，它融合了两者的功能。H5页面主要用于促销或活动。一旦页面创建完成，它可以在微信时刻或微信官方账户上
六月要好好加油呀·2023-06-12 17:45

5.flink通过ExecutionConfig将参数传递给算子《深入理解flink系列》

+）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

6.flink将命令行参数传递给算子《深入理解flink系列》

+）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数将命令行参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

Maxcompute 数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云云栖号·2023-06-10 23:47

Kafka入门:集群安装部署（最新版kafka-2.4.0）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-06-10 22:44

大数据培训：如何学好大数据开发

bat等大公司常考java多线程面试题1、说说进程,线程,协程之间的区别简而言之,进程是程序运行和资源分配的基本单位,一个程序至少有一个进程,一个进程至少有一个线程.进程在执行过程中拥有独立的内存单元,而多个线程共享内存资源,减少切换次数,从而效率更高.线程是进程的一个实体,是cpu调度和分派的基本单位,是比程序更小的能独立运行的基本单位.同一进程中的多个线程之间可以并发执行.2、你了解守护线程吗
渐暖吧·2023-06-10 08:57

Chatgpt常用技术资料

ChatGPT官网是：https://chat.openai.com，目前没有所谓的手机版、电脑桌面版，只能浏览器访问官网使用，不要相信网上任何的其他版本！！！ChatGPT教程链接：Notion–Theall-in-oneworkspaceforyournotes,tasks,wikis,anddatabases.ChatGPTAPI文档链接：https://platform.openai.co
夜月鸿影·2023-06-09 16:00

【分布式-5】dubbo

基础使用就不说了，看一下dubbo的SPI，以及基于SPI的一些常用技术。在此之前先看看jdk中的spi。
growing_duck·2023-06-09 07:47

常用技术栈

目录一.Java基础1.JDKJREJVM认识（包含问题“JDK和JRE有什么区别？”）2.==和equals的区别是什么？3.两个对象的hashCode()相同，则equals()也一定为true，对吗？4.final在Java中有什么作用？0.Java中的String类能否被继承？为什么？5.Java中的Math.round(-1.5)等于多少？6.String属于基础的数据类型吗？7.Jav
HLPTHQL·2023-06-08 08:31

初学者如何快速入门大数据？程序员小哥提点建议

大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。想要学习大数据的小伙伴可以按照这个路线走，大家可以放心学习，共
juan333·2023-06-08 04:46

亲身经历告诉你，0基础转行学Python，毕业就能15000

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。
骨灰级收藏家·2023-06-07 20:37

视频教程-Oracle RMAN备份与恢复视频教程篇-Oracle

OracleRMAN备份与恢复视频教程篇OracleOCM顶级认证,PMP项目管理师,10余年工作经验,先后担任过OracleDBA,JAVA软件工程师,大数据开发工程师等岗位。
学院导师-黄知茂·2023-06-07 20:00

「硬核实操」如何拥有一个自己的数字人模型

本文大致分为三个章节：第一部分会介绍常用技术以及简介，以及自己用到构建一个自己虚拟数字人用到的3D引擎和三维软件第二部分会详细
·2023-06-07 12:38

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-07 11:29

Day04 01-MySQL存储过程入门

参数第十章存储过程10.1什么是存储过程MySQL从1.5版本开始支持存储过程(PROCEDURE)存储过程将复杂的业务实现(增删改查、变量、数组、分支、循环、方法调用、事务提交、回滚等等)搬到数据库实现，作为大数据开发者
Aidon-东哥博客·2023-06-07 08:30

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

大数据开发及和大数据相关的技术

在现如今，随着互联网技术飞速的发展，目前有不少朋友询问关于大数据方面的问题，比如什么是大数据开发啊，和大数据相关的技术是什么呢等问题，我们今天就浅谈一下大数据开发及和大数据相关的技术的问题。
乐姐·2023-06-07 05:52

分布式系统开发实战：分布式计算，分布式计算常用技术

分布式计算分布式计算就是将一个大的计算任务分解成多个小任务，然后分配给多台计算机分别计算，再上传运算结果后统一合并得出数据结论。本章详细介绍分布式计算。分布式计算概述在过去的20年里，互联网产生了大量的数据，比如，爬虫文档、Web请求日志等，也包括了计算各种类型的派生数据，比如，倒排索引、Web文档的图结构的各种表示、每台主机页面数量的概要、每天被请求数量最多的集合，等等。这些数据每天需要通过大量
Java架构师之路·2023-06-07 00:40

python技术分享

文章目录python介绍应用领域环境搭建基础知识编程工具变量基本数据类型容器数据类型程序结构运算符函数类技巧总结python内存管理python常用技术python的缺陷优化python的编码规范python
laufing·2023-06-06 23:01

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。
·2023-06-06 21:50

大数据面试核心101问【大厂超级喜欢这些题】

之前出过《史上最全的大数据开发八股文》这篇文章，同学们都觉得还不错，但是有些同学觉得那个背起来还是有些吃力，于是我再次回顾了自己之前面试所有大厂的一些面试题以及牛客上面的一些面经，然后总结了频率问的最高的
三石大数据·2023-04-21 20:16

大数据开发面试重点【2023届秋招总结】

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。
三石大数据·2023-04-21 20:16

史上最全的大数据开发八股文【自己的吐血总结】

自我介绍我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂（岗位都是大数据开发
三石大数据·2023-04-21 20:15

Leetcode SQL会员题【吐血总结~~】第三天

1127.用户购买平台1132.报告的记录II1142.过去30天的用户活动II1149.文章浏览II1159.市场分析II1164.指定日期的产品价格1097.游戏玩法分析V**注：2022年阿里春招实习大数据开发岗位笔试第一题就是留存率源代码
三石大数据·2023-04-21 20:14

【大数据开发必看】可视化BI神器---FineBI

数据可视化分析平台FineBI1.可视化的应用1.1数据可视化可视化分析平台：不用写代码，直接对原始数据通过图形化操作实现分析和构建报表平台主要用于提供给业务人员快速上手实现数据分析构建可视化报表通过图的形式来展示对应的数据，实现信息的传递传递信息的方式文字：不太适合表达数据的信息结果图片：简单直观体现数据走势体现数据大小体现数据比例声音：不太适合数据的表达视频：太笨重，不太方便1.2目的通过图片
三石大数据·2023-04-21 20:43

史上最全的2023最新大数据面试笔记【200+页，10w+字】

简介：我本硕都是双非计算机专业，研二开始学习大数据开发的相关知识，从找实习到秋招，投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂，现在已经签约蚂蚁数据研发工程师
三石大数据·2023-04-21 20:39

我们为什么需要数据血缘

大数据开发作为数据汇集与数据服务提供方，庞大的数据与混乱的数据依赖导致管理成本与使用成本飙升。
jane9872·2023-04-21 16:52

（2018干货系列七）最新大数据学习路线整合

互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。
weixin_30457881·2023-04-21 10:04

常用技术分析法之-MACD分析法

本文有币车HIT（biche.yaofache.com）大V养成计划支持【灰狼出品必出精品】常用的技术分析方法有量价分析法，MACD、KDJ、RSI、BOLL等技术线分析法，每种方法各有优劣，如果要灵活应用，还是需要大家结合各自的交易操作不断总结与实践，下面灰狼对技术分析法中最常用的指数平滑异同移动平均线（MACD）分析法进行通俗易懂的介绍。首先还是先要简单介绍下MACD，MACD称为指数平滑异同
lrhycc·2023-04-19 23:11

大宝大话大数据（一）大数据的骨架

学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。
北邮郭大宝·2023-04-19 21:59

大数据开发必备面试题Flume篇合集

大数据开发必备面试题Flume篇合集1、详细介绍Flume有哪些组件？2、你是如何实现Flume数据传输的监控的？3、Flume参数怎么调优？4、简述下Flume的事务机制。
技术人小柒·2023-04-18 22:53

精通MySQL之架构篇

今天给大家分享的是大数据开发基础部分MySQL的第一篇，老刘讲点和别人不一样的内容！
IT老王博客·2023-04-18 21:30

Spring整合MyBatis与JUnit

前面已经讲了如何管理第三方bean了，下面结合IoC和DI，整合2个常用技术，进一步加深对Spring的使用理解。Spring整合Mybatis思路分析环境准备准备数
一哑7·2023-04-18 20:45

【库学科技资讯】最厉害的大数据工程师是哪个？这4个岗位入职前一定要区分好！

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？都要做什么工作？哪个功能最强大？今天我们来看一位大神如何解释！
库学科技·2023-04-17 22:43

了解Hbase吗？说下Hbase的架构原理

说下Hbase的架构原理我是精神抖擞王大鹏，不卑不亢，和蔼可亲~计算机硕士，目前小米大数据开发。日常会分享总结一些自己面试实际问题的回答，欢迎一起讨论。
精神抖擞王大鹏·2023-04-17 17:21

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob
MegaDADT·2023-04-17 13:52

echarts经验总结

使用echarts将尽五个年头，发现很多之前遇到的问题回头又遇到了却忘记了当初解决问题的方法，因为公司是做大数据开发，对数据可视化使用频繁且需(fei)求(chang)各(bian)异(tai)，所以echarts
晚饭总吃撑·2023-04-16 19:55
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他