大数据开发常用技术

MaxCompute 自定义 Java UDF

公司大数据开发使用的是阿里云的MaxCompute，MaxCompute自身提供了很多HiveSQL函数，能够满足大部分需求，但是总有一些HiveSQL函数无法满足的需求，比如base64编解码等等，目前
Q以梦为马·2023-10-26 01:47

Scala 语言

领域模型设计--------------面向对象开发设计的核心数据集计算模型----------大数据开发的核心Scala是一门多范式的编程语言,同时支持面向对象和面向函数编程风格。
纯净天空7·2023-10-24 01:27

大数据开发语言Scala（一）——scala入门

累了，基础配置不想写了，直接抄了→Scala的环境搭建这里需要注意的是，创建新项目时，不要用默认的Class类，用Object，原因看→scala中的object为什么可以直接运行一、Scala简介1.1图解Scala和Java的关系1.2关键字说明package：包，等同于java中的packageobject：关键字，声明一个单例对象（伴生对象）main方法：从外部可以直接调用执行的方法def
five小点心·2023-10-24 01:54

经验分享：大数据时代，如何让数据成为资产

作者从从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，总结他的所见所闻以及他的学习的成果，分享给大家。
数据小仙女·2023-10-23 16:32

多语言跨境商城源码，出海跨境商城软件开发模式平台

采用常用技术：各种编程语言和技术，成熟的开发框架和数据库系统。多种支付方式：多种支付方式，包括信用卡、网上银行、第三方支付等。
柏诣科技·2023-10-23 12:39

到底什么才是大数据开发？

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
金光闪闪耶·2023-10-22 04:47

Python算法：八大排序算法以及速度比较

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-21 07:06

Python爬虫：ad广告引擎的模拟登录

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-21 07:00

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?
三思而后行，慎承诺·2023-10-21 07:42

大数据开发平台(Data Platform)在有赞的最佳实践

在统一的大数据开发平台产生之前，面临一系列的问题：多个开发和调度入口，不同的业务部门之间的项目或组件很难复用，同时带来繁
李旭me·2023-10-20 08:43

大数据开发复习Spark篇

11、spark11.1、spark介绍ApacheSpark是用于大规模数据处理的统一分析计算引擎Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。11.2、spark与Hadoop的区别尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop，Spark主要用于替代Ha
落幕7·2023-10-20 08:29

面经总结(大数据开发相关)

数据仓库综合1.OneData方法论的标准:3.缓慢变化维(SCD)常见的解决方案重写维度值在维度表中,仅需以当前值重写先前存在的值,不需要触碰事实表缺点:如果业务需要准确的跟踪历史变化,这种方案是没法实现的,并且在以后想改变时非常困难的插入新的维度行可以保留历史数据,维度值变化前的事实和过去的维度值管理那,维度值变化后的事实和当前的维度值关联缺点:虽然此方案能够区分历史情况,但是该方式不能将变化
举个栗く·2023-10-20 08:58

【Spark】黑马-大数据开发2

Scala+Spark-大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型
浪里小飞侠·2023-10-20 08:26

大数据开发实战教程目录

大数据开发实战教程目录一、课程性质、目的和任务本课程目的是让学生了解并掌握四个领域（1）大数据系统的起源及系统特征（2）大数据系统的架构设计及功能目标设计（3）大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力
AI_Bao·2023-10-20 08:51

【大数据开发技术】实验06-SequenceFile、元数据操作与MapReduce单词计数

文章目录SequenceFile、元数据操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附：系列文章SequenceFile、元数据操作与MapReduce单词计数一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFSSequenceFile读写操作掌握MapReduce单词计数操作熟练掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验
Want595·2023-10-20 08:48

异步加载JS的方法

异步加载JavaScript(JS)文件是提高网页性能的一种常用技术，这样可以使页面在等待JS文件加载和执行时不会阻塞。
无妄的罪·2023-10-20 07:39

推荐几个很实用的编程网站

这些网站为以下内容的学习提供了免费的优质资源：编程语言(Python和Java等)、常用技术(SQL等)、操作系统(Linux等)、Web开发框架(RubyonRails等)、函数式编程语
程序员小王꧔ꦿ·2023-10-20 07:26

大数据开发之Hive篇4-Hive数据操作语言

备注:Hive版本2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load命令2.1数据准备2.2将服务器文件加载到hive表2.3将HDFS文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect语句3.2Insertoverwriteselect语句3.3multipleinserts3.4动态分区插入四.CTAS五.Writ
只是甲·2023-10-20 01:22

大数据开发中的秘密武器：探索Hadoop纠删码的奇妙世界

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop3.0引入了纠删码技术（ErasureCoding），它可以提高50%以
技术琐事·2023-10-19 22:46

日常学习记录随笔-zabix实战

使用zabix结合实现一套监控报警装置不管是web开发还是大数据开发我们的离线项目还是实时项目也好，都需要把我们的应用提交到我们服务器或者容器中去执行整个应用过程中怎么保证线上整体环境的稳定运行监控很重要现在比较主流的就是普罗米修斯以及
一个诺诺前行的后端程序员·2023-10-19 20:06

伸手党看过来 从入门到精通的大数据课程视频你确定要错过？

大数据开发工
千锋大数据·2023-10-18 18:27

Java语法进阶及常用技术（六）--Lambda表达式

什么是Lambda表达式JDK8开始支持Lambda表达式，用来让程序编写更优雅。利用Lambda可以更简洁的实现匿名内部类与函数声明与调用。基于Lambda提供stream流式处理极大简化对集合的操作。传统代码使用Lambda表达式Lambda表达式语法Lambda语法格式Lambda表达式案例//四则运算接口publicinterfaceMathOperation{publicFloatope
其乐无涯·2023-10-18 03:24

python面试知识图谱_全网首发！零基础大数据方向学习面试知识图谱，包含教程+面试题...

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。
weixin_39655689·2023-10-18 01:51

跟着Datawhale打一场时序比赛（SEED新能源赛道-电动汽车充电站充电需求预测）之打卡笔记一

又开始组织打比赛的培训学习了，很早就认识了这个专业的学习组织，跟着他们也学过不少竞赛知识，但是还没完全打完过一场赛事；所以这次打算跟着Datawhale打这场时序的比赛—>2023“SEED”第四届江苏大数据开发与应用大赛
小白掌柜·2023-10-17 15:04

RabbitMQ 安装和使用Demo

RabbitMQ、RocketMQ、KafkaRocketMQ是阿里的应用层开发使用RabbitMQ大数据开发KafkaMQ是不是微服务都可以用RabbitMQ是什么？
征途漫漫，唯有奋斗·2023-10-17 12:45

大数据开发复习（1）

大数据开发复习课程课程安排day01就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalasparkflinkday05etl
小码上线·2023-10-17 09:55

互联网常用技术图谱

互联网常用技术图谱互联网常用技术图谱.png原设计稿(有备注)互联网常用工具图谱IT工具图谱.png原设计稿(有备注)
太2真人R·2023-10-17 06:11

数字化时代，数据仓库究竟是干什么的？

无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。
派可数据BI可视化·2023-10-17 00:16

Python爬虫：某书平台的Authorization参数js逆向

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-16 16:43

对工作还有Bar Raiser的一些感想

最近更新博客的频率降低了，很大一个原因是工作内容发生了变化，之前工作内容大数据开发占比较高。而现在的工作内容后端开发占比会更加多一点，比如Spring全家桶、DDD。
淡定一生2333·2023-10-16 13:13

系统架构师备考倒计时20天(每日知识点)

净室软件工程常用技术手段:统计过程控制下的增量式开发:控制迭代基于函数的规范和设计:盒子结构定
Elaine猿·2023-10-16 06:31

Java大数据：全文搜索引擎Elasticsearch入门

在之前的《Java大数据：大数据开发必须掌握的四种数据库》一文中，我们提到了MongoDB、Redis、ElasticSearch、Hbase，系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍
成都加米谷大数据·2023-10-15 19:05

大数据入门之zookeeper的功能及工作原理，未完待续……

如果大家对大数据开发感兴趣，可以点击文章“了解更多”，了解和报名大数据免费学习交流课程！！！1.Zookeeper是什么？
尚学先生·2023-10-15 07:57

Flink On K8S终极实现方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-10-14 00:53

一个屌丝靠阿里云逆袭的故事

后面去过杭州大剧院.数字银行.银联.最后在外资公司待着.一路走来多亏有好心人的帮忙.最近有意转行.直到有一天听说了阿里云大学才知道原来云计算还可以这么玩.立马就报名学习了阿里云大学的四门专业课程.云计算.大数据分析,大数据开发
tymyq·2023-10-13 10:10

Linux内核源码分析课程

根据工作中，常用的内核底层技术点定制课程体系五大技术专题、20个实战操作模块、2w+代码课程目标:3-5个月帮助学员掌握内核底层必备技术5个专题全面提升内核在工作中的常用技术点：进程管理专题、内存管理专题
攻城狮百里·2023-10-13 10:34

苍穹外卖项目总结

简介本文主要是对苍穹外卖的技术总结和业务流程总结，包含了Nginx,JWT等常用技术的概述及使用文章目录简介一、技术点1.Nginx代理和负载均衡2.MD5密码加密3.Swagger–框架4.JWT5.
Kaarina·2023-10-12 23:56

深度学习简述

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:56

深度学习实战：用Keras搭建深度学习网络做手写数字识别

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:56

数据挖掘实战（2）：信用卡诈骗分析

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:26

数据挖掘实战（3）：如何对比特币走势进行预测？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:21

为何需要重新编译过的hive

3.安装好后可按如下命令查看hive兼容的spark总结前言大数据生态各个组件之间存在兼容性问题，假如您想从事大数据开发相关工作，那么后续很有可能会做离线数仓的项目，而在搭建数仓环境时会用到spark,
博嘁东·2023-10-11 14:18

大数据开发-Flink-数据流DataStream和DataSet

Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink主要用来处理数据流，所以从抽象上来看就是对数据流的处理，正如前面大数据开发
往事随风_h·2023-10-11 14:01

大数据开发：Hadoop分布式架构简介

今天的大数据开发分享，我们来对Hadoop分布式架构做一个具体的讲解。
加米谷大数据张老师·2023-10-11 00:26

大数据开发学习Hadoop路线图（详细篇）

Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
qq_43713878·2023-10-11 00:24

数据可视化实战：如何给毛*易的歌曲做词云展示？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-10 21:59

数据采集实战：如何自动化运营微博？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-10 19:25

Linux学习笔记（五）：文本处理及shell编程

欢迎关注公众号，一起从天坑专业转行大数据开发。文本处理三剑客：awk，grep，sedawk：AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
Python大视觉·2023-10-10 13:03

shadow插件框架调研与实践

参考【Android修炼手册】常用技术篇--Android插件化解析https://juejin.im/post/6844903885476233229#heading-22腾讯插件框架Shadow解析之动态化和插件加载
善良的老农·2023-10-10 10:48

团体心理咨询理论与实践 第六讲 团体心理咨询常用技术

团体心理咨询常用技术团体咨询的讨论技术、行为技术一、团体咨询中的讨论技术1.讨论的类型脑力激荡法问题揭示法菲利普六六讨论法2.讨论的方法圆桌式讨论分组讨论陪席式讨论论坛式讨论辩论式讨论脑力激荡法（Brainstorming
Cuingaating·2023-10-09 06:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他