大数据开发常用技术

JS实现多线程数据分片下载

在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。
码说AI·2024-01-05 10:22

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。读者需要注意的
Hadoop技术博文·2024-01-05 09:51

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课：Linux嵌入式Lin
比屋大数据·2024-01-05 08:44

大数据开发与低代码：加速数据处理与解决方案开发

随着数据量的爆炸式增长，大数据开发变得愈发重要。然而，传统的大数据开发方法往往需要复杂的编码和开发过程，消耗时间和资源。而低代码开发平台的出现为大数据开发带来了全新的解决方案。
液态不合群·2024-01-05 08:25

大数据开发的专业术语

作者主页：青花锁简介：Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用；手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战，SpringCloudNetflix套件、SpringCloudAlibaba
青花锁·2024-01-04 23:21

计算机常用的网络安全技术有哪些,简述计算机的网络安全技术有哪些常用技术？...

信息安全的五个基本要素，即需保证信息的保密性、真实性、完整性、可用性、不可否认性。1、保密性要求保护数据内容不被泄漏，加密是实现机密性要求的常用手段。它是信息安全一诞生就具有的特性，也是信息安全主要的研究内容之一。更通俗地讲，就是说未授权的用户不能够获取敏感信息。对纸质文档信息，我们只需要保护好文件，不被非授权者接触即可。而对计算机及网络环境中的信息，不仅要制止非授权者对信息的阅读。也要阻止授权者
戈峰·2024-01-04 16:29

大数据项目

项目说明：利用scrapy爬取中华英才网和前程无忧上面有关’数据分析师’,‘大数据开发工程师’,'数据采集’的数据并保存到mongodb。
for_syq·2024-01-03 16:05

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工
yoku酱·2024-01-03 13:36

虚幻UE 材质-Decal延迟贴花

（简单的理解为我们显示生活中的贴纸）游戏中的常用技术，用于“后期”为场景增加细节简单好用，性能消
TTL_255·2024-01-02 06:50

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

医学信息应用技术（1）急救知识点（90+）必背基础42题

其常用技术：答：是一个集信息管理、信息检索、专家系统、分析评估、数据仓库等为一体的应用软件系统。数据库
【赢在起跑线~】·2024-01-01 02:31

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-12-31 19:36

【亚马逊云科技】使用Amazon Lightsail快速建站

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-12-31 17:57

大数据开发【3】 -- hadoop的云集群配置

首先要配置好一台机器的伪分布式，这样方便后面的配置。关于伪分布式的：请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了，因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般·2023-12-31 10:25

刺猬的玻璃心博客目录:

第一篇：入坑第一篇目录：常用技术类：1，poj题库题目分类：poj题库分类2，vim命令大全：vim命令大全（转）3，noip提高组必须掌握内容（转载）1，图论：1,spfa：1，裸裸的spfa～嘿嘿嘿
weixin_30463341·2023-12-31 04:54

点成分享丨细胞培养三步骤——复苏、传代、冻存

细胞培养也叫细胞克隆技术，是细胞生物学研究方法中重要和常用技术，通过细胞培养既可以获得大量细胞，又可以借此研究细胞的信号转导、细胞的合成代谢、细胞的生长增殖等。
点成生物科技·2023-12-30 19:15

macOS进程间通信的常用技术汇总

macOS进程间通信的常用技术汇总命令行传参。yyds管道(pipe),匿名管道，c++的技术，可以跨平台使用只能在父子进程间通信，由于是单向的管道，只能单方面传输数据。
jimboRen·2023-12-30 12:50

你需要懂一点ClickHouse的基础知识

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-12-30 09:39

爬虫现在还有那么吃香嘛？

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩·2023-12-28 17:40

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000·2023-12-27 23:31

第一章 Java web技术概述

1.2Web常用技术1.2.2URL和URIURL通常由四部分组成：协议名称所在主机的DNS名可选端口号资源的名称http://www.baidu.com:80/index.htmlhttp://localhost
zju_dream·2023-12-27 10:29

米哈游大数据云原生实践

作者：米哈游大数据开发近年来，容器、微服务、Kubernetes等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生·2023-12-27 06:31

多线程辅助类，可在线程忙时访问其属性和方法

Conmajia2012-2023首发：2012.08.0500:44:45MiscellaneousSeries:128.1多线程（multithreading）是一种充分利用中央处理器运行切片以提高程序运行效率和性能的常用技术
Conmajia·2023-12-26 22:08

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-12-25 15:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

大数据开发介绍

...........................................................................................................................................................1.你的专业是什么，你是如何确定自己的求职方向的首先要明确自己学的专业具体是干啥的，比如我
Guff_hys·2023-12-23 17:30

【区块链工具百宝箱34】如何使用趋势线和艾略特波浪理论(Elliott Wave)？(上) _竹三七

今天竹三七继续介绍TradingView常用技术指标——趋势线（TrendLine）。1.什么是趋势线？趋势线（Trendline）是最古老的技术指标之一。
竹三七·2023-12-23 01:25

WLAN基本概念与配置、VLAN Pool配置

2、WLAN的分类1）WPAN(WirelessPersonalAreaNetwork)：个人无线网络常用技术有：蓝牙、NFC2）WLAN(WirelessLocalAreaNetwork)：无线局域网
网工—tea·2023-12-22 19:00

企业网络常用技术-快速生成树RSTP原理与配置

STP协议虽然能够解决环路问题，但是收敛速度慢，影响了用户通信质量。如果STP网络的拓扑结构频繁变化，网络也会频繁失去连通性，从而导致用户通信频繁中断。IEEE于2001年发布的802.1w标准定义了快速生成树协议RSTP（RapidSpanning-TreeProtocol），RSTP在STP基础上进行了改进，实现了网络拓扑快速收敛。STP不足STP能够提供无环网络，但是收敛速度较慢。如果STP
爱网络爱Linux·2023-12-22 08:42

01-黑马程序员大数据开发

一.Hadoop概述1.什么是大数据狭义上：对海量数据进行处理的软件技术体系广义上：数字化、信息化时代的基础支撑，以数据为生活赋2.大数据的核心工作：存储：妥善保存海量待处理数据；ApacheKUDU、云平台存储：阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算：完成海量数据的价值挖掘；ApacheHadoop-MapReduce；ApacheHive是一款以SQL
S1406793·2023-12-22 08:06

天津大数据培训机构品牌 数据分析师的发展方向

大数据专业还是有一定难度的，毕竟大数据开发技术所包含的编程技术知识是比较杂且多的如果是计算机专业的学生或者自身有一定基础的人学，相对来说会比较容易，但对于零基础小伙伴学习来说，想要学习大数据，难度还是很高的
qq_38453958·2023-12-22 03:49

来看！天津靠谱Java培训机构哪家更好一点？

包括Java基础、JavaWeb、JavaEE、大数据开发、人工智能等多方面的技术领域。参加Java培训可以帮助我们掌握计算机编程语言的基础知识，掌握Java语言编程技巧，快速提高编程水平。
qq_38453958·2023-12-22 03:49

蛋白质组学基础入门系列 |（三）蛋白质组学常用技术盘点（上）

在进行日常科研工作时，经常在文献中看到各种各样的蛋白质组学技术专业名词，让人眼花缭乱、似懂非懂...本讲内容就带大家梳理这些专业术语，盘点蛋白质组学的常用技术。
小谱是大妞·2023-12-21 09:52

【赠书第11期】Unity 3D游戏开发

2.1场景（Scene）2.2游戏对象（GameObject）2.3组件（Component）2.4资源（Asset）3Unity3D重要组件3.1物理引擎3.2动画系统3.3粒子系统3.4网络功能4.常用技术和工具
EmotionFlying·2023-12-20 23:43

MyBatis-Plus更新：自动填充与乐观锁的实现

本专栏六篇文章围绕MyBatis-Plus的常用技术点，结合springboot，实现了对数据库记录的CRUD操作，其他文章请参考：《MyBatis-Plus入门案例：查询数据库中所有记录》《MyBatis-Plus
编程一只蝶·2023-12-20 01:44

学习大数据开发的前提是什么？

1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。2.分析工具对于初级数据分析师，玩转Excel是必须的，数据透
yoku酱·2023-12-19 14:56

双非大数据

双非本秋招上岸总结个人简介学历：双非；专业：软件工程；求职岗位：大数据开发工程师；状态：已上岸翻车经历学校以Java后端开发为主流，我从大二开始学习Java，直到大四都会学习与Java开发相关的技术栈。
Guff_hys·2023-12-19 04:35

活动预告｜ 字节跳动基于DataLeap的DataOps最佳实践

随着数字化转型的推进以及业务数仓建设不断完善，大数据开发体量及复杂性逐步上升，如何保证数据稳定、正确、持续产出成为数据开发者核心诉求，也成为平台建设面临的挑战之一。
字节数据平台·2023-12-18 14:40

SpringCloud系列（一）| SpringCloud简介

+X,就是对于Spring和其他技术的融合进行了简化开发，所以x可以代表任何技术，比如mybtis,mybatisPlus,redis....对于集成这些常用框架，springBoot本身就预设了一些常用技术的集成方案
一缕82年的清风·2023-12-18 03:26

大数据架构（一）背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒·2023-12-18 02:50

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode（metadata），client（备份block），datanode（blocks结构）core-site.xml3.Hive数仓软件，分布式数据管理查询特性：ETL/支持mapred
qq_1418269732·2023-12-16 06:08

新工科：数据科学与大数据技术实验中心解决方案，赋能高校新工科数智人才培养

据人瑞人才与德勤调研显示，未来3年，数字产业化企业最需要运营人员和开发人员（包括大数据开发工程师、数据建模开发工程师等），其次是数据分析人员、算法研究人员、数据管理人员、销售人员和产品经理，说明技术革新与商业模式创新是助推数字企业发展的两大动力
美林数据Tempodata·2023-12-15 10:08

代码审计中的常见漏洞【二】

代码审计的准备工作代码审计前需要了解的基础知识和技能代码审计的工具和环境准备三、代码审计中的常见漏洞SQL注入漏洞XSS漏洞CSRF漏洞4.文件包含漏洞5.文件上传漏洞四、代码审计的技术细节代码审计中的常用技术
Kali与编程～·2023-12-14 15:16

代码审计的技术细节

代码审计的准备工作代码审计前需要了解的基础知识和技能代码审计的工具和环境准备三、代码审计中的常见漏洞SQL注入漏洞XSS漏洞CSRF漏洞4.文件包含漏洞5.文件上传漏洞四、代码审计的技术细节代码审计中的常用技术
Kali与编程～·2023-12-14 15:16

代码审计中的常见漏洞【一】

代码审计的准备工作代码审计前需要了解的基础知识和技能代码审计的工具和环境准备三、代码审计中的常见漏洞SQL注入漏洞XSS漏洞CSRF漏洞4.文件包含漏洞5.文件上传漏洞四、代码审计的技术细节代码审计中的常用技术
Kali与编程～·2023-12-14 15:46

典型的ETL使用场景

典型的ETL使用场景ETL(Extract，Transform，Load)是一种用于数据集成和数据转换的常用技术。它主要用于从多个数据源中提取数据，对数据进行清洗、转换和整合，最后加载到目标系统中。
ETLCloud数据集成社区·2023-12-06 12:28

大数据开发：Kafka 异步发送消息可靠性策略

今天的大数据开发学习分享，我们就主要来讲讲Kafka异步发送消息的可靠性策略。
成都加米谷大数据·2023-12-06 09:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他