大数据开发常用技术

主成分分析逆变换_主成分分析(PCA)

PCA(principalcomponentsanalysis)是一种非常有用的统计技术，它已经应用于人脸识别和图像压缩领域中，并且是高维数据计算模型的常用技术。
weixin_39736934·2023-02-05 15:07

转行大数据开发应该怎么学习

转行进入大数据，首先需要了解的就是大数据是做什么，工作内容，然后就是找个完整的学习路线跟着去学习了，大数据的学习内容也是不少的~简单来说，分为6步，大数据开发入门，大数据核心基础，千亿级数仓技术，PB级内存计算
我想去吃ya·2023-02-05 03:04

大数据专业需要学习python么

但是不会python也是没有关系的，大数据还是需要以java为基础的~学大数据必学Java，当前大数据领域的岗位主要集中在开发、分析、运维三大领域，其中大数据开发对于Java语言的依赖程度比较高，如果从事大数据
我想去吃ya·2023-02-05 03:04

大数据程序员的工作职责是什么？

大数据开发要负责公司大数据平台产品的技术工作，如需求分析、架构设计、研发、以及性能分析工作；提升Hadoop集群的高可用性、高性能、高扩展特性；海量数据的导入优化工作；理和完善各类文档等工作。
我想去吃ya·2023-02-05 03:33

学大数据一定要会Java开发吗？

学大数据必学Java，当前大数据领域的岗位主要集中在开发、分析、运维三大领域，其中大数据开发对于Java语言的依赖程度比较高，如果从事大数据开发岗学习Java语言很有必要。
我想去吃ya·2023-02-04 17:51

2020时代详解如何从0开始学大数据

不仅如此，越来越多的软件工程师开始转型成为大数据工程师，从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增，大数据方向俨然成为了业内炙手可热的职位。
juan333·2023-02-04 17:49

大数据开发：Spark RDD、DataFrame、DataSet

今天的大数据开发分享，我们就主要来讲讲SparkRDD、DataFrame、DataSet。
加米谷大数据张老师·2023-02-04 17:14

大数据开发：消息队列如何确保消息不丢失

围绕消息队列，今天的大数据开发学习分享，我们主要来聊聊，消息队列如何确保消息不丢失。1、检测消息丢失的方法可以利用消息队列的有序性来验证是否有消息丢失。
成都加米谷大数据·2023-02-04 04:18

pandas数据结构

创建series对象Series对象的属性DataFrame创建DataFrame对象Python在数据处理上独步天下：代码灵活、开发快速；尤其是Python的Pandas包，无论是在数据分析领域、还是大数据开发场景
CarveStone·2023-02-03 16:39

尚硅谷大数据开发Day02

这个博客是学习尚硅谷大数据课程所作的笔记，课程原地址可以访问https://www.bilibili.com/video/BV1Qp4y1n7EN?p=7&spm_id_from=pageDriver，感谢尚硅谷免费提供的课程资料，同时感谢尚硅谷大海老师的讲解。第1章Hadoop概述1.1Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据
JiangHe1997·2023-02-02 14:29

HTML速写语法规则（Emmet）

1.聊点闲话今天大数据课程学习到前端可视化技术（拉勾教育大数据开发训练营），终于开始接触我不熟悉的内容了。
回笼觉觉猪·2023-02-01 12:13

Flutter 调研

背景当前我们公司客户端开发，包含三种常用技术，iOSnative、Androidnative、React-Native，在长时间的使用中发现，React-Native的UI统一性不够，深度开发严重依赖native
Eafy·2023-02-01 11:27

产品经理学习

学习感受：（1）因为要从大数据开发转产品经理，所以找入门课程。这门课程的好处是上下班路上可以听音频，不用专门抽时间学习。2.
清水一一·2023-02-01 05:07

【大数据开发】HDFS小文件合并四种方式

直接写数据到HDFS时，我们不可避免的要处理小文件问题，一般有1.落地之前增大batch(即增大了延迟)2.coalesce(分区合并)3.外部程序Merge4.Append（如果文件没有达到指定大小，下一个批次写数据的时候不创建新文件，而是和已存在的小文件合并）四种方式，各有其使用场景，如论哪种方式，无疑会增加我们的工作量。但是如果通过hudi写入数据，小文件的问题hudi自身会帮你解决，hud
这个妹妹我见过·2023-01-31 22:19

应用支持向量机对婴儿EEG数据进行多元模式分析

导读时间分辨多元模式分析(MVPA)是分析脑磁图和脑电图(M/EEG)神经成像数据的常用技术，它量化了神经表征支持相关刺激维度识别的程度和时间进程。
茗创科技·2023-01-31 08:52

数据仓库之建设

背景篇目前所在项目中,人员配置:项目经理(4)业务分析师报表开发工程师(2,4)etl工程师大数据开发工程师(4)人员压缩可参考括号内分析篇从人员配置可知,现在企业对人员的要求比较高,恨不得你啥都会每个人最好了解业务
OverLight·2023-01-30 14:53

大数据理论体系

本专栏为笔者，在多年读书笔记的基础上，结合自身的大数据开发心得体会，呕心沥血之作。来点关注吧，万分感谢！
Shockang·2023-01-30 07:58

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。
张家锋·2023-01-30 06:45

大数据开发：spark core核心讲解

今天的大数据开发学习分享，我们就主要来讲讲Spark框架核心SparkCore。SparkCore简介SparkCore包含Spark的基本功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等。
加米谷大数据张老师·2023-01-24 20:58

大数据 - 大数据开发技术课程总结（未完）

1.课程介绍大数据开发课程主要从了解大数据概念、特征开始，再介绍大数据Java开发和Hadoop的环境配置，较为全面地讲解了HDFS分布式存储，MapReduce分布式计算框架，Spark平台开发和Scala
陈杉菜·2023-01-22 19:40

大数据处理的关键技术及应用

大数据采集技术在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相
数据工程师大牛·2023-01-22 19:37

Spark修炼之道（基础篇）——Linux大数据开发基础：第七节：进程管理

本节主要内容进程管理简介进程管理常用命令计划任务1.进程管理简介（1）进程概念进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如：//ps命令列出当前所有对应当前用户的活动进程xtwy@ubuntu:~$psPIDTTYTIMECMD2087pts/000:00:00ba
zhouzhihubeyond·2023-01-21 16:15

大数据平台到底该如何设计？

实际上，从大数据运营平台沿着数据链路的产生方向往上游推，还存在着大数据采集与存储平台、大数据开发与计算平台、大数据治理平台等。他们分别服务者不同的用户，比如大数据采集与存储
咬定青松·2023-01-20 08:31

2023版大数据学习路线图（适合自学）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
千锋IT教育·2023-01-18 09:00

1万2千字长文助力春招 | Netty面试篇

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-01-18 03:16

如何在mac上使用idea做大数据开发

1软件包下载jdk1.8(jdk1.8.0_231)idea(包括2018,2019)(ideaIC-2019.3.3/ideaIC-2018.3.5)汉化包:汉化包.rarmaven3.6.3(apache-maven-3.6)2jdk的安装第一:把包直接放到自定义目录下第二:配置环境变量a)打开终端输入sudovi/etc/profile或者sudovi.bash_profile解释:etc/
·2023-01-17 18:08

如何在mac上使用idea做大数据开发

1软件包下载jdk1.8(jdk1.8.0_231)idea(包括2018,2019)(ideaIC-2019.3.3/ideaIC-2018.3.5)汉化包:汉化包.rarmaven3.6.3(apache-maven-3.6)2jdk的安装第一:把包直接放到自定义目录下第二:配置环境变量a)打开终端输入sudovi/etc/profile或者sudovi.bash_profile解释:etc/
·2023-01-17 18:35

大数据开发之路：hive篇

引语大数据开发之路漫漫其修远兮，吾将上下而求索。很多入门大数据的小伙伴，可能第一个接触到的，就是一只可爱的“小象”，也就是我们的大数据领域的数据仓库工具hive。
乐姐·2023-01-17 15:03

大数据开发学习教程——大数据的基本概念

什么是大数据？大数据(BigData)，是一个描述大量高速，复杂和可变数据的术语，需要先进的技术来实现信息的捕获，存储，分发，管理和分析。大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点4VVolume:数据量异常庞大，一般达到PB量级Variety:数据呈
比屋大数据·2023-01-17 15:02

网易云音乐数据全链路基线治理实践

作者：石烁摘要：在大数据开发领域，大家都会被一个问题困扰：调度任务延迟，然后被老板、被业务“灵魂拷问”。
·2023-01-17 11:02

大数据挖掘与大数据开发学徒班

大数据挖掘与大数据开发学徒班课程体系完善，师资力量雄厚，全程项目式培训
泰迪智能科技·2023-01-16 20:25

NLP 简介

词法分析的常用技术包括分词、词干提取和词性标注。分词是将
LightningInSky·2023-01-16 12:58

大数据开发-Linux操作

目录1.1touch:创建空文件1.2mv:move剪切粘贴--重命名和移动功能1.3cat命名：查看文件内容1.4cp：copy复制粘贴1.5ps、kill、ifconfig、clear1.6回顾：1.1touch:创建空文件toucha.txtb.txt—创建空文件a.txt与b.txttouch/root/a.txt----在/root目录创建a.txt文件Linux与Windows共用--
海星？海欣！·2023-01-16 06:28

Spring boot读取Excel并存入PG数据库（一）

我最开始并非专职Java开发，本职是大数据开发，奈何公司环境如此，也时常参与Java项目开发。很久没有认真写博客了，经历了整个忙碌的夏天，特别是9月以来，笔者有
风碎峰·2023-01-15 04:24

大数据学习路线图（2023版自学路线）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
·2023-01-13 17:28

常用AI/机器学习模型可解释技术与工具

Anaconda资深数据科学家SophiaYang总结了8种模型可解释常用技术和工具，对其主要特征进行了概述。以下是译文，Enjoy!】
Baihai IDP·2023-01-13 17:20

大数据学习路线图（2023版自学路线）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
·2023-01-13 16:57

大数据开发：Hadoop入门学习路线

学习大数据，核心重点就是对于专业技术的掌握，我们判断一个机构的课程是否具备足够的专业度，也往往是从这些核心技术体系的课程规划来看的。以Hadoop来说，这是大数据学习当中必不可少的部分。今天大数据学习分享，我们来聊聊Hadoop学习路线。Hadoop生态最初在大数据领域绝对是无可争议的霸主，虽然近年来大数据领域新技术层出不穷，这些新技术确实在很多方面比起Hadoop强，但是Haoop作为最早的、目
加米谷大数据张老师·2023-01-12 21:05

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
·2023-01-10 19:07

脑机接口基础

脑机接口（BCI）基础脑机接口(brain-computerinterface)1.脑机接口的定义2.脑机接口的分类2.1非侵入式2.2半侵入式2.2.1ECoG的优点2.3侵入式3.无创（非侵入式）的常用技术
zeIx_·2023-01-09 13:46

2022年度总结与2023未来规划

业务开发常见错误/Java并发编程深入理解计算机系统MySQL-SQL必知必会/高性能MySQL重构：改善既有代码的设计计算机系统知识：图解TCP/IP、LinuxC编程一站式学习软件设计：编程范式/设计模式大数据开发
luxinfeng666·2023-01-09 08:05

学习大数据开发零基础是不是限制，小白能否快速学会？附上学习路线图

其实无论是学习IT还是学习大数据开发，大家都是从0开始的，即使你没有基础也无需担心，毕竟大家最开始都是从小白度过的。J
juan188·2023-01-08 15:45

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
Jina AI·2023-01-06 14:34

数仓构建-架构与模型设计

MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
胜利的曙光·2023-01-06 01:24

泰迪云课堂分享：Python中文自然语言处理基础与实战内容分享

《Python中文自然语言处理基础与实战》图书以Python自然语言处理的常用技术与真实
泰迪智能科技·2023-01-04 15:10

【动手学深度学习v2】计算机视觉——2微调

微调Fine-Tuning1网络架构2微调步骤3训练4常用技术重用分类器权重固定一些层5总结1网络架构一个神经网络一般可以分两块：特征抽取，将原始像素变成容易线性分割的特征Softmax回归，线性分类器做分类
Hannah2425·2023-01-03 13:29

阿里云DataWorks学习——数仓架构设计

MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系
zhisheng_blog·2022-12-31 16:36

阿里云大数据开发一面面经，已过，面试题已配答案

参考答案来源：大数据面试题V3.0，523道题，679页，46w字二面：阿里云大数据开发二面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客1、实习经历这一点就不多说了，每个人都不一样，根据自己的介绍就行
蓦然_·2022-12-31 16:35

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
普通网友·2022-12-31 13:04

7&的2022年终总结

…2、技术定位大数据开发领域，这一年来，学习了大数据常见的组件或者框架，
7＆·2022-12-30 19:05
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他