大数据开发常用技术

（大数据开发随笔9）Hadoop 3.3.x分布式环境部署——全分布式模式

索引完全分布式模式守护进程布局集群搭建准备总纲配置文件格式化集群启动集群集群控制命令集群启停进程查看启动日志查看集群常见问题案例演示：WordCount完全分布式模式分布式文件系统中，HDFS相关的守护进程也分布在不同的机器上，如：NameNode守护进程，尽可能单独部署在一台硬件性能较好的机器中其他的每台机器上都会部署一个DataNode进程，一般的硬件环境即可SecondaryNameNode
脑汁·2023-04-16 13:58

（大数据开发随笔6）Hadoop 3.3.x分布式环境部署——本地模式

本地模式材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive|OracleCentos7虚拟机部署准备材料：VMware17CentOS-7-x86_64-Minimal-2009.isocentos-7-isos-x86_64安装包
脑汁·2023-04-16 13:28

（大数据开发随笔7）Hadoop 3.3.x分布式环境部署——伪分布式模式

伪分布式模式前戏jdk和hadoop环境变量配置确保防火墙关闭：systemctlstatusfirewalld；返回inactive；关闭命令systemctlstopfirewalld；防止自启动命令systemctldisablefirewalld报错：-bash:/usr/bin/systemctl:Permissiondenied解决：sudochmod-R750/usr/bin/sys
脑汁·2023-04-16 13:58

（大数据开发随笔8）Hadoop 3.3.x分布式环境部署——补充知识

索引克隆虚拟机SSH免密登录ssh简介免密登录scp命令时间同步克隆虚拟机克隆：注意要分开放置三个虚拟机的位置修改克隆机的ip地址vi/etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR重启网络systemctlrestartnetworkipaddr查看ip地址修改克隆机的主机名hostname主机名2hostnamectlset-hostname
脑汁·2023-04-16 13:27

Echars数据可视化

数据可视化常用技术：Echarts-介绍介绍功能运行环境echarts常用组件Echarts-体验五分钟上手教程Echarts-基础配置让图表跟随屏幕自适应Echarts基础实例柱状图-竖向第一步：引入到
萧寂173·2023-04-16 08:21

2020-02-25-近红外脑功能成像基础

-02-25author:陈锐CRtags:-脑成像-fNIRS本文首发在chenruiblog(7988888.xyz)前言我们今天就来聊一聊关于fNIRS的知识点，在后续的推送中，我会对探索大脑的常用技术穿插着推送
大脑技术·2023-04-16 03:05

虚拟专用网络

VPN常用技术隧道
喜乐有分享·2023-04-16 03:26

大数据开发：OLAP开源数据分析引擎简介

今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。
成都加米谷大数据·2023-04-16 01:55

大数据开发：消息队列如何处理消息积压

今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？一般来说，消息积压的直接原因一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。
成都加米谷大数据·2023-04-15 20:40

程序员也有年龄限制？3个真实的程序员年龄故事告诉你

今天举3个真实的程序员年龄的例子故事如下第一位：丁军大数据开发工程师35岁择业丁军是一名大数据开发工程师曾在小米工作多年，后兑现股票还了房贷，跳槽去做在线教育。
51Aspx源码服务专家·2023-04-15 20:01

数据库网络编程

在这篇文章中，我将探讨数据库网络编程的基础知识、常用技术和实践经验，以及一些应用案例和未来发展趋势。
老王学长·2023-04-15 18:57

东软跨境电商数仓开发进度

我们学校开始了为期两个月（2022.05.23-2022.07.22）的实训，在本次实训当中，我们将围绕着东软跨境电商主题，开发一个东软睿购跨境电商项目，项目小组三人，一人做前端，一人做后端，一人进行大数据开发
Mmj666·2023-04-15 13:26

大数据开发必备面试题Kafka篇合集

1、简述下使用Kafka的原因。（1）缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。（2）解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。（3）冗余：可以采
技术人小柒·2023-04-15 13:47

大数据开发必备面试题Spark篇02

1、Spark与MapReduce的Shuffle的区别？（1）相同点：都是将mapper（Spark里是ShuffleMapTask）的输出进行partition，不同的partition送到不同的reducer（Spark里reducer可能是下一个stage里的ShuffleMapTask，也可能是ResultTask）。（2）不同点：A、MapReduce默认是排序的，spark默认不排序
技术人小柒·2023-04-15 13:46

大数据开发必备面试题Spark篇01

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap
技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap
技术人小柒·2023-04-15 13:44

4参数逻辑曲线公式及其含义

ELISA数据分析ELISA是医学检验中常用技术手段，其数据分析也非常关键，常见的分析方法有：直线回归曲线回归以曲线回归中的4参数逻辑曲线为例其回归公示为y=d+a−d1+(xc)by=d+a−d1+(
我在北京等着你·2023-04-15 11:02

大数据学习路线图（2023完整版）适合收藏

大数据开发是一门涉及处理和分析大规模数据的技术领域，随着大数据技术的不断发展和应用，对大数据开发人员的需求也在逐渐增加。就业前景相对较好，尤其在科技行业和数据驱动型企业中。
千锋IT教育·2023-04-14 23:40

大数据需要学哪些内容

随着物联网、人工智能、云计算等技术的发展，数据的规模不断增大，数据分析、数据挖掘、人工智能等应用也随之蓬勃发展，对大数据开发的需求越来越多。因此，大数据开发人才将会在未来的职场中占据重要的地位。
千锋IT教育·2023-04-14 23:10

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等
诸葛子房_·2023-04-14 18:36

大数据发展趋势如何？

现在，在数字化转型的推动下，越来越多的企业意识到大数据的魅力，并不断在这个领域投入资金，Python+大数据开发相关人才也备受青睐！
我想去吃ya·2023-04-14 12:17

Apache ORC深度探索（上篇）

相信对Hadoop生态系统熟络的大数据开发者对ORC都不会陌生，笔者也是，那么ORC具体是什么？有哪些应用呢？
阿福Chris·2023-04-14 07:06

Hadoop2.7.5集群搭建

pdf：链接：https://pan.baidu.com/s/1WDWgZLlErWf6S-9JJwiAqQ提取码：umnh参考课程：【好程序员】最新大数据Hadoop入门基础视频教程，适合零基础自学的大数据开发课程
QYHuiiQ·2023-04-14 04:26

Compose 学习总结

学习过程中，主要以实战项目中常用技术为目标。下面是项目地址，会长期更新，希望能给正在学习Compose的小伙伴一点参考。同时您有什么好的建议，也可以提issue给我，我们一起讨论。
凉亭下·2023-04-14 00:37

火山引擎 DataLeap 推出全链路智能监控报警平台

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群随着大数据开发场景下需要运维管理的任务越来越多，在日常运维中开发者经常会面临以下几个问题：任务多，依赖关系复杂：很难查找到重要任务的所有上游任务并进行监控
字节数据平台·2023-04-13 05:08

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala前言【本文适合有一定计算机基础/半年工作经验的读者食用。
虎鲸不是鱼·2023-04-12 20:43

王炸组合『单细胞+空间转录组』的科研应用【2】：肝脏生理学/疾病

scRNA-seq工作流程的主要步骤和最常用技术的比较使用scRNA-seq研究肝脏病理生理学单细胞水平的肝脏生
尐尐呅·2023-04-12 16:30

数据湖 | Apache Hudi 设计与架构最强解读

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-04-12 12:45

大数据学习完可以做什么

接下来我们就具体说下学大数据可以从事的岗位：1、大数据开发工程师开发，建设，测试和维护架构，负
我想去吃ya·2023-04-12 01:55

学习大数据需要什么语言基础

并且大数据开发
我想去吃ya·2023-04-12 01:55

日本留学生算法转型大数据开发？听他怎么说

但19年归国之后，求职算法一职半年无果，遂开始学习开发的内容，目前在某大厂担任大数据开发工程师一职。留学日本本科所在专业是中日合办的专业，会有日方老师过来授课。接触的多了以后对日本的文化很有兴趣，
大数据肌肉猿·2023-04-11 19:55

Kafka Connect简介

一.KafkaConnect简介Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。
wandy0211·2023-04-11 17:19

大数据开发的前景和就业如何？该如何去学习它？

python大数据开发学习路线如下：2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到
测试小扎·2023-04-11 11:26

大数据开发、Java技术笔记整理

整理了一下电脑里的笔记，只doc格式的已有这么些。以后更文便按着列表来吧。当初留下笔记也只是习惯问题而已，如今将他们都分享出来也算是个新的“习惯”吧。技术这东西没有标答，若看官们有任何异议，欢迎交流。PS：当然，此后一系列文章应该对技术小白有点困难，若没有基础可能会看不懂，以后空了会考虑出小白笔记。好啦，以上废话到此为止。今日分享：“idea破解”1、将文件解压到E:\idea目录中2、进行破解将
卿卿老祖·2023-04-11 09:29

CDA证书值得考吗？数据分析前景怎么样？

在数据时代快速发展的现在，涌现出一批高薪的岗位，像大数据开发工程师、数据挖掘工程师、数据分析师等等。相对开发工程师等类型更偏向于技术的岗位而言，数据分析师对于学习者的要求同样严格。
IT自学妹·2023-04-10 23:38

SpringBoot开发常用技术整合（二）

一、基本目录结构基本目录二、SpringBoot响应客户端1、controller在controller目录下创建一个controller：单机new->javaclass,命名为XxxController，例如：controller编写内容：运行结果：三、SpringBoot响应客户端数据渲染json在pojo里创建一个user类,在此之前我先引入一个简化实体类的maven依赖Lombok，在p
唐朝早晨·2023-04-10 18:07

白帽SEO 常用技术!

1、网站标题中出现关键词，首页3-5个，栏目页和内容页最好单一核心。2、网站内容围绕关键词相关撰写，不要脱离主题。3、网站描述需带上关键词，利于用户点击。4、更新高质量的原创内容，有规律的更新内容。5、文章内容前部、中部、后部合理出现关键词。6、页面整洁有序，合理分段。7、页面关键词密度建议在2%-8%，最好得比例在5%左右，第一次出现的关键词和文章重点的部分进行加粗。8、合理使用H1、H2标签，
科哚洛夫·2023-04-10 16:24

java入门

1、为什么要选用java目前全球Top1开发语言，最大的开发社区，最多的厂商支持企业和互联网后端开发/安卓开发/大数据开发全球需求量最大的工程师，高薪就业掌握java作为第一门工作语言后，掌握其他语言非常容易
一一垚·2023-04-10 16:57

dodaf体系结构建模与分析系统软件

互联网是个神奇的大网，大数据开发和软件
seolutong·2023-04-10 15:52

【闲聊】大数据开发秋招面试准备

  现在真的是越来越卷了，这才6月，很多公司秋招都开始了（比如华为官网已经可以投递了）。打算从明天开始准备秋招，后面继续更新一些面试题，包括计算机基础、算法、数仓、Java、SQL，以及常考题。不知道外企难度怎么样，计划把八股文的英语版也准备起来，网上好像没找到八股文英文版，打算自己更新一套。1.算法算法是个积累的过程，突击没有用，只能每天坚持。后面打算每天做一道题，把每种类型的题多做几遍。下面是
和风与影·2023-04-10 06:41

大数据常用技术栈

提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。首先通过一张图来了解一下目前大数据领域常用的一些
奔跑的苏立·2023-04-10 00:12

动力节点王鹤SpringBoot3笔记——远程访问@HttpExchange[SpringBoot 3]

6.1.1.3Http服务接口的方法定义6.1.1.4组合使用注解6.1.1.5JavaRecord6.1.1.6定制HTTP请求服务第六章远程访问@HttpExchange[SpringBoot3]远程访问是开发的常用技术
牛仔码农@·2023-04-10 00:10

大数据环境-云平台（阿里云）

本节内容参考：【2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽-哔哩哔哩】阿里云VPC配置1、注册账户登陆2、构建云上虚拟局域网virtualprivatecloud
Kilig*·2023-04-09 21:22

「硬核实操」如何拥有一个自己的数字人模型

本文大致分为三个章节：第一部分会介绍常用技术以及简介，以及自己
京东云开发者·2023-04-09 20:53

动力节点王鹤SpringBoot3笔记——远程访问@HttpExchange[SpringBoot 3]

6.1.1.3Http服务接口的方法定义6.1.1.4组合使用注解6.1.1.5JavaRecord6.1.1.6定制HTTP请求服务第六章远程访问@HttpExchange[SpringBoot3]远程访问是开发的常用技术
Javanewspaper·2023-04-09 18:08

MQ那点破事，消息丢失、重复消费、消费顺序、堆积、事务、高可用....

精彩文章汇总GitHubhttps://github.com/aalansehaiyang/technology-talk，Star12K汇总java生态圈常用技术框架、开源中间件，系统架构、数据库、大公司架构案例
微观技术·2023-04-09 15:22

美团大数据开发转正实习面经(已OC)

一面面试体验整体很不错，面试官很温柔，也不会故意为难你。一面(2023.3.21)自我介绍简单介绍项目(研一在国电做的)你认为学习到的技术和实际使用的差距在哪项目中的数据都是哪里来的(集团中各种设备运行的数据)你说你用到了Spark那你介绍一下Spark的组件和整体架构(结合Dirver和Executor各自的作用)介绍一下Spark的RDD(分布式弹性数据集、基本的数据抽象、封装了计算逻辑、RD
落花雨时·2023-04-09 14:35

3000字梳理大数据开发流程及规范(建议收藏)

点击上方"大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新|1052个转型案例分享-大数据交流群来源：五分钟学大数据全文共2933个字，建议阅读5分钟在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低
无精疯·2023-04-09 08:17

面经5：美团：22年实习生大数据开发面试

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助
牧码文·2023-04-09 01:08

python大数据开发学习路线

大数据开发入门01Linux基本命令用户管理权限管理网络管理SSHVIMySQLDDLDMLDQL多表查询分组查询约束Kettle数据转换脚本组件Job开发BI工具基本操作常用图表仪
测试小扎·2023-04-09 00:02
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他