大数据开发常用技术

Java网络编程详解

在本篇博客中，我们将介绍Java网络编程的基础知识和常用技术。一、Java网络编程基础Java网
Dream geek·2023-09-27 01:08

详解MySQL事务原理

今天给大家分享的是大数据开发基础部分MySQL的事务，事务在MySQL知识点中非常重要的部分，很多伙伴只是知道MySQL的四大特性，但不知道其中的原理，老刘这次给大家详细的描述MySQL四大特性的原理，
java小霜·2023-09-27 01:28

大数据开发：Flink内存数据结构

今天的大数据开发学习分享，我们来讲讲，Flink内存数据结构。Flink的内存管理像OS管理内存，划分为段和页。1、内存段内存段，即MemorySegment，是Flink内存抽象的最小分配单元。
成都加米谷大数据·2023-09-27 00:48

【大数据开发技术】实验04-HDFS文件创建与写入

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理熟练掌握HDFS的API使用方法掌握单个本地文件写入到HDFS文件的方法掌握多个本地文件批量写入到HDFS文件的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图。对本次实验工作进行全面的总结。完成实验内容后，实验报告文件名显示
Want595·2023-09-26 22:55

前端开发常用技术有哪些？

随着互联网的发展和普及，前端开发也越来越受到关注。作为互联网应用程序的门面，前端开发在网站和应用程序的用户体验方面起着重要的作用。随着技术的不断发展，前端开发也不断涌现新技术。下面详细介绍一下前端开发中常用的技术，以及它们的特点和用途：1.HTML/CSSHTML（HypertextMarkupLanguage）和CSS（CascadingStyleSheets）是前端开发中最基础的两种技术。HT
Itmastergo·2023-09-26 13:33

系统稳定性设计

《服务器开发技术、方法与实用解决方案》一、稳定性设计稳定性是指系统在干扰、异常等破坏性事件的影响下持续、正确地提供服务或功能的能力1.容量评估容量评估的常用技术指标：QPS、TPS通过容量评估可以分析得到应用和接口维度的容量需求
wanger61·2023-09-26 06:03

【腾讯云】打造未来智能应用的基石：腾讯混元大模型

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-09-26 03:47

大数据开发轻量级入门方案

Hi,我是小萝卜算子！经过这么多年的发展，大数据的技术正处于群雄逐鹿阶段，面对这么多技术框架，我们得学会做减法。还记得我转行大数据时，只学了hadoop和hive，非常简单，差不多一周的时间，就可以出去面试了，边面试边改进，最后找到不错的工作。那个时候大部分企业用的还是1.X版本的hadoop，正逐渐的升级到hadoop2.X。当时可以很容易的转型，一大部分原因是大数据的技术还没有普及，需要学的框
小萝卜算子·2023-09-25 14:36

秋招面经第二弹：百度一面-大数据开发工程师

秋招第二弹：百度一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全。
牧码文·2023-09-25 10:50

大数据开发详细解读系列之大——数据的概念

大数据，目前IT行业里炒的最热的一个词，被称为IT行业内的又一次技术变革。随着社会的发展，社交网络的逐渐成熟移动宽带网络的不断提速，未来10年将是一个“大数据”引领的智慧时代。那么，人们常说的大数据是指什么呢？其实“大数据”包含着多种技术概念，简单的来说就是无法在一定的时间内，无法用常规的一些方法或者工具进行抓取、处理的数据集合。要理解大数据这一概念，首先要从“大”字入手。“大”其实就是暗指“数据
尚学先生·2023-09-25 09:28

大数据开发学习脑图+学习路线清晰的告诉你！月薪50K很轻松

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长!大数据学习群：86884***7735一起讨论进步学习第一阶段lin
安靜@忧伤·2023-09-25 03:26

0基础学习大数据路线，0基础大数据开发

加米谷大数据理论＋代码＋实战＋实操的独有课程体系，下面是加米谷的0基础大数据开发课程大纲：第一阶段：Java设计与编程思想学习内容：Java设计与编程思想学习目标：Java基础、Java面向对象、Java
大数据挖掘与大数据分析·2023-09-25 02:20

大数据开发工程师之SQL面试题（一）

sql面试题(一)牛客后台会记录每个用户的试卷作答记录到exam_record表，现在有两个用户的作答记录详情如下：用户1001在2021年9月1日晚上10点11分12秒开始作答试卷9001，并在50分钟后提交，得了90分；用户1002在2021年9月4日上午7点1分2秒开始作答试卷9002，并在10分钟后退出了平台。试卷作答记录表exam_record中，表已建好，其结构如下，请用一条语句将这两
密探特洛伊·2023-09-24 08:00

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统
高天艳阳·2023-09-24 08:00

大数据开发工程师面试题以及答案整理（一）

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的
陆山右·2023-09-24 08:59

大数据开发工程师面试题

一、选择题1、哪个程序负责HDFS数据存储？Datanode2、HDFS中的block默认保存几份？默认3份3、哪个程序通常与NameNode在一个节点启动？Jobtracker4、HDFS默认BlockSize是多少？64MB5、什么通常是集群的最主要瓶颈磁盘IO6、关于SecondaryNameNode？它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间7、什么可以作为集
完美屁桃·2023-09-24 08:27

大数据杂谈

大数据开发方向偏业务侧方向-业务开发-项目经理偏技术方向-平台开发-架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务
February13·2023-09-24 08:26

消息队列RabbitMQ常用技术解析

什么是MQ一种通信方式有(同步通信与异步通信)同步通信:比如微信视频聊天实时返回信息局限只能和一个人异步通信:比如微信聊天一个人可以和多个聊天局限调用链关系不清晰事件驱动异步方式中大量请求进入broker进行缓存有服务原则性订阅消息，优点0耦合度、吞吐量高、故障隔离、流量削峰MQ：messageQueue翻译为消息队列，通过典型的生产者和消费者模型不断向消息队列中生产消息，消费者不断从队列中获取消
sense.gong·2023-09-24 02:41

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

MyBatis常用技术以及基本概念的了解

简介MyBatis是Apache的一个开源项目iBatis,iBatis3.以后正式更名为MyBatisMyBatis是支持定制化SQL、存储过程以及高级映射的优秀的持久层框架MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集MyBatis可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO映射成数据库中的记录运行原理Mybatis三大核心API，SqlSe
每天都要进步哇·2023-09-23 16:19

Redis常用技术和基本概念

NOSQL简介非关系型数据库，数据与数据之间没有关联关系。就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题分类键值(key-value)存储数据库Redis列存储数据库：键仍然存在，但是指向了多个列，HBase(eg：博客平台(标签和文章))文档型数据库MongoDb(eg：淘宝商品的评价)图形数据库Neo4j（eg：好友列表）四种NoSQL数据库对比使用场景据模型比较简单需
每天都要进步哇·2023-09-23 16:49

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图对本次实验工作进行全面的总结。完成实验内容后，实验
Want595·2023-09-22 15:02

微服务架构：解析特点、优势和常用技术栈

摘要：本文深入探讨微服务架构的定义、特点、优势以及常用的技术栈。通过详细介绍微服务架构的核心概念和实际应用场景，帮助读者理解微服务架构的重要性以及如何应用于实际项目中。1.什么是微服务架构？微服务架构是一种软件架构风格，通过将大型应用程序拆分为一组小型、独立的服务来构建系统。每个服务都围绕特定的业务功能进行设计、开发、部署和扩展。这些服务通过轻量级的通信机制进行交互，形成一个松耦合的分布式系统。2
琴剑飘零西复东·2023-09-22 02:00

从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：实时与查询性能不足，高并发支持挑战大：金融行业中常见的风
·2023-09-21 16:40

大数据学习基础知识总纲

大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从JaveWeb开发转岗过来的(当然
yoku酱·2023-09-21 15:41

决策树（下）：泰坦尼克号乘客的生存预测（完整代码）

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:46

决策树（上）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。欢迎小伙伴们点赞、收藏⭐️、留言、关注，关注必回关上一篇文章已经跟大家介绍过《超详细！
秋无之地·2023-09-21 05:45

超详细！一次学会Python数据可视化的10种技能

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:15

决策树（中）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:09

大数据开发常见问题

Linux磁盘百分之百的问题找到比较大的文件，然后删除大的一些日志文件sudofind/-size+100M-execls-lh{}\;&rewriteBatchedStatements=true&characterEncoding=utf-8免密yonghuALL=(root)NOPASSWD:ALL,!/usr/bin/reboot,!/sbin/reboot,!/bin/su,!/usr/b
工作变成艺术·2023-09-20 21:21

mysql 查找相似数据_MySQL慢查询优化 | 联结原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
weixin_39648492·2023-09-20 13:04

大数据开发工程师是做什么的？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。
我想去吃ya·2023-09-20 01:05

大数据开发中常用组件服务的集群管理脚本整理集合

大数据开发常用脚本整理集合大数据环境相关脚本bash运行模式说明创建shell脚本目录配置hostsSSH自动配置脚本文件同步、复制工具rsync基本用法文件同步脚步命令执行脚本节点循环简化大数据组件相关脚本
CodeDevMaster·2023-09-20 01:34

常用技术分析图表：折线图

折线图又称线图，是一种最为简单的图表。将每个时段的收盘价用折线连接起来，就生成了折线图。折线图中只含有收盘价。Apple股价折线图
技术投机客·2023-09-19 23:26

Docker遇到的问题汇总

Docker遇到的问题汇总进行大数据开发，需要虚拟一个Hadoop集群，原来都是在Win下开发的，前段时间刚换成M1pro的02021款的mbp，遇到很多很多问题，到最后也根本没有办法使用号称支持M1Mac
小菜鸡也有大佬梦·2023-09-19 15:35

大数据开发工程师应该掌握哪些技术？

那么成为一名合格的大数据开发工程师，你需要掌握的技能也比较多。具体是哪些呢，你可以参看下面的这些点。
会飞的鱼go·2023-09-18 04:59

大数据开发系列（一）----Hadoop详细配置

http://www.bubuko.com/infodetail-3137033.htmlcd1、/代表根目录2、.当前目录3、..上级目录4、~当前用户的默认工作目录/../.直接返回根目录安装Linux教程：参考：https://www.cnblogs.com/frankdeng/p/9027037.htmlVMnet1对应仅主机模式VMnet8对应NAT模式以VMnet8的IP作为基础进入r
我喜欢这个感觉·2023-09-18 01:16

大数据开发基础入门与项目实战（二）Java Web数据可视化之2.MySQL单表、约束和事务

文章目录前言1.DQL操作单表（1）DQL之排序查询（2）DQL之聚合函数（3）DQL之分组查询（4）limit关键字2.SQL约束（1）约束的介绍（2）主键约束（3）主键自增（4）非空约束（5）唯一约束（6）默认值3.数据库事务（1）事务的基本概念（2）MySQL手动提交事务（3）MySQL自动提交事务（4）MySQL事务四大特性ACID（5）MySQL事务隔离级别（6）隔离级别相关命令（7）脏
cutercorley·2023-09-17 19:01

Canal：同步mysql增量数据工具，一篇详解核心知识点

老刘是一名即将找工作的研二学生，写博客一方面是总结大数据开发的知识点，一方面是希望能够帮助伙伴让自学从此不求人。
努力的老刘·2023-09-17 17:44

【大数据开发】2024届校招岗位汇总

公司岗位字节跳动数据开发工程师华晨宝马-领悦南京助理工程师-大数据华晨宝马-北京大数据开发工程师
德彪稳坐倒骑驴·2023-09-17 12:55

RPA机器人流程自动化专题培训大纲（供大家参考使用）

一、RPA机器人流程自动化概述RPA的定义和发展历程RPA的应用场景和优势RPA与人工智能的关系二、RPA机器人流程自动化基础知识RPA的基本原理和技术架构RPA的常用技术和工具RPA的编程语言和开发环境三
中本王·2023-09-17 11:41

Smart Community(1)之设计规范

通过前面大数据开发相关知识的学习，准备做一个项目进行练习---我给他起了一个响亮的名字：基于HadoopHA的智慧社区服务平台设计规范：做一个项目之前肯定要先规定一些开发过程中的设计规范（一）数据埋点规范
小唐同学爱学习·2023-09-17 02:53

专科学历能学习大数据开发吗？

近来不少想转行大数据的同学在跟我的的交流中诉说到:想做IT行业，但是学历太低啦。怕花了时间和精力来学习IT相关知识，最后却找不到相应的工作，一起努力都付诸东流。对于这类学生，一般会建议他们来学习大数据，为了前沿技术，为了高薪。具体原因是什么呢，下面一起来了解一下。1.因为大数据是IT行业中比较炙热的项目，现在各个用人单位对于大数据相关的人才需求量特别的大。相关统计数据显示，未来3~5年，中国需要1
yoku酱·2023-09-17 01:34

Java服务-常用技术-logback指定某一包或者类下日志记录到不同文件中

xxx-service%d{yyyy-MM-ddHH:mm:ss.SSS}|%logger{10}|%5p|%msg%n${log.file}true%d{yyyy-MM-ddHH:mm:ss.SSS}|%logger{10}|%5p|%msg%n${log.rollingFile}60100MB${log.my.file}true%d{yyyy-MM-ddHH:mm:ss.SSS}|%logge
码者人生·2023-09-16 14:36

数据集成：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:23

数据变换：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:53

学习大数据必须了解的大数据开发课程大纲

大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。
大数据在说话·2023-09-16 04:55

大厂招人五要素

很多同学都想进入大厂或者大的甲方公司，尤其是大数据开发这个方向，岗位也集中在头部的这一批公司。这两年进入大厂的门槛也越来越高，那么进入这些公司有哪些条件？
王知无(import_bigdata)·2023-09-15 16:43

大数据开发：Hive DDL操作入门

今天的大数据开发分享，我们就先来讲讲HiveDDL操作入门。HQL的使用对于本身有SQL基础的人来说，是非常容易上手的。DDL操作，主要包括创建数据库中的对象——表、视图、索引等。Hive常用DDL
成都加米谷大数据·2023-09-15 11:31

数据清洗：数据挖掘的前期准备工作

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-15 09:43
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他