大数据开发常用技术

0基础学习大数据路线，0基础大数据开发

加米谷大数据理论＋代码＋实战＋实操的独有课程体系，下面是加米谷的0基础大数据开发课程大纲：第一阶段：Java设计与编程思想学习内容：Java设计与编程思想学习目标：Java基础、Java面向对象、Java
大数据挖掘与大数据分析·2023-09-25 02:20

大数据开发工程师之SQL面试题（一）

sql面试题(一)牛客后台会记录每个用户的试卷作答记录到exam_record表，现在有两个用户的作答记录详情如下：用户1001在2021年9月1日晚上10点11分12秒开始作答试卷9001，并在50分钟后提交，得了90分；用户1002在2021年9月4日上午7点1分2秒开始作答试卷9002，并在10分钟后退出了平台。试卷作答记录表exam_record中，表已建好，其结构如下，请用一条语句将这两
密探特洛伊·2023-09-24 08:00

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统
高天艳阳·2023-09-24 08:00

大数据开发工程师面试题以及答案整理（一）

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的
陆山右·2023-09-24 08:59

大数据开发工程师面试题

一、选择题1、哪个程序负责HDFS数据存储？Datanode2、HDFS中的block默认保存几份？默认3份3、哪个程序通常与NameNode在一个节点启动？Jobtracker4、HDFS默认BlockSize是多少？64MB5、什么通常是集群的最主要瓶颈磁盘IO6、关于SecondaryNameNode？它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间7、什么可以作为集
完美屁桃·2023-09-24 08:27

大数据杂谈

大数据开发方向偏业务侧方向-业务开发-项目经理偏技术方向-平台开发-架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务
February13·2023-09-24 08:26

消息队列RabbitMQ常用技术解析

什么是MQ一种通信方式有(同步通信与异步通信)同步通信:比如微信视频聊天实时返回信息局限只能和一个人异步通信:比如微信聊天一个人可以和多个聊天局限调用链关系不清晰事件驱动异步方式中大量请求进入broker进行缓存有服务原则性订阅消息，优点0耦合度、吞吐量高、故障隔离、流量削峰MQ：messageQueue翻译为消息队列，通过典型的生产者和消费者模型不断向消息队列中生产消息，消费者不断从队列中获取消
sense.gong·2023-09-24 02:41

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

MyBatis常用技术以及基本概念的了解

简介MyBatis是Apache的一个开源项目iBatis,iBatis3.以后正式更名为MyBatisMyBatis是支持定制化SQL、存储过程以及高级映射的优秀的持久层框架MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集MyBatis可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO映射成数据库中的记录运行原理Mybatis三大核心API，SqlSe
每天都要进步哇·2023-09-23 16:19

Redis常用技术和基本概念

NOSQL简介非关系型数据库，数据与数据之间没有关联关系。就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题分类键值(key-value)存储数据库Redis列存储数据库：键仍然存在，但是指向了多个列，HBase(eg：博客平台(标签和文章))文档型数据库MongoDb(eg：淘宝商品的评价)图形数据库Neo4j（eg：好友列表）四种NoSQL数据库对比使用场景据模型比较简单需
每天都要进步哇·2023-09-23 16:49

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图对本次实验工作进行全面的总结。完成实验内容后，实验
Want595·2023-09-22 15:02

微服务架构：解析特点、优势和常用技术栈

摘要：本文深入探讨微服务架构的定义、特点、优势以及常用的技术栈。通过详细介绍微服务架构的核心概念和实际应用场景，帮助读者理解微服务架构的重要性以及如何应用于实际项目中。1.什么是微服务架构？微服务架构是一种软件架构风格，通过将大型应用程序拆分为一组小型、独立的服务来构建系统。每个服务都围绕特定的业务功能进行设计、开发、部署和扩展。这些服务通过轻量级的通信机制进行交互，形成一个松耦合的分布式系统。2
琴剑飘零西复东·2023-09-22 02:00

从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：实时与查询性能不足，高并发支持挑战大：金融行业中常见的风
·2023-09-21 16:40

大数据学习基础知识总纲

大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从JaveWeb开发转岗过来的(当然
yoku酱·2023-09-21 15:41

决策树（下）：泰坦尼克号乘客的生存预测（完整代码）

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:46

决策树（上）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。欢迎小伙伴们点赞、收藏⭐️、留言、关注，关注必回关上一篇文章已经跟大家介绍过《超详细！
秋无之地·2023-09-21 05:45

超详细！一次学会Python数据可视化的10种技能

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:15

决策树（中）：数据挖掘十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-21 05:09

大数据开发常见问题

Linux磁盘百分之百的问题找到比较大的文件，然后删除大的一些日志文件sudofind/-size+100M-execls-lh{}\;&rewriteBatchedStatements=true&characterEncoding=utf-8免密yonghuALL=(root)NOPASSWD:ALL,!/usr/bin/reboot,!/sbin/reboot,!/bin/su,!/usr/b
工作变成艺术·2023-09-20 21:21

mysql 查找相似数据_MySQL慢查询优化 | 联结原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
weixin_39648492·2023-09-20 13:04

大数据开发工程师是做什么的？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。
我想去吃ya·2023-09-20 01:05

大数据开发中常用组件服务的集群管理脚本整理集合

大数据开发常用脚本整理集合大数据环境相关脚本bash运行模式说明创建shell脚本目录配置hostsSSH自动配置脚本文件同步、复制工具rsync基本用法文件同步脚步命令执行脚本节点循环简化大数据组件相关脚本
CodeDevMaster·2023-09-20 01:34

常用技术分析图表：折线图

折线图又称线图，是一种最为简单的图表。将每个时段的收盘价用折线连接起来，就生成了折线图。折线图中只含有收盘价。Apple股价折线图
技术投机客·2023-09-19 23:26

Docker遇到的问题汇总

Docker遇到的问题汇总进行大数据开发，需要虚拟一个Hadoop集群，原来都是在Win下开发的，前段时间刚换成M1pro的02021款的mbp，遇到很多很多问题，到最后也根本没有办法使用号称支持M1Mac
小菜鸡也有大佬梦·2023-09-19 15:35

大数据开发工程师应该掌握哪些技术？

那么成为一名合格的大数据开发工程师，你需要掌握的技能也比较多。具体是哪些呢，你可以参看下面的这些点。
会飞的鱼go·2023-09-18 04:59

大数据开发系列（一）----Hadoop详细配置

http://www.bubuko.com/infodetail-3137033.htmlcd1、/代表根目录2、.当前目录3、..上级目录4、~当前用户的默认工作目录/../.直接返回根目录安装Linux教程：参考：https://www.cnblogs.com/frankdeng/p/9027037.htmlVMnet1对应仅主机模式VMnet8对应NAT模式以VMnet8的IP作为基础进入r
我喜欢这个感觉·2023-09-18 01:16

大数据开发基础入门与项目实战（二）Java Web数据可视化之2.MySQL单表、约束和事务

文章目录前言1.DQL操作单表（1）DQL之排序查询（2）DQL之聚合函数（3）DQL之分组查询（4）limit关键字2.SQL约束（1）约束的介绍（2）主键约束（3）主键自增（4）非空约束（5）唯一约束（6）默认值3.数据库事务（1）事务的基本概念（2）MySQL手动提交事务（3）MySQL自动提交事务（4）MySQL事务四大特性ACID（5）MySQL事务隔离级别（6）隔离级别相关命令（7）脏
cutercorley·2023-09-17 19:01

Canal：同步mysql增量数据工具，一篇详解核心知识点

老刘是一名即将找工作的研二学生，写博客一方面是总结大数据开发的知识点，一方面是希望能够帮助伙伴让自学从此不求人。
努力的老刘·2023-09-17 17:44

【大数据开发】2024届校招岗位汇总

公司岗位字节跳动数据开发工程师华晨宝马-领悦南京助理工程师-大数据华晨宝马-北京大数据开发工程师
德彪稳坐倒骑驴·2023-09-17 12:55

RPA机器人流程自动化专题培训大纲（供大家参考使用）

一、RPA机器人流程自动化概述RPA的定义和发展历程RPA的应用场景和优势RPA与人工智能的关系二、RPA机器人流程自动化基础知识RPA的基本原理和技术架构RPA的常用技术和工具RPA的编程语言和开发环境三
中本王·2023-09-17 11:41

Smart Community(1)之设计规范

通过前面大数据开发相关知识的学习，准备做一个项目进行练习---我给他起了一个响亮的名字：基于HadoopHA的智慧社区服务平台设计规范：做一个项目之前肯定要先规定一些开发过程中的设计规范（一）数据埋点规范
小唐同学爱学习·2023-09-17 02:53

专科学历能学习大数据开发吗？

近来不少想转行大数据的同学在跟我的的交流中诉说到:想做IT行业，但是学历太低啦。怕花了时间和精力来学习IT相关知识，最后却找不到相应的工作，一起努力都付诸东流。对于这类学生，一般会建议他们来学习大数据，为了前沿技术，为了高薪。具体原因是什么呢，下面一起来了解一下。1.因为大数据是IT行业中比较炙热的项目，现在各个用人单位对于大数据相关的人才需求量特别的大。相关统计数据显示，未来3~5年，中国需要1
yoku酱·2023-09-17 01:34

Java服务-常用技术-logback指定某一包或者类下日志记录到不同文件中

xxx-service%d{yyyy-MM-ddHH:mm:ss.SSS}|%logger{10}|%5p|%msg%n${log.file}true%d{yyyy-MM-ddHH:mm:ss.SSS}|%logger{10}|%5p|%msg%n${log.rollingFile}60100MB${log.my.file}true%d{yyyy-MM-ddHH:mm:ss.SSS}|%logge
码者人生·2023-09-16 14:36

数据集成：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:23

数据变换：数据挖掘的准备工作之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-16 06:53

学习大数据必须了解的大数据开发课程大纲

大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。
大数据在说话·2023-09-16 04:55

大厂招人五要素

很多同学都想进入大厂或者大的甲方公司，尤其是大数据开发这个方向，岗位也集中在头部的这一批公司。这两年进入大厂的门槛也越来越高，那么进入这些公司有哪些条件？
王知无(import_bigdata)·2023-09-15 16:43

大数据开发：Hive DDL操作入门

今天的大数据开发分享，我们就先来讲讲HiveDDL操作入门。HQL的使用对于本身有SQL基础的人来说，是非常容易上手的。DDL操作，主要包括创建数据库中的对象——表、视图、索引等。Hive常用DDL
成都加米谷大数据·2023-09-15 11:31

数据清洗：数据挖掘的前期准备工作

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-15 09:43

原子指标、派生指标、衍生指标

数据指标概述-大数据开发治理平台DataWorks-阿里云原子指标，派生指标，衍生指标概念_一二三的小仓库的博客-CSDN博客_原子指标派生指标衍生指标
one ²⁰¹⁹·2023-09-15 02:32

天津大数据培训学校 大数据可从事的行业

大数据培训靠谱吗随着大数据发展，市面上的大数据培训机构可谓百花齐放，有专门做大数据开发的、大数据分析的，但是在机构的质量上可以说是参差不齐，有好有坏，如果大家想要适合自己的大数据培训机构
qq_38453958·2023-09-14 15:09

Python爬虫：如何下载懂车帝的电动车数据（完整代码）

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-14 07:28

Pandas模块：Python科学计算神器之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-14 07:58

用户画像的设计准则以及美团外卖用户画像的设计案例

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-14 07:58

数据采集：数据挖掘的基础

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-09-14 07:47

KV Cache

大模型推理加速的一个常用技术是KVCache，在不牺牲任何计算精度的前提下，通过空间换时间，提高推理性能。注意，这里的Cache概念非常简单，跟浏览器缓存、CPU缓存不是一个概念。
transformer_WSZ·2023-09-14 06:13

从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：实时与查询性能不足，高并发支持挑战大：金融行业中常见的风
DolphinScheduler社区·2023-09-13 13:33

大数据开发：Flink内存模型与参数讲解

今天的大数据开发学习分享，我们来讲讲Flink内存模型与参数。Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置，这也是Flink1.10版本最主要的改进与优化点之一。
成都加米谷大数据·2023-09-13 08:44

大数据开发：Kafka主题与分区概念详解

今天的大数据开发学习分享，我们就主要来讲讲Kafka当中的两个重要概念，主题与分区。
成都加米谷大数据·2023-09-11 15:47

MyBatis-Plus查询：批量、条件、分页查询的实现

本专栏六篇文章围绕MyBatis-Plus的常用技术点，结合springboot，实现了对数据库记录的CRUD操作，其他文章请参考：《MyBatis-Plus入门案例：查询数据库中所有记录》《MyBatis-Plus
编程一只蝶·2023-09-11 11:39
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他