本科课程大数据基础

数据中台建设方案-基于大数据平台(下)

大数据基础平台技术能力的高低，主要依赖于该层组件的发展。本建设方案满足甲方对于数据计算层建设的基本要求：利用了MapReduce、Spar
FRDATA1550333·2024-09-11 03:49

数值分析——LU分解（LU Factorization）

本系列整理自博主21年秋季学期本科课程数值分析I的编程作业，内容相对基础，参考书:DavidKincaid,WardCheney-NumericalAnalysisMathematicsofScientificComputing
怀帝阍而不见·2024-09-07 01:30

大数据基础之Flume——Flume基础及Flume agent配置以及自定义拦截器

Flume简介Flume用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地 -一种可靠、可用的高效分布式数据收集服务Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复由Cloudera2009年捐赠给Apache，现为Apache顶级项目Flume架构Client：客户端，数据产生的地方，如Web服务器Event：事件，指通过Agent传输的单个数据包，如日志数据通常对
Clozzz·2024-09-03 03:17

大数据学习路线基础指南‌

提供一份从零基础到精通的大数据学习指南希望对大家有所帮助一、‌基础阶段：‌掌握核心概念与技能1.‌了解大数据基础‌学习大数据的定义、‌特点、‌价值以及应用领域。‌理解大数据与传统
一马什么梅一·2024-08-27 23:24

半导体物理怎么学？哪里是重点？

无论是半导体物理考研专业课，还是本科课程学习，搭建框架都挺重要的。不知道哪里是重点？这篇文章介绍《半导体物理学》的框架，有助于初学者了解这个科目的整体结构。
半导体物理考研路·2024-02-26 06:39

《反脆弱》第16章 混乱中的秩序

这两类人之间的区别，不在于他们在官方的本科课程学习上的差异，每个人都知道这种差异即使很小，也会被分数放大，他们之间的真实差异实际上存在于课堂之外。当塔勒布
文倩定投人生·2024-02-20 21:59

阿里云计算平台大数据基础工程技术团队直聘！！！

大数据基础工程技术团队，隶属于阿里云智能集团计算平台事业部，是一支负责阿里集团、公共云和混合云场景计算平台大数据&AI产品的稳定性建设、架构&成本优化、运维产品ABM（ApsaraBigdataManager
·2024-02-19 11:20

大数据基础必备，大数据是什么？

随着互联网时代的到来，颠覆了传统行业的盈利模式，大家都把注意力集中在了互联网上。前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。大数据学习群：199427210百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据
大数据05·2024-02-11 08:31

自学大数据：大数据学习线路及各阶段学习书籍

阶段一、大数据基础——java语言基础方面（1）Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术
yoku酱·2024-02-09 21:46

区块链和大数据有什么关系？

大数据核心产业链大致可以分为以下三部分：产品部分：包括大数据基础软件和大数据应用软件等大数据软件产品相关行业。数据部
离开的人·2024-02-06 18:36

大数据基础和硬件介绍

目录1大数据课程导论1.1大数据概念1.2大数据的特点1.3大数据能干啥1.4大数据发展前景1.5企业数据部的业务流程分析2服务器基本介绍3存储磁盘基本介绍3.1SCSI接口硬盘介绍3.2、SAS接口硬盘介绍3.3、FDE/SDE接口硬盘介绍3.4、SATA硬盘基本介绍3.5、SSD硬盘介绍4.交换机基本介绍5.网卡的介绍6.局域网基本介绍7.机架基本介绍8.IDC数据中心介绍9.磁盘阵列9.1、
赵广陆·2024-02-06 16:35

深度学习本科课程 实验3 网络优化

一、在多分类任务实验中实现momentum、rmsprop、adam优化器1.1任务内容在手动实现多分类的任务中手动实现三种优化算法，并补全Adam中计算部分的内容在torch.nn实现多分类的任务中使用torch.nn实现各种优化器，并对比其效果1.2任务思路及代码importtorchimporttorch.nnasnnimporttorch.optimasoptimimportnumpyas
11egativ1ty·2024-02-06 12:20

SparkSQL on K8s 在网易传媒的落地实践

【作者：鲁成祥易顺】随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。
wangyishufan·2024-02-06 06:02

机器学习本科课程 大作业 多元时间序列预测

1.问题描述1.1阐述问题对某电力部门的二氧化碳排放量进行回归预测，有如下要求数据时间跨度从1973年1月到2021年12月，按月份记录。数据集包括“煤电”，“天然气”，“馏分燃料”等共9个指标的数据（其中早期的部分指标notavailable）要求预测从2022年1月开始的半年时间的以下各个部分的排放量二氧化碳的排放情况具体分为九项指标：CoalElectricPowerSectorCO2Emi
11egativ1ty·2024-02-05 20:18

深度学习本科课程 实验5 循环神经网络

循环神经网络实验任务内容理解序列数据处理方法，补全面向对象编程中的缺失代码，并使用torch自带数据工具将数据封装为dataloader分别采用手动方式以及调用接口方式实现RNN、LSTM和GRU，并在至少一种数据集上进行实验从训练时间、预测精度、Loss变化等角度对比分析RNN、LSTM和GRU在相同数据集上的实验结果（最好使用图表展示）不同超参数的对比分析（包括hidden_size、batc
11egativ1ty·2024-02-05 19:31

机器学习本科课程 实验5 贝叶斯分类

实验1.使用sklearn的GaussianNB、BernoulliNB、MultinomialNB完成肿瘤预测任务实验内容：使用GaussianNB、BernoulliNB、MultinomialNB完成肿瘤预测计算各自十折交叉验证的精度、查准率、查全率、F1值根据精度、查准率、查全率、F1值的实际意义以及四个值的对比阐述三个算法在肿瘤预测中的表现对比1.读取数据集importpandasasp
11egativ1ty·2024-02-05 13:43

机器学习本科课程 实验6 聚类实验

第一题：使用sklearn的DBSCAN和AgglomerativeClustering完成聚类实验内容：使用sklearn的DBSCAN和AgglomerativeClustering在两个数据集上完成聚类任务对聚类结果可视化对比外部指标FMI和NMI1.导入模块importnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinlineimportw
11egativ1ty·2024-02-05 13:43

深度学习本科课程 实验4 卷积神经网络

二维卷积实验1.1任务内容手写二维卷积的实现，并在至少一个数据集上进行实验，从训练时间、预测精度、Loss变化等角度分析实验结果（最好使用图表展示）（只用循环几轮即可）使用torch.nn实现二维卷积，并在至少一个数据集上进行实验，从训练时间、预测精度、Loss变化等角度分析实验结果（最好使用图表展示）不同超参数的对比分析（包括卷积层数、卷积核大小、batchsize、lr等）选其中至少1-2个进
11egativ1ty·2024-02-05 11:36

机器学习本科课程 实验4 支持向量机

第一题：支持向量机的核函数实验内容：了解核函数对SVM的影响绘制不同核函数的决策函数图像简述引入核函数的目的1.导入模型importnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinlinefrommatplotlib.colorsimportListedColormapimportwarningswarnings.filterwarnings('
11egativ1ty·2024-02-05 10:55

深度学习本科课程 实验1 Pytorch基本操作

一、Pytorch基本操作考察1.1任务内容使用初始化一个×的矩阵和一个×的矩阵，对两矩阵进行减法操作（要求实现三种不同的形式），给出结果并分析三种方式的不同（如果出现报错，分析报错的原因），同时需要指出在计算过程中发生了什么①利用创建两个大小分别×和×的随机数矩阵和，要求服从均值为0，标准差0.01为的正态分布；②对第二步得到的矩阵进行形状变换得到的转置^；③对上述得到的矩阵和矩阵$^$求矩阵相
11egativ1ty·2024-02-05 09:29

编译原理本科课程 专题4 算符优先语法分析设计原理与实现

一、程序功能描述本程序由C/C++编写，实现了：算符优先文法、最左素短语、算符优先矩阵、优先函程序等概念的定义及实例。以专题1词法分析程序的输出为语法分析的输入，实现算符优先分析算法，完成以下描述算术表达式的算符优先文法的算符优先分析过程：G[E]:E→E+T∣E-T∣TT→T*F∣T/F∣FF→(E)∣i二、主要数据结构描述关于具体的数据结构，主要使用了C语言的数组，其中字符数组运用最多，主要用
11egativ1ty·2024-02-05 08:38

编译原理本科课程 专题5 基于 SLR(1)分析的语义分析及中间代码生成程序设计

一、程序功能描述本程序由C/C++编写，实现了赋值语句语法制导生成四元式，并完成了语法分析和语义分析过程。以专题1词法分析程序的输出为语法分析的输入，完成以下描述赋值语句SLR(1)文法的语义分析及中间代码四元式的过程，实现编译器前端。G[S]:S→V=EE→E+T∣E-T∣TT→T*F∣T/F∣FF→(E)∣iV→i二、主要数据结构描述关于本程序的数据结构，首先用map存储了非终结符及终结符的编
11egativ1ty·2024-02-05 08:38

编译原理本科课程 专题3 LL(1)语法分析设计

一、程序功能描述本程序由C/C++编写，运用了自顶向下语法分析的设计方法和实现原理，实现了：LL（1）分析表的构造、LL(1)分析过程、LL(1)分析器的构造。程序以专题1词法分析程序的输出为语法分析的输入，实现了LL(1)分析中控制程序（表驱动程序），完成了以下描述赋值语句的LL(1)文法的LL(1)分析过程：G[S]:S→V=EE→TE′E′→ATE′|εT→FT′T′→MFT′|εF→(E)
11egativ1ty·2024-02-05 08:08

机器学习本科课程 实验1 线性模型

第三章线性模型3.1一元线性回归3.2多元线性回归3.3对数几率回归，线性判别分析（二选一）3.4类别不均衡3.1一元线性回归——Kaggle房价预测使用Kaggle房价预测数据集：打乱数据顺序，取前70%的数据作为训练集，后30%的数据作为测试集分别以LotArea,BsmtUnfSF,GarageArea三种特征作为模型的输入，SalePrice作为模型的输出在训练集上，使用最小二乘法求解模型
11egativ1ty·2024-02-05 08:38

机器学习本科课程 实验3 决策树处理分类任务

实验3.1决策树处理分类任务使用sklearn.tree.DecisionTreeClassifier完成肿瘤分类（breast-cancer）计算最大深度为10时，十折交叉验证的精度(accuracy)，查准率(precision)，查全率(recall)，F1值绘制最大深度从1到10的决策树十折交叉验证精度的变化图1.读取数据importnumpyasnpimportpandasaspddat
11egativ1ty·2024-02-05 08:05

按照原计划目标来做20200309--今日复盘-459-406

23：20—23：55用时40分钟今日复盘：每天三件事回顾、反思、探究、提升一、今天完成了哪些工作今天的三个目标1、读书完成本科课程的作业和试卷测试，争取达到80分以上。总计划用时3小时。
黄花儿香·2024-01-30 20:25

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

[AIGC 大数据基础] 大数据流处理 Kafka

在当今信息时代，我们生活在一个数据爆炸的世界中。大数据处理已成为各行各业中不可或缺的一部分。在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。在这篇博客中，我们将介绍一种流行的大数据流处理工具——Kafka，并探讨它在大数据处理中的重要性和应用。文章目录什么是Kafka？Kafka的应用场景总结什么是Kafka？Kafka是一种开源的分布式流处理平台
程序员三木·2024-01-29 05:32

[AIGC大数据基础] Spark 入门

大数据处理已成为当代数据领域的重要课题之一。为了高效地处理和分析大规模数据集，许多大数据处理引擎应运而生。其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。首先，我们会详细探讨Spark的基本概念和主要特点，让读者对Spark有一个清晰的认识。接着，我们将介绍Spark的使用方法，包括编程语言和API、运行环境等方面的内容。最
程序员三木·2024-01-28 12:32

[AIGC大数据基础] Flink: 大数据流处理的未来

Flink是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由Apache软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。文章目录什么是FlinkFlink的特点真正的流处理高性能和低延迟弹性扩展性丰富的API和库大数据生态系统整合Flink的应用场景总结什么是FlinkFlink建立在事件驱动的基础之上，可以处理高吞吐量和低延迟的数据流。与批处
程序员三木·2024-01-27 07:28

[AIGC 大数据基础] 浅谈hdfs

HDFS介绍什么是HDFS？HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。它被设计用于存储和处理大规模数据集，并且能够容错、高可靠和高性能地处理文件。HDFS是为了支持Hadoop的分布式计算和存储而开发的，是Hadoop的核心组件之一。它可以在普通的硬件上运行，并且可以适应大型数据集和并行计算的需求。HDFS使
程序员三木·2024-01-27 01:00

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

星环科技TDH一直致力于给用户带来高性能、高可靠的一站式大数据基础平台，满足对海量数据的存储和复杂业务的处理需求。
星环科技·2024-01-26 07:40

“研学测”好帮手，三步带你安装体验TDH社区开发版

星环科技TDH社区开发版，作为一款单机可部署、开箱即用的大数据基础平台产品，大幅降低了用户的资源成本和使用门槛。
星环科技·2024-01-26 07:10

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层
星环科技·2024-01-26 07:08

[AIGC 大数据基础]hive浅谈

在当今大数据时代，随着数据量的不断增大，如何高效地处理和分析海量数据已经成为一个重要的挑战。为了满足这一需求，Hive应运而生。Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。通过对数据进行分区、压缩以及并行处理，Hive能够快速地处理PB级数据。本博客将从“是什么、怎么用，为什么用”三个角度对Hive进行介绍。
程序员三木·2024-01-25 14:17

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j兼容性问题，使用Hadoop的jar包五、HBase远程发送到其他集群六、启动七、停止八、基本操作8.1进入Hbase客户端8.2namespace8.3DDL8.3.1创建表8.3.2查看表8
m0_46218511·2024-01-24 06:04

大数据基础设施搭建 - Redis

一、上传压缩包二、解压压缩包[mall@mallsoftware]$tar-zxvfredis-6.2.1.tar.gz-C/opt/module/三、查看gcc是否安装redis是用c写的，因此安装redis需要c语言的编译环境，即需要安装gcc[mall@mallmodule]$gcc-v四、编译[mall@mall~]$cd/opt/module/redis-6.2.1/[mall@mall
m0_46218511·2024-01-23 05:09

实战讲解｜Trino 在袋鼠云数栈的探索与实践

袋鼠云数栈作为新一代一站式大数据基础软件，其核心优势在于不仅提供了快速便捷、易于上手的底层数据开发模块，更推出了涵盖质量、标签及指标等上层偏业务功能模块。
袋鼠云数栈·2024-01-20 21:44

大数据基础-测试过程

一、大数据：大数据是一个大的数据集合，通过传统的计算技术无法处理。这些数据集的测试需要用各种工具、技术、框架进行处理。大数据涉及数据创建，存储、检索、分析，而且它在数量、多样性、速度都很出色。二、大数据的测试类型：验证其数据处理、性能和功能测试是关键处理：批量、实时、交互数据质量测试：字段一致性、准确性、重复性、有效性、数据完整性性能测试三、大数据的测试步骤step1：数据阶段验证：pre-Had
测试界吖吖·2024-01-18 11:37

如何设计实时数据平台（设计篇）

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/OyQ0_BhFzEknqOdF0VaeWA导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论
longLiveData·2024-01-18 05:11

2021-03-05

虽然竞争异常激烈，但我还是想争取一下数据科学专业，一是该专业与我本科课程以及实习经历有着密
吴阳_b2d6·2024-01-18 04:37

Hadoop（一）之初识大数据与Hadoop

Hadoop（一）之初识大数据与Hadoop阅读目录(Content)一、引言（大数据时代）1.1、从数据中得到信息1.2、大数据表象概念二、大数据基础2.1、什么是大数据？
筱若水qq·2024-01-15 14:04

【自控实验】1. 线性系统串联超前校正实验

本科课程实验报告，有太多公式和图片了，干脆直接转成图片了仅分享和记录，不保证全对串联超前校正实验：频域设计计算(校正装置)，时域观察验证(校正结果)使用matlab中的simulink进行仿真
Jun-llj·2024-01-11 20:06

【自控实验】2. 采样控制系统特性

本科课程实验报告，有太多公式和图片了，干脆直接转成图片了仅分享和记录，不保证全对通过对二阶连续系统、二阶采样系统和具有保持器的二阶采样系统仿真实验，比较三种系统的特性，加深对采样控制系统的了解使用matlab
Jun-llj·2024-01-11 20:32

终于按时完成目标一次20200225--今日复盘-446-393

23：10—23：50用时40分钟今日复盘：每天三件事回顾、反思、探究、提升一、今天完成了哪些工作昨日三个目标1、读书继续学习本科课程科目，第五章后一节内容比较多，尽量腾时间安排学习。计划用时4小时。
黄花儿香·2024-01-11 10:31

2024年统一大数据应用场景的技术

大数据技术正处于高速发展时期，有些应用场景基本已经统一了技术选型，有些技术场景的赛道正在互相角力，本文基于特定技术统一应用场景这个目的展开讨论；对于应用场景默认技术选型的技术，我们可以当做大数据基础能力学习
i7杨·2024-01-04 03:07

倾听更大共同体的声音

2.费曼试图编写量子物理的本科课程，后来他发现他无法将量子物理解释得让本科生一听就懂的水准，最后他说这就说明人类对量子物理的理解还不够深。3.安徒生——汉斯的故事：汉斯是故事里唯一的一个成年人。
小蓝的小本本·2024-01-02 11:52

【DAY1|SQL自学打卡】基础查询

我的本科课程当中有一门课程——数据库系统原理与应用，好了，废话不多说了，开干！学习界面：直达传送门请
祖国滴花骨朵儿·2023-12-31 11:14

Mac M1 Datasophon 安装

MacM1Datasophon安装什么是DatasophonDataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
青涩的芒果汁·2023-12-30 06:00

IDC 中国数字化转型盛典：兴业银行「基于悦数图数据库」的「智能大数据云平台」获奖

01基于图计算的【智能大数据云平台】荣获行业权威奖项认可兴业银行的智能大数据云平台即大数据基础平台，由悦数图数据库提供图构建、图计算、图
悦数图数据库·2023-12-29 10:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他