大数据+机器学习第27页

如何探索和可视化用于图像中物体检测的 ML 数据

近年来，人们越来越认识到深入理解机器学习数据（ML-data）的必要性。

虚无火星车·2024-02-19 16:11

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。

·2024-02-19 16:01

营销系统黑名单优化：位图的应用解析 | 京东云技术团队

营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名单同样也是通过CDP维护。

·2024-02-19 16:59

作物模型狂奔：Apsim、Wofost、Dssat

大数据量必须要脚本去跑，目前Apsim和Wofost出了点成果，跟大家分享一下。欢迎各位道友留言、私聊、交流病情最好到B站上去留言啦，CSDN平很少登录需要指导的话，那就得让我挣点零花咯，嘿嘿。

F_Dregs·2024-02-19 15:47

机器学习概念读书笔记

1-机器学习起源机器学习始于1950年代，塞缪尔用跳棋游戏研究机器学习，最终程序打败了他自己，后来更是战胜了美国跳棋全国冠军。

人工智娘·2024-02-19 15:47

机器学习第二十五周周报 ConvLSTM

文章目录week25ConvLSTM摘要Abstract一、李宏毅机器学习二、文献阅读1.题目2.abstract3.网络架构3.1降水预报问题的建模3.2ConvolutionalLSTM3.3编码-

沽漓酒江·2024-02-19 15:51

机器学习---规则学习（序贯覆盖、单条规则学习、剪枝优化）

1.序贯覆盖回归：分类：聚类：逻辑规则：读作：若（文字1且文字2且...），则目标概念成立规则集：充分性与必要性；冲突消解：顺序规则、缺省规则、元规则eg：命题逻辑→命题规则原子命题：,,,…A,B,C,…；逻辑连词：↔,→,←,⋀,⋁,¬…↔,→,←,⋀,⋁,¬…一阶逻辑→一阶规则常量：,,,…,1,2,3,…；变量：,,,…A,B,C,…（n元）谓词/函数：p/n,f/n；项：常量|变量|函数

三月七꧁ ꧂·2024-02-19 15:21

神经网络算法 —— Embedding（嵌入）！！

文章目录前言1、Embedding的本质（1）机器学习中的Embedding（2）NLP中的Embedding2、Embedding的原理（1）ImageEmbedding（图像嵌入）（2）WordEmbedding

JOYCE_Leo16·2024-02-19 15:15

【大厂AI课学习笔记】【2.2机器学习开发任务实例】（1）搭建一个机器学习模型

今天学习的是，如何搭建一个机器学习模型。主要有以上的步骤：原始数据采集特征工程数据预处理特征提取特征转换（构造）预测识别（模型训练和测试）在实际工作中，特征比模型更重要。

giszz·2024-02-19 14:43

【大厂AI课学习笔记】【2.2机器学习开发任务实例】（3）数据准备和数据预处理

项目开始，首先要进行数据准备和数据预处理。数据准备的核心是找到这些数据，观察数据的问题。数据预处理就是去掉脏数据。缺失值的处理，格式转换等。延伸学习：在人工智能（AI）的众多工作流程中，数据准备与预处理占据着举足轻重的地位。这两个步骤不仅影响着模型的训练效率和准确性，更是确保AI系统能够在实际应用中发挥效能的基石。一、数据准备数据准备的核心在于找到合适的数据源，并确保这些数据能够充分反映所要解决的

giszz·2024-02-19 14:43

【吴恩达·机器学习】第二章：单变量线性回归模型（代价函数、梯度下降、学习率、batch）

——《朗读者》0、声明本系列博客文章是博主本人根据吴恩达老师2022年的机器学习课程所学而写，主要包括老师的核心讲义和自己的理解。

Yaoyao2024·2024-02-19 14:41

Pytorch-SGD算法解析

肆十二·2024-02-19 14:10

机器学习第二十八周周报 PINNs2

文章目录week28PINNs2摘要Abstract一、Lipschitz条件二、文献阅读1.题目数据驱动的偏微分方程2.连续时间模型3.离散时间模型4.结论三、CLSTM1.任务要求2.实验结果3.实验代码3.1模型构建3.2训练过程代码小结参考文献week28PINNs2摘要本文主要讨论PINN。本文简要介绍了Lipschitz条件。其次本文展示了题为Physics-informedneura

沽漓酒江·2024-02-19 14:38

OLMo论文里的模型结构的小白解析

模型参数量以7B为例，隐藏层为4086，attentionheads为32训练的token量为2.46T训练策略超参数在我们的硬件上优化训练吞吐量，同时最小化损失峰值和缓慢发散的风险来选择超参数损失峰值：在机器学习中

瓶子好亮·2024-02-19 14:08

奇葩说第五季之你会去见大数据为你筛选出的最合适的人吗？

欧阳Sir被淘汰，如晶战队又输了。其实这期辩题反方是理想，正方是现实。所以奇葩说的观众那么有梦想，心里存着诗和远方，一定会选择反方。我也会的，但是我会经过正方的步骤再从心里走到反方去。虽然我选择反方，但我希望正方可以赢，我希望如晶赢，她在我心里就是无冕之王。而且，非常喜欢欧Sir，就像高晓松说的，他身上有种特别好的现代的荒诞感，一见他就高兴。他走了，真得舍不得。他不是个好辩手，可能都不太适合这个舞

昆仑君的猫·2024-02-19 14:18

redis学习笔记

Redis学习笔记文章目录Redis学习笔记一、NoSQL数据库简介1、解决问题2、NoSQL数据库二、Redis6概述和安装1、安装2、注意事项3、Redis使用4、其他介绍三、常用五大数据类型1、Redis

果然君·2024-02-19 14:19

p11 结构体：统计大数据

结构体定义（Struct）是一种用户定义的数据类型，用于组合不同数据类型的元素。它们允许将多个相关的变量组合在一起，形成一个逻辑上的单元。可以通过定义结构体来描述一个实际问题中的对象或概念，从而更好地组织和管理代码。输入一个正整数n(3voidmain(){structem{charname[10];floatjbg;floatfdg;floatzc;};structememp[100];inti

Mzylq·2024-02-19 14:16

Quick introduction to Apache Spark

它还支持一组丰富的更高级别的工具，包括SparkSQL用户SQL和结构化数据处理，MLlib机器学习，GraphX用户图形处理下载从项目网站的下载页面获取Spark。

Liam_ml·2024-02-19 13:29

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是

技术武器库·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，

hyunbar·2024-02-19 13:39

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策

Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解

Jiweilai1·2024-02-19 13:35

菜鸟也崩了分析分析原因+聊聊降本增笑

2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新：近年来，人工智能、大数据、物联网等技术在物流行业得到了广泛应用，有效提高了物流效率，降低了运营成本。例如，一些物流公司利用大数据进行

我才是真的封不觉·2024-02-19 13:34

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势

Jiweilai1·2024-02-19 13:34

【解决（几乎）任何机器学习问题】：处理分类变量篇（上篇）

这篇文章相当长，您可以添加至收藏夹，以便在后续有空时候悠闲地阅读。本章因太长所以分为上下篇来上传，请敬请期待很多⼈在处理分类变量时都会遇到很多困难，因此这值得⽤整整⼀章的篇幅来讨论。在本章中，我将讲述不同类型的分类数据，以及如何处理分类变量问题。什么是分类变量？分类变量/特征是指任何特征类型，可分为两⼤类：⽆序，有序⽆序变量是指有两个或两个以上类别的变量，这些类别没有任何相关顺序。例如，如果将性别

X.AI666·2024-02-19 13:01

【大数据面试题】008 谈一谈 Flink Slot 与并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章

Jiweilai1·2024-02-19 13:01

云计算实训室建设方案2024

唯众公司提供云计算、大数据、人工智能等创新技术，为院校、政府、企业培养人才提供优质教学资源、师资培养、专业共建和产教融合等服务。

武汉唯众智创·2024-02-19 13:00

C语言指针进阶

(char*)1.字符常量2.字符串常量二、指针数组三、数组指针1.数组指针的定义2.数组名vs&数组名3.数组指针的使用总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要

空杯心！·2024-02-19 13:00

抖音为什么这么火

这种社交形态是以短音乐与短视频相结合的方式，而且它会根据大数据推荐当前最新最火的短视频给你看，第一时间抓住你的注意力，吸引你的眼球。从抖音的运营看，抖音成立于2016年9月，在探索蛰伏了

追宇·2024-02-19 13:57

政安晨：【完全零基础】认知人工智能（一）【超级简单】的【机器学习神经网络】 —— 预测机

开个头很多小伙伴们很想亲近人工智能与机器学习领域，然而这个领域里的核心理论、算法、工具给人感觉都太过“高冷”，让很多小伙伴们望而却步，导致一直无法入门。如何捅破这层窗户纸？

政安晨·2024-02-19 13:26

【大厂AI课学习笔记】【2.1 人工智能项目开发规划与目标】（4）数据准备的流程

数据采集观测数据人工收集调查问卷线上数据库2.数据清洗有缺失的数据有重复的数据有内容错误的数据，例如逻辑错误、格式错误有不需要的数据3.数据标注数据标注即通过分类、画框、标注、注释等，对图片、语音、文本等数据进行处理，标记对象的特征，以作为机器学习标签的过程

giszz·2024-02-19 13:47

政安晨：【完全零基础】认知人工智能（二）【超级简单】的【机器学习神经网络】—— 底层算法

如果小伙伴第一次看到这篇文章，可以先浏览一下我这个系列的上一篇文章：政安晨：【完全零基础】认知人工智能（一）【超级简单】的【机器学习神经网络】——预测机https://blog.csdn.net/snowdenkeke

政安晨·2024-02-19 12:09

探索XGBoost：深度集成与迁移学习

导言深度集成与迁移学习是机器学习领域中的两个重要概念，它们可以帮助提高模型的性能和泛化能力。

Echo_Wish·2024-02-19 12:34

单细胞转录组基础分析六：伪时间分析

Monocle进行伪时间分析的核心技术是一种机器学习算法——反向图形嵌入(ReversedGraphEmbedding)。

Seurat_Satija·2024-02-19 12:25

阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜

随着容器技术和服务在企业的应用程度不断加深，企业对于容器的使用也越来越多地从在线业务逐渐向AI、大数据类型的工作负载发展。

·2024-02-19 12:02

4张图片就可以微调扩散模型

基础概念1、生成模型和文本到图像的合成生成模型是一类机器学习模型，旨在生成与给定数据集相似的新数据

·2024-02-19 12:29

生成式网络与判别式网络

生成式网络（GenerativeNetworks）和判别式网络（DiscriminativeNetworks）是两类在机器学习和深度学习中常见的网络类型，它们在数据处理和学习任务中扮演不同的角色。

一条小小yu·2024-02-19 12:23

投票助力 | 第19届（2023）数智招标采购行业年度评选网络投票已开启！

评选组委会经过为期一个多月的奖项申报、初选等环节，本着客观、公正的评审原则，以必联网和隆道平台大数据为依据，从业务水平、项目业绩

隆道·2024-02-19 12:43

机器学习、深度学习、强化学习、迁移学习的关联与区别

本文主要了解并初步探究机器学习、深度学习、强化学习、迁移学习的关系与区别，通过清晰直观的关系图展现出四种“学习”之间的关系。

半亩花海·2024-02-19 12:43

预训练和微调在迁移学习中的作用

在机器学习和深度学习中，"pre-training"（预训练）和"fine-tuning"（微调）是两个常见且重要的概念，它们通常在迁移学习场景中使用，以提高模型在特定任务上的性能。

一条小小yu·2024-02-19 12:42

大数据提醒你：中国这些古建筑，可能是下一个巴黎圣母院！

2019独角兽企业重金招聘Python工程师标准>>>大家晚上好，我是今天的提笔人嗅嗅。巴黎圣母院失火事件让我的心情很沉重，一句无关痛痒的安慰“巴黎不哭”，已经不能表达我对这场文化之殇的惋惜之痛，人类伟大的建筑在一瞬间被毁灭。世界唯一的不变的就是变化，且我们永远赶不上变化的速度，因为做不到预知未来，或者说预测的不够精准。这句话在过去是完全适用的，受限于科技水平、数据缺失等各方面的因素，曾经的很长时

weixin_33696822·2024-02-19 12:06

Python环境下基于深度判别迁移学习网络的轴承故障诊断

目前很多机器学习和数据挖掘算法都是基于训练数据和测试数据位于同一特征空间、拥有相同数据分布的假设。然而在现实应用中，该假设却未必存在。

哥廷根数学学派·2024-02-19 12:36

JVM（4）原理篇

以基础篇的这段代码为例：Java中的8大数据类型在虚拟机中的实现：boolean、byte、char、short在栈上是不是存在空间浪费？

梵高Coding·2024-02-19 12:05

「企业应用架构」应用程序架构的当前趋势

应用架构概述随着各种力量（云、移动、社交和大数据）的相互联系不断涌现，不利用这些力量的组织在未来将面临严重的业务劣势。

架构师研究会·2024-02-19 12:15

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我

笑起来贼好看·2024-02-19 11:38

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正

笑起来贼好看·2024-02-19 11:08

Matlab DNN多层感知机进行图像分类——附源码分享

非得用matlab来搞机器学习的东西？不是不是，matlab也有集成了许多机器学习算法，当然，都是一些非常基础的机器学习算法。深度学习还是得向python看齐。

我是狮子搏兔·2024-02-19 11:34

python毕设选题 - 大数据上海租房数据爬取与分析可视化 -python 数据分析可视化

为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是基于大数据上海租房数据爬取与分析可视化学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：5分1课题背景基于

DanCheng-studio·2024-02-19 11:54

python毕设选题 - 大数据二手房数据爬取与分析可视化 -python 数据分析可视化

为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是基于大数据招聘岗位数据分析与可视化系统学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：5分1课题背景首先通过爬虫采集