机器学习--数据处理第57页

Pandas实践指南：从基础到高级数据分析

从基础到高级数据分析引言Pandas基础1.安装和基本配置2.DataFrame和Series的基础3.基础数据操作数据清洗与预处理1.缺失值处理2.数据转换3.数据过滤数据分析与操作1.数据聚合和分组操作2.时间序列数据处理

walkskyer·2024-01-29 11:08

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请

猿来孺词·2024-01-29 10:55

高性能分布式对象存储——MinIO（环境部署）

使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

seaskyccl·2024-01-29 10:39

Elasticsearch（ELK）集群环境部署

一、概述ELK是一个由三个开源软件工具组成的数据处理和可视化平台，包括Elasticsearch、Logstash和Kibana。这些工具都是由Elastic公司创建和维护的。

seaskyccl·2024-01-29 10:08

【数据分析】numpy基础第五天

在数据处理和数据分析中，数据预处理是非常重要的一步。我们不可能完全靠肉眼来分析数据，总会有用到各种算法模型的时候，例如使用聚类、回归分析。

扣柚·2024-01-29 10:24

程序员裁员潮：技术变革下的职业危机

随着人工智能、自动化和机器学习等技术的兴起，许多传统的编程工作正在被取代。这种技术变革导致了一个裁员潮，许多程序员们面临着失业的风险。一方面，自动化技术可以替代一些重复性的编程工作。许多企业现在使用自

左小白·2024-01-29 10:21

Scikit-Learn 高级教程——自动化机器学习

PythonScikit-Learn高级教程：自动化机器学习自动化机器学习是通过自动搜索和选择最佳模型及其超参数的过程，以简化机器学习任务的一种方法。

Echo_Wish·2024-01-29 09:43

TensorFlow2实战-系列教程9：TFRecords数据源制作2

TensorFlow2实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传5、图像数据处理实例5.1读数据importosimportglobfromdatetimeimportdatetimeimportcv2importnumpyasnpimportmatplotlib.pyplotaspltimportmat

机器学习杨卓越·2024-01-29 09:10

数据处理 js

[{name:‘a’,age:1},{name:‘b’,age:1},{name:‘b’,age:1},{name:‘a’,age:1},{name:‘c’,age:1},{name:‘c’,age:1},{name:‘a’,age:1},{name:‘a’,age:1},]我要统计这组数据中有几种类别以及每个类别的数量，例如，该数据共有3中类型，分别是a,b,c,name是a的出现过4次，请给出

珊珊而川·2024-01-29 09:07

【论文阅读】Membership Inference Attacks Against Machine Learning Models

MembershipInferenceAttacks（MIA）攻击实现过程DatasetShadowtrainingTrainattackmodelMachineLearningasaService简单介绍机器学习即服务

PleaseBrave·2024-01-29 09:04

政安晨的机器学习笔记——基于Anaconda安装TensorFlow并尝试一个神经网络小实例

准备工作如果想要在机器学习的过程中马上动手尝试点什么，比较好的方案是把环境配置起来后，上手跑一把程序，现在让我们开始吧。先安装一个Anaconda，然后把Python环境跑起来。

政安晨·2024-01-29 09:51

政安晨的机器学习笔记——示例讲解机器学习工具Jupyter Notebook入门（超级详细）

JupyterNotebook是在数据科学和机器学习领域非常流行的开发环境，被誉为每个数据科学家都应该掌握的工具。我们无须

政安晨·2024-01-29 09:50

机器学习笔记(1) 逻辑回归

机器学习笔记(1)逻辑回归0.前言介绍逻辑回归，是一种二元分类算法，其主体思想还是继承了线性回归。

TheStudent_LifeLong·2024-01-29 09:01

机器学习--06自监督学习BERT模型

self-supervisedlearning里面有一些模型这些模型都是巨大的模型，这次就来以bert大模型为例子来讲解self-supervised。我们之前学习的模型都是supervised，就是通过输入带有标签的数据给我们设计的模型，然后得到想要的输出结果，而self-supervised就是让数据自己想办法给自己打上标签==》把没有标签的数据分为两部分，一部分x作为模型的输入，一部分y作为

小生xiaosheng·2024-01-29 08:08

机器学习第二十七周周报 PINNs

文章目录week27PINNs摘要Abstract一、监督学习二、文献阅读1.题目2.abstract3.偏微分方程的数据驱动解3.1连续时间模型example(Schrodingerequation)：3.2离散时间模型Example(Allen–Cahnequation)：4.文献解读4.1Introduction4.2创新点三、实验内容1.实验要求2.实验结果3.实验代码3.1network

沽漓酒江·2024-01-29 08:31

机器学习_集成学习之Stacking/Blending(以预测结果作为新特征)

然而这些大多是基于同一种机器学习算法的集成，而且基本都是在集成决策树。

you_are_my_sunshine*·2024-01-29 08:00

机器学习_集成学习之偏差和方差

文章目录介绍偏差和方差——机器学习性能优化的风向标目标：降低偏差与方差数据集大小对偏差和方差的影响预测空间的变化带来偏差和方差的变化介绍集成学习，就是机器学习里面的协同作战。

you_are_my_sunshine*·2024-01-29 08:29

【机器学习】损失函数

在机器学习领域，我们令P(x)为预测集，Q(x)为真实数据集。

惊雲浅谈天·2024-01-29 08:28

【机器学习】二分类模型评估方法大全

一、模型搭建导入包、全局设置importnumpyasnpimportos%matplotlibinlineimportmatplotlibimportmatplotlib.pyplotaspltplt.rcParams['axes.labelsize']=14plt.rcParams['xtick.labelsize']=12plt.rcParams['ytick.labelsize']=12i

模拟IC和AI的Learner·2024-01-29 08:28

【李宏毅机器学习】Transformer 内容补充

【李宏毅机器学习2021】自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。

Karen_Yu_·2024-01-29 08:57

【机器学习】正则化

正则化是防止模型过拟合的方法，它通过对模型的权重进行约束来控制模型的复杂度。正则化在损失函数中引入模型复杂度指标，利用给W加权值，弱化了数据的噪声，一般不正则化b。loss(y^,y)：模型中所有参数的损失函数，如交叉熵Regularizer：用超参数Regularizer给出w在总loss中的比例，即正则化的权重。w：需要正则化的参数正则化分为L1正则化和L2正则化：L1正则化大概率会使很多参数

惊雲浅谈天·2024-01-29 08:57

解密人工智能：探索机器学习奥秘

文章目录前言一.机器学习的定义二.机器学习的发展历程三.机器学习的原理四.机器学习的分类3.1监督学习3.2无监督学习3.3半监督学习3.4强化学习3.5四种分类对比五.机器学习的应用场景六.机器学习的未来发展趋势全文总结前言机器学习

聆风吟_·2024-01-29 08:25

机器学习_集成学习之Boosting(提升较弱的模型，以降低弱模型的偏差)

要想在机器学习竞赛中追求卓越，Boosting是一种必需的存在。这是一个属于“高手”的技术，我们当然也应该掌握。Boosting的基本思路是逐步优化模型。这与Bag

you_are_my_sunshine*·2024-01-29 08:54

一文读懂机器学习：基本概念、五大流派与九种常见算法

一、机器学习概览1.什么是机器学习？机器通过分析大量数据来进行学习。比如说，不需要通过编程来识别猫或人脸，它们可以通过使用图片来进行训练，从而归纳和识别特定的目标。

开源Linux·2024-01-29 08:21

机器学习与流体动力学：谷歌AI利用「ML+TPU」实现流体模拟数量级加速

作者｜魔王来源｜机器之心谷歌AI最近一项研究表明，利用机器学习和硬件加速器能够改进流体模拟，且不损害准确率或泛化性能。

PaperWeekly·2024-01-29 08:49

【深度学习】神经网络可视化工具，超全汇总！

机器学习可视化技术概览(Python)本文汇总了全网最为全面的26款神经网络可视化工具，可以帮助大家了解神经网络的结构组成、工作原理和性能表现，从而更好地进行模型调整和优化。

风度78·2024-01-29 08:49

数据科学与机器学习 — 神经网络（第 02 部分）：前馈神经网络架构设计

有时，与您的问题最相合的网络可能是输入层中有10个节点，隐藏层中有13个节点/神经元，输出层中有大约四个节点/神经元，更不必提您将不得不微调整个网络中隐藏层的数量。我的观点是，我们需要一些动态的东西。一个动态代码，我们可以在不打破程序的情况下更改参数及优化。如果您使用python-keras函数库来构建神经网络，即便架构很复杂，您也能减少配置和编译的工作，这就是我希望我们能够在MQL5中达成的目标

赫兹股票期货量化软件·2024-01-29 08:18

AI：人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)

AI：人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)目录相关文章01：《数据挖掘Vs机器学习Vs人工智能Vs深度学习》

一个处女座的程序猿·2024-01-29 08:17

Python在无人机器人

大量的机器学习库：Python拥有丰富的机器学

python无人驾驶医学芯片·2024-01-29 08:16

服务攻防-开发组件安全&Jackson&FastJson各版本&XStream&CVE环境复现

知识点1、J2EE-组件Jackson-本地demo&CVE（数据处理）2、J2EE-组件FastJson-本地demo&CVE（数据处理）3、J2EE-组件XStream-本地demo&CVE（数据处理

SuperherRo·2024-01-29 08:35

Hadoop, HIve, Spark关系简述

单机数据管理时代下，数据处理的任务：IO密集型；数据存不下？HDFS用于存放多机器的数据并提供相关Api接口。HDFS中引入了一个模块：MapReduce（基于磁盘计算）。

小白兔奶糖ovo·2024-01-29 07:22

函数式接口当参数使用

如果函数式接口作为一个方法的参数，就以为着要方法调用方自己实现业务逻辑，常见的使用场景是一个业务整体逻辑是不相上下的，但是在某一个步骤有不同的逻辑，例如数据处理有不同的策略，如果有大量的if-els，或者

ldj2020·2024-01-29 07:20

【MATLAB第95期】#源码分享 | 基于MATLAB的卷积神经网络CNN图像分类源代码分享（含两个案例）

深度学习（DL）是机器学习的一个子集，它使用受神经网络启发的架构来进行预测。卷积神经网络（CNN）是一种DL模型，它在学习图像等二维数据中的模式方面是有效的。

随风飘摇的土木狗·2024-01-29 06:20

【人工智能】主要人工智能技术及深度学习及传统机器学习区别与联系

主要人工智能技术的基本概念和应用场景机器学习英文简称ML是一门涉及统计学、系统辨识、逼近理论、优化理论、计算机科学、脑科学等诸多领域的交叉学科，主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能

WEL测试·2024-01-29 06:50

[AIGC 大数据基础] 大数据流处理 Kafka

大数据处理已成为各行各业中不可或缺的一部分。在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。

程序员三木·2024-01-29 05:32

【转】评估分类模型的指标：ROC/AUC

原文：【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC作者：xiaoyu微信公众号：Python数据科学知乎：python数据分析师ROC/AUC作为机器学习的评估指标非常重要

悦光阴·2024-01-29 05:47

机器学习：梯度下降法

LinearRegression_GD.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassLinearRegression_GradDesc:"""线性回归，梯度下降法求解模型系数1、数据的预处理：是否训练偏置项fit_intercept（默认True），是否标准化normalized（默认True）2、模型的训练：闭式解公式，fit(self,x

捕捉一只Diu·2024-01-29 05:17

机器学习：ROC与AUC（Python）

"""ROC全称是“受试者工作特征”(ReceiverOperatingCharacteristic)曲线。根据学习器的预测结果，把阈值从0变到最大，即刚开始是把每个样本作为正例进行预测，随着阈值的增大，学习器预测正样例数越来越少，直到最后没有一个样本是正样例。在这一过程中，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC曲线”。ROC曲线以“真正例率”(TruePositi

捕捉一只Diu·2024-01-29 05:47

Day6-FayWray

小抄2>.找Rstudio的cheatsheet网站https://www.rstudio.com/resources/cheatsheets/本次使用了生信星球的包2.了解tidyr是什么:把你要用的数据处理成标准而统一的数据框

FayWray·2024-01-29 05:02

如何利用数据压缩提高高性能存储的效率？

高性能存储系统的效率对于数据处理和应用的性能至关重要。而数据压缩技术的应用可以在一定程度上提高高性能存储的效率。

莱卡云·2024-01-29 04:13

2020年数据与分析领域的十大技术趋势

数据和分析领导者如果希望在疫情后能持续创新，就需要不断提高数据处理和访问的速度，扩大分析规模，在前所未有的市场动荡中赢得成功。

「已注销」·2024-01-29 03:44

2020年数据与分析领域的十大技术趋势理解

大家希望从中获取机会；负面看，现有科技的门槛已经被踏破了，需要另外找一个高点维系平衡】近日，Gartner发布了数据与分析领域的十大技术趋势，数据和分析领导者如果希望在疫情后能持续创新，就需要不断提高数据处理和访问的速度

老条码新物联数字派·2024-01-29 03:12

使用机器学习算法检测交易中的异常行为

AI知识图谱大本营·2024-01-29 01:05

eBay在人工智能道路上的成败得失：衡量标准是关键

我有幸参与组建搜索科学团队，我们的团队是最早利用机器学习优化买家体验并帮助买家在eBay

澳鹏Appen·2024-01-29 01:24

零基础不知道怎么学习Python？不妨花三分钟看看这篇文章吧

在学习Python前，你应该规划好自己的学习方向，毕竟Python的方向比较多，比如：web开发爬虫自动化开发（运维，测试）、脚本开发大数据（数据挖掘，数据分析）人工智能、机器学习选择好自己的方向后才根据这个方向的学习内容继续学下去

Python小辰·2024-01-29 00:08

跨站脚本攻击漏洞-前端知识

主要用来实现在浏览器端的动作:用户交互、数据处理和java的关系八竿子打不着的关系。

Ryongao·2024-01-29 00:30

DolphinScheduler + Amazon EMR Serverless 的集成实践

适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

亚马逊云开发者·2024-01-29 00:18

数据分析面试【机器学习】总结之-----logistic回归常见面试题整理

阅读之前看这里：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。目录1.一句话概括逻辑回归2.线性回归和逻辑回归的区别3.逻辑回归的损失函数4.逻辑回归的求解方法5.逻辑回归的目的6

TIYI.DOT·2024-01-29 00:16

机器学习面试题总结60-99

目录60、Python到底是什么样的语言？61.Python是如何进行内存管理的？引用计数和垃圾回收。

ZhangJiQun&MXP·2024-01-29 00:46

【机器学习笔记】基本概念

算法和模型“算法”是指从数据中学得“模型”的具体方法，例如后续章节中将会讲述的线性回归、对数几率回归、决策树等。“算法”产出的结果称为“模型”，通常是具体的函数或者可抽象地看作为函数，例如一元线性回归算法产出的模型即为形如f(x)=wx+b的一元一次函数。不过由于严格区分这两者的意义不大，因此多数文献和资料会将其混用，当遇到这两个概念时，其具体指代根据上下文判断即可。样本也称为“示例”，是关于一个

RIKI_1·2024-01-28 23:13

推荐频道

机器学习--数据处理