机器学习-spark

Spark SQL 结构化数据处理流程及原理是什么？

SparkSQL结构化数据处理流程及原理是什么？SparkSQL可以使用现有的Hive元存储、SerDes和UDF。它可以使用JDBC/ODBC连接到现有的BI工具。
我想去吃ya·2024-08-31 16:18

AI写作神器有哪些，分享2024年比较常用的几款ai写作软件

这些工具通过自然语言处理和机器学习技术，为人们提供了快速、高效、自动化的写作体验。
全网优惠分享君·2024-08-31 15:37

深度学习100问13:什么是二分类问题

二、解决方法要解决二分类问题呀，我们可以找来一些“魔法工具”，也就是机器学习算法。像逻辑回归啦、支持向量机啦、决策树啦等等。这些算法就像聪明的小助手
不断持续学习ing·2024-08-31 11:14

AI自动采集教学行为——用AI来做机器学习部分和深度学习部分（含torch和cuda）包含机器学习模型和bert模型的使用

文章目录数据清洗机器学习深度学习代码没问题之后的文件下载bert环境配置太麻烦，改用飞浆的bert飞浆失败-接着bert，用谷歌AIbert的使用数据清洗要遍历当前文件夹下从1.x1sx到8.x1sx的所有文件
东方-教育技术博主·2024-08-31 11:13

每天一个数据分析题（五百一十二）- 数据标准化

在完整的机器学习流程中，数据标准化（DataStandardization）一直是一项重要的处理流程。不同模型对于数据是否标准化的敏感程度不同，以下哪个模型对变量是否标准化不敏感？
跟着紫枫学姐学CDA·2024-08-31 10:09

深度学习：图像数据分析的革命

深度学习与图像数据分析深度学习是一种机器学习方法，它通过使用多层神经网络来学习数据的复杂模式。在图像数据分析中，深度学习模
2401_85761762·2024-08-31 10:06

机器学习中的增量学习（Incremental Learning，IL）策略是什么？

机器学习中的增量学习（IncrementalLearning，IL）策略是什么？在当今快速发展的数据驱动世界中，传统的静态机器学习模型逐渐显露出局限性。
Chauvin912·2024-08-31 09:32

基于Python的机器学习系列（17）：梯度提升回归（Gradient Boosting Regression）

简介梯度提升（GradientBoosting）是一种强大的集成学习方法，类似于AdaBoost，但与其不同的是，梯度提升通过在每一步添加新的预测器来减少前一步预测器的残差。这种方法通过逐步改进模型，能够有效提高预测准确性。梯度提升回归的工作原理在梯度提升回归中，我们逐步添加预测器来修正模型的残差。以下是梯度提升的基本步骤：初始化模型：选择一个初始预测器h0(x)，计算该预测器的预测值。计算残差：
会飞的Anthony·2024-08-31 09:02

简单的PHP订单小程序

$totalqty=0;#总数$totalamount=0.0;#总金额define('TIREPRICE',100);#轮胎单价define('OILPRICE',50);#油耗单价define('SPARKPRICE
董.·2024-08-31 09:01

基于Python的机器学习系列（16）：扩展 - AdaBoost

简介在本篇中，我们将扩展之前的AdaBoost算法实现，深入探索其细节并进行一些修改。我们将重点修复代码中的潜在问题，并对AdaBoost的实现进行一些调整，以提高其准确性和可用性。1.修复Alpha计算中的问题在AdaBoost中，如果分类器的错误率e为0，则计算出的权重α将是未定义的。为了解决这个问题，我们可以在计算过程中向分母中添加一个非常小的值，以避免除零错误。2.调整学习率sklearn
会飞的Anthony·2024-08-31 09:00

Python学习和面试中的常见问题及答案

整理了一些关于Python和机器学习算法的高级问题及其详细答案。这些问题涵盖了多个方面，包括数据处理、模型训练、评估、优化和实际应用。
写代码的M教授·2024-08-31 07:44

TensorFlow 的基本概念和使用场景。

TensorFlow是由Google开发的开源机器学习框架，用于构建和训练各种机器学习模型。它基于数据流图的概念，其中节点表示数学操作，边表示多维数组（张量）的流动。
WangLinXX·2024-08-31 06:07

机器学习 第9章-聚类

机器学习第9章-聚类9.1聚类任务在“无监督学习”(unsupervisedlearning)中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础
Rin__________·2024-08-31 05:02

探索Anaconda Cloud：Conda的云端宝库

它为数据科学和机器学习社区提供了一个集中的平台，使得用户可以轻松地上传和下载Conda环境、软件包和数据集。
2401_85812026·2024-08-31 05:29

机器学习算法深度总结(5)-逻辑回归

1.模型定义逻辑回归属于基于概率分类的学习法.基于概率的模式识别是指对模式x所对应的类别y的后验概率禁行学习.其所属类别为后验概率最大时的类别:预测类别的后验概率,可理解为模式x所属类别y的可信度.逻辑回归(logistic),使用线性对数函数对分类后验概率进行模型化:上式,分母是满足概率总和为1的约束条件的正则化项,参数向量维数为:考虑二分类问题:使用上述关系式,logistic模型的参数个数从
婉妃·2024-08-31 05:05

机器学习入门：机器学习的基本概念

姓名：高亦凡学号：19020100056学院：电子工程学院转载自：原文链接【嵌牛导读】机器学习（MachineLearning）是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科
Louis0687·2024-08-31 04:34

【ShuQiHere】从零开始实现逻辑回归：深入理解反向传播与梯度下降

【ShuQiHere】逻辑回归是机器学习中一个经典的分类算法，尽管它的名字中带有“回归”，但它的主要用途是处理二分类问题。
ShuQiHere·2024-08-31 02:37

【ShuQiHere】从 FNN 到 RNN：用股票价格预测一步步理解神经网络的演化

【ShuQiHere】引言神经网络在人工智能和机器学习领域是一个核心的研究方向，而前馈神经网络（FNN）是最基础的模型之一。
ShuQiHere·2024-08-31 01:02

机器学习：DBSCAN算法（内有精彩动图）

目录前言一、DBSCAN算法1.动图展示（图片转载自网络）2.步骤详解3.参数配置二、代码实现1.完整代码2.代码详解1.导入数据2.通过循环确定参数最佳值总结前言DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise）是一种基于密度的聚类算法。它可以发现任意形状的簇并能够处理噪声数据。一、DBSCAN算法1.动图展示（图片转载自网
吃什么芹菜卷·2024-08-31 01:58

Facebook开发的机器人：技术创新与应用实践

1.2技术进步的推动人工智能和机器学习的发展，让聊天机器人能够更加智能地理解和回应用户需求。二、Facebook上的五款回复机器
啊取名真困难·2024-08-30 23:22

AI人工智能深度学习算法：卷积神经网络的原理与应用

近年来，人工智能取得了显著的进展，这在很大程度上归功于深度学习的崛起，深度学习是一种强大的机器学习形式，它使用具有多个层的深度神经网络来学习数据中的复杂模式
AI大模型应用之禅·2024-08-30 23:21

Langchain-Chatchat本地部署的解决方案

对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2024-08-30 22:13

python 数据挖掘与机器学习

机器学习是人工智能的基础，因此，掌握常用机器学习算法的工作原理，并能够熟练运用Python建立实际的机器学习模型，是开展人工智能相关研究的前提和基础。
科研的力量·2024-08-30 19:57

1区9+非肿瘤纯生信，逻辑清晰易懂，机器学习筛选关键基因的纯生信也可以发高水平期刊，抓紧上车！

2单个疾病结合免疫浸润，热点基因集，机器学习算法等。
生信小课堂·2024-08-30 17:58

PySpark操作DataFrame常用方法

文章目录PYSPARKDataFrame操作.na1.
百流·2024-08-30 16:07

AI中的核心概念解读：深度学习、机器学习、神经网络与自然语言处理

然而，对于刚接触AI的初学者或非专业人士来说，理解其中的核心概念，特别是深度学习、机器学习、神经网络与自然语言处理之间的区别，可能显得有些复杂。
wypdao·2024-08-30 16:31

机器学习：svm算法原理的优缺点和适应场景

支持向量机（SVM）是一种在机器学习领域广泛使用的监督学习模型，它通过找到数据点之间的最优超平面来进行分类或回归分析。以下是SVM算法的一些优缺
夜清寒风·2024-08-30 15:29

昇思25天学习打卡

@[TOC]《昇思25天学习打卡营第02天|lulul》张量Tensor张量tensor是在机器学习和深度学习中广泛应用的数据概念，张量是多维数组的泛化，能够表示标量（0维张量）、向量（1维张量）、矩阵
十分钟ll·2024-08-30 15:28

【Python机器学习】NLP词频背后的含义——隐性语义分析

隐性语义分析基于最古老和最常用的降维技术——奇异值分解（SVD）。SVD将一个矩阵分解成3个方阵，其中一个是对角矩阵。SVD的一个应用是求逆矩阵。一个矩阵可以分解成3个最简单的方阵，然后对这些方阵求转置后再把它们相乘，就得到了原始矩阵的逆矩阵。它为我们提供了一个对大型复杂矩阵求逆的捷径。SVD适用于桁架结构的应力和应变分析等机械工程问题，它对电气工程中的电路分析也很有用，它甚至在数据科学中被用于基
zhangbin_237·2024-08-30 14:22

统计机器学习第十三章极大似然估计的性质——图解MLE的渐进正态性

n=10;t=10000;s=1/12/n;x=linspace(-0.4,0.4,100);y=1/sqrt(2*pi*s)*exp(-x.^2/(2*s));z=mean(rand(t,n)-0.5,2);figure(1);clf;holdonb=20;hist(z,b);h=plot(x,y*t/b*(max(z)-min(z)),'r-');这段代码的功能是生成随机数并进行直方图和曲线的
cui_hao_nan·2024-08-30 13:17

动手学深度学习（pytorch）学习记录21-读写文件(模型与参数)[学习记录]

目录加载和保存张量加载和保存模型参数保存模型的好处众多，涵盖了从开发到部署的整个机器学习生命周期。节省资源：训练模型可能需要大量的时间和计算资源。保存模型可以避免重复训练，从而节省时间和计算资源。
walfar·2024-08-30 12:42

PyTorch 基础学习（14）- 归一化

在机器学习中，不同的归一化方法适用于不同的场景。本文将详细介绍scikit-learn中的常见归一化方法及其应用。
花千树-010·2024-08-30 12:38

自然语言处理（NLP）与机器学习：深度探索两者的关系

自然语言处理（NLP）与机器学习：深度探索两者的关系1.自然语言处理(NLP)的概述NLP的主要任务包括：2.机器学习(ML)的概述机器学习的主要类型包括：3.NLP与机器学习的关系1.机器学习驱动NLP
听忆.·2024-08-30 10:51

如何有效管理机器学习与人工智能

如何有效管理机器学习与人工智能1.模型开发阶段的风险管理a.数据质量与偏见管理b.模型透明性与可解释性c.偏见与公平性测试2.部署阶段的风险管理a.安全与隐私保护b.实时监控与反馈机制c.模型回滚与更新机制
听忆.·2024-08-30 10:51

深度学习速通系列:贝叶思&SVM

贝叶斯（Bayesian）方法和支持向量机（SVM，SupportVectorMachine）是两种不同的机器学习算法，它们在解决分类和回归问题时有着不同的原理和应用场景贝叶斯方法：贝叶斯方法基于贝叶斯定理
Ven%·2024-08-30 08:13

机器学习和深度学习·贝叶斯优化和optuna

贝叶斯优化贝叶斯优化的思想先验：取点似然：假设分布取了n个点之后…后验：近似取得极值贝叶斯优化的数学过程在贝叶斯优化的数学过程当中，我们主要执行以下几个步骤：1定义需要估计的f(x)f(x)f(x)以及xxx的定义域2取出有限的n个xxx上的值，求解出这些xxx对应的f(x)f(x)f(x)（求解观测值）3根据有限的观测值，对函数分布进行假设（该假设被称为贝叶斯优化中的先验知识），得出该假设分布上
0xMayL·2024-08-30 08:39

【ShuQiHere】《机器学习的进化史『下』：从神经网络到深度学习的飞跃》

【ShuQiHere】引言：神经网络与深度学习的兴起在上篇文章中，我们回顾了机器学习的起源与传统模型的发展历程，如线性回归、逻辑回归和支持向量机（SVM）。
ShuQiHere·2024-08-30 07:07

PyTorch概述

PyTorch是一个开源的机器学习框架，由Facebook的人工智能研究团队开发。它广泛用于深度学习和神经网络的研究和开发。
fydw_715·2024-08-30 06:01

常见的实时数仓方案

实时部分以消息队列的方式实时增量消费，一般以Flink+Kafka的组合实现，维度表存在关系型数据库或者HBase；离线部分一般采用T+1周期调度分析历史存量数据，每天凌晨产出，更新覆盖前一天的结果数据，计算引擎通常会选择Hive或者Spark
北极冰雨·2024-08-30 05:27

国产智能搜索MindSearch∶ 能够在不到3分钟内收集并整合300多页相关信息？

MindSearch是一款由上海人工智能实验室推出的国产智能搜索工具，具有强大的自然语言处理和机器学习能力，旨在提供高效、精准的信息检索服务。
百态老人·2024-08-30 04:20

机器学习基础（四）——决策树与随机森林

决策树与随机森林文章目录决策树与随机森林一、知识概要（一）二、决策树使用的算法三、sklearn决策树API四、决策树的案例1.数据清洗2.特征工程3.调用决策树API五、集成学习方法-随机森林1.知识概要（二）2.集成学习API3.随机森林的案例importpandasaspdfromsklearn.feature_extractionimportDictVectorizerfromsklear
Bayesian小孙·2024-08-30 03:43

机器学习——lightGBM（学习整理）

目录一、认识lightGBM1.简单介绍2.主要特点LightGBM的缺点3.模型训练方式（1）TrainingAPI（2）Scikit-learnAPI二、相关函数参数1.TrainingAPI2.Scikit-learnAPI（重复只做补充）3.lightgbm.cv4.lightgbm.Dataset5.Callbacks（1）lightgbm.record_evaluation（2）lig
CXDNW·2024-08-30 03:40

【浙江工业大学、中国人工智能学会自然计算与数字智能城市专委会联合主办|ACM独立出版|往届均已见刊并完成EI、SCOPUS检索】第四届机器学习与计算机应用国际学术会议(ICMLCA 2023)

第四届机器学习与计算机应用国际学术会议(ICMLCA2023)定于2023年10月27-29日在中国杭州隆重举行。
艾思科蓝 AiScholar·2024-08-30 03:40

机器学习 之 决策树与随机森林的实现

机器学习技术，尤其是决策树和随机森林，在解决这类问题时表现出色。本文将介绍随机森林的基本概念，并通过一个具体的案例——筛选垃圾电子邮件——来展示随机森林的实际应用。
SEVEN-YEARS·2024-08-30 03:39

编程小白如何成为大神？大学新生的最佳入门大神级攻略

它语法简单、易读易写、用途广泛，广泛应用于数据科学、机器学习、Web开发、自动化测试等领域。JavaScript：对于对Web开发感兴趣的学生，JavaScript是必学的。
一禅（OneZen）·2024-08-29 19:43

Python配置管理工具库之hydra使用详解

这对于机器学习、数据科学和大型Python应用程序开发来说尤其有用。本文将详细介绍Hydra库，包括其安装方法、主要特性、基本和
Rocky006·2024-08-29 17:35

Spark MLlib 数据预处理－特征变换

2019独角兽企业重金招聘Python工程师标准>>>Tokenizer（分词器）算法介绍：Tokenization将文本划分为独立个体（通常为单词）。RegexTokenizer基于正则表达式提供更多的划分选项。默认情况下，参数“pattern”为划分文本的分隔符。或者可以指定参数“gaps”来指明正则“patten”表示“tokens”而不是分隔符，这样来为分词结果找到所有可能匹配的情况。调用
weixin_33841722·2024-08-29 14:40

spark应用程序转换_4.Spark特征提取、转换和选择 - 简书

在实际机器学习项目中，我们获取的数据往往是不规范、不一致、有很多缺失数据，甚至不少错误数据，这些数据有时又称为脏数据或噪音，在模型训练前，务必对这些脏数据进行处理，否则，再好的模型，也只能脏数据进，脏数据出
weixin_39956182·2024-08-29 14:10

深度学习：探索人工智能的无限可能

1.深度学习深度学习是一种基于人工神经网络的机器学习方法，它试图模拟人脑的工作方式，通过训练大量数据来自动学习数据的内在规律和表示层次
木小梦(๑• . •๑)·2024-08-29 12:29

计算机视觉概念科普

它结合了信号处理、图像处理、模式识别、机器学习等多个领域的技术，让计算机能够执行诸如识别、分类、追踪等复杂的视觉任务。本文将深入探讨计算机视觉的核心概念和技术。
极客代码·2024-08-29 11:54
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他