机器学习-spark

Spark-submit提交任务的常用参数

#参数名称#含义--clusterc3prc-hadoop#--masterMASTER_URL#可以是spark://host:port,mesos://host:port,yarn,yarn-cluster
liuzx32·2024-09-02 20:22

遥感之智能优化算法大纲介绍

介绍近年来在遥感及人工智能领域研究比较火热的智能优化算法，其中被广泛使用的比如粒子群算法和遗传算法等，在遥感领域，比如高光谱特征选择，机器学习超参数优化等方向有众多的应用，除了提到了两个算法之外，还有众多其他算法
遥感-GIS·2024-09-02 19:33

遥感之机器学习树集成模型-CART算法之回归

主要分为如下几部分：回归概念描述回归树中数据集的划分准则CART回归树的原理和流程CART回归树的核心代码前面内容可参考：遥感之机器学习树模型专栏1回归概念机器学习中的回归建模以及相应的回归算法，在遥感领域对应的就是定量遥感分方向
遥感-GIS·2024-09-02 19:03

Spark MLlib模型训练—回归算法 Random forest regression

SparkMLlib模型训练—回归算法Randomforestregression随机森林回归(RandomForestRegression)是一种集成学习方法，通过结合多个决策树的预测结果来提升模型的准确性和稳健性
不二人生·2024-09-02 17:54

未来行业走向：探索变革与机遇

一、人工智能与机器学习人工智能（AI）和机器学习（ML）将成为未来行业发展的关键驱动力。AI技术的广泛应用将改变许多行业的工作方式和商业模式。
安西宁·2024-09-02 16:28

周报 | 24.8.26-24.9.1文章汇总

周报|24.8.19-24.8.25文章汇总-CSDN博客python|提升代码迭代速度的Python重载方法-CSDN博客机器学习算法与Python学习|黑匣子被打开了？
双木的木·2024-09-02 13:25

Python3 | 练气期，入门初识与起步!

正好这才趁着进行机器学习的机会，将Pyth
全栈工程师修炼指南·2024-09-02 09:03

Spark MLlib LinearRegression线性回归算法源码解析

线性回归一元线性回归hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x——————–1多元线性回归hθ(x)=∑mi=1θixi=θTXhθ(x)=∑i=1mθixi=θTX—————–2损失函数J(θ)=1/2∑mi=1(hθ(xi)−yi)2J(θ)=1/2∑i=1m(hθ(xi)−yi)2—————31/2是为了求导时系数为1，平方里是真实值减去估计值我们的目的就是求其最小值最小二乘法要求较为
SmileySure·2024-09-02 09:33

Spark MLlib模型训练—回归算法 GLR( Generalized Linear Regression)

SparkMLlib模型训练—回归算法GLR(GeneralizedLinearRegression)在大数据分析中，线性回归虽然常用，但在许多实际场景中，目标变量和特征之间的关系并非线性，这时广义线性回归
猫猫姐·2024-09-02 08:28

自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理

陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列五十SVM支持向量机》算法原理SVM支持向量机》代码实战总结自然语言处理系列五十SVM支持向量机》算法原理SVM支持向量机在文本分类的应用场景中，相比其他机器学习算法有更好的效果
陈敬雷-充电了么-CEO兼CTO·2024-09-02 07:52

【大数据】孤立森林算法

孤立森林算法改进三、孤立森林算法代码实现3.1孤立森林算法python实现3.2孤立森林算法JAVA实现3.3孤立森林算法C++实现四、孤立森林算法应用一、孤立森林算法概述孤立森林算法是一种用于异常检测的机器学习算法
大雨淅淅·2024-09-02 03:56

Python算法模糊匹配：FuzzyWuzzy深度剖析，从入门到精通，解决你所有需要匹配的需求

在数据科学与机器学习的广阔领域中，处理不精确或模糊的数据是一项至关重要的技能。想象一下，当你面对的是一堆拼写错误、缩写、或是格式不一的文本数据时，如何高效地从中提取有价值的信息？
长风清留扬·2024-09-02 03:24

周工作计划2019-03-25

本周工作计划：机器学习分享活动（关于决策树的分享）回看一下西瓜书的东西，每一章把开头总结写一下。老师没有给具体的任务，留了再说吧。
MikeShine·2024-09-02 02:05

windows系统huggingface连接不上的解决方案

对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2024-09-02 00:34

深度学习100问43:什么是过拟合

想象一下，有个机器学习的模型就像一个学生在准备考试。如果这个模型对训练数据就像学生把课本上的题目背得超级熟，在训练数据上表现得那叫一个棒，就像学生在做课本上的题时成绩超高。
不断持续学习ing·2024-09-01 23:28

【python】python指南（十四）：**操作符解包字典传参

大学的时候参加ACM/ICPC一直使用的是C语言，实习的时候做一个算法策略后台用的是php，毕业后做策略算法开发，因为要用spark，所以写了scala，后来用基于storm开发实时策略，用的java。
LDG_AGI·2024-09-01 21:17

Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models

二阶信息问题：修改大型语言模型的机器学习摘要1引言2前言3LLM的遗忘4实验设置5实验结果6意外记忆的遗忘7DP-SGD和遗忘8相关工作9讨论10局限性和未来工作11结论摘要随着大型语言模型（LLM）的
UnknownBody·2024-09-01 20:46

如何开发针对不平衡分类的成本敏感神经网络 python

如何开发针对不平衡分类的成本敏感神经网络深度学习神经网络是一类灵活的机器学习算法，可以在各种问题上表现良好。
背包客研究·2024-09-01 20:15

如何校准不平衡分类的概率

如何校准不平衡分类的概率许多机器学习模型能够预测一个概率或概率类成员的分数。
背包客研究·2024-09-01 20:14

对机器学习中Fbeta指标的简介

对机器学习的Fbeta指标的概括介绍Fbeta指标是一种可配置的单得分度量,用于基于对正类的预测来评价二元分类模型。用精确度和回收率计算出Fbeta测量值。精密是用来计算正类正确预测的百分比的度量。
背包客研究·2024-09-01 20:14

大肠杆菌数据集的不平衡多类分类 Python

大肠杆菌数据集的不平衡多类分类关注博主学习更多内容关注vxGZH:多目标优化与学习Lab教程概述本教程分为五个部分；他们是：大肠杆菌数据集探索数据集模型测试和基线结果评估模型评估机器学习算法评估数据过采样对新数据进行预测大肠杆菌数据集在这个项目中
背包客研究·2024-09-01 20:14

人工智能在网络安全领域的应用探索

一、人工智能在网络安全中的应用现状威胁检测与响应人工智能通过机器学习算法，能够自动识别网络中的异常行为，如未经授权的访问、恶意软件传播等。传统的安全系统依赖于静态规则和签
亿林数据·2024-09-01 19:39

【科技前沿】用深度强化学习优化电网，让电力调度更聪明！

如果你对机器学习感兴趣，或是正寻找如何用AI技术解决实际问题的方法，这篇分享绝对不容错过！‍✨开场白大家好，我是你们的技术小助手！
风清扬雨·2024-09-01 19:05

深度学习_数据读取到model模型存储

概要应用场景：用户流失本文将介绍模型调用预测的步骤，这里深度学习模型使用的是自定义的deepfm，并用机器学习lgb做比较代码导包importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromcollectionsimportdefaultdictfromscipyimportstatsfromsc
you_are_my_sunshine*·2024-09-01 19:35

【Rust】——采用发布配置自定义构建

算法设计与分析，数据结构，Python，Java基础，MySQL，linux，基于HTML5的网页设计及应用，Rust（官方文档重点总结），jQuery，前端vue.js，Javaweb开发，Python机器学习等主页链接
Y小夜·2024-09-01 19:04

【Rust】——高级类型

算法设计与分析，数据结构，Python，Java基础，MySQL，linux，基于HTML5的网页设计及应用，Rust（官方文档重点总结），jQuery，前端vue.js，Javaweb开发，Python机器学习等主页链接
Y小夜·2024-09-01 18:00

Python在人工智能方面的应用

机器学习机器学习是人工智能领域中的一种关键技术，它可以让计算机自动地学习和改进。Python中的Keras和T
Bruce_Liuxiaowei·2024-09-01 18:29

机器学习中的数学——线性代数笔记

线性代数笔记1.1矩阵基本概念矩阵Hadamard乘积：矩阵对应元素的乘积，表示为C=AC=AC=A向量的点积：向量的行列数相同，行向量乘以列向量。用以求解两向量的夹角。a∙b=∣a∣∣b∣cosθa\bulletb=|a||b|cos\thetaa∙b=∣a∣∣b∣cosθ单位矩阵：保持n维向量不变的单位矩阵记做InI_nIn。形式上，In∈Rn×n\boldsymbolI_n\inR^{n\t
a_marker·2024-09-01 18:27

【LSTM分类】基于贝叶斯优化卷积神经网络结合长短时记忆BO-CNN-LSTM实现柴油机故障诊断含Matlab源码

更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机物理应用机器学习内容介绍柴油机作为重要的动力设备，其运行状态的可靠性直接影响着生产效率和安全
matlab科研助手·2024-09-01 17:18

机器学习小组第三周：简单的数据预处理和特征工程

学习目标●无量纲化：最值归一化、均值方差归一化及sklearn中的Scaler●缺失值处理●处理分类型特征：编码与哑变量●处理连续型特征：二值化与分段学习资料首先，参考：《机器学习的敲门砖：归一化与KD
-Helslie·2024-09-01 12:24

AI在科研中的应用：chatgptgpt4的数据分析与机器学习

2022年11月30日，可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5，将人工智能的发展推向了一个新的高度。2023年4月，更强版本的ChatGPT4.0上线，文本、语音、图像等多模态交互方式使其在各行各业的应用呈现了更多的可能性。2023年11月7日，OpenAI首届开发者大会被称为“科技界的春晚”，吸引了全球广大用户的关注，GPT商店更
zmjia111·2024-09-01 12:52

基于Python的机器学习系列（18）：梯度提升分类（Gradient Boosting Classification）

简介梯度提升（GradientBoosting）是一种集成学习方法，通过逐步添加新的预测器来改进模型。在回归问题中，我们使用梯度来最小化残差。在分类问题中，我们可以利用梯度提升来进行二分类或多分类任务。与回归不同，分类问题需要使用如softmax这样的概率模型来处理类别标签。梯度提升分类的工作原理梯度提升分类的基本步骤与回归类似，但在分类任务中，我们使用概率模型来处理预测结果：初始化模型：选择一个
会飞的Anthony·2024-09-01 12:50

ChatGPT办公与科研应用、论文撰写、数据分析、机器学习、深度学习及AI绘图

2022年11月30日，可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5，将人工智能的发展推向了一个新的高度。2023年4月，更强版本的ChatGPT4.0上线，文本、语音、图像等多模态交互方式使其在各行各业的应用呈现了更多的可能性。2023年11月7日，OpenAI首届开发者大会被称为“科技界的春晚”，吸引了全球广大用户的关注，GPT商店更
PhyliciaFelicia·2024-09-01 12:19

全流程Python编程、机器学习与深度学习实践技术应用

当前最新的技术动态，如大型语言模型和深度学习技术的发展，展示了深度学习和机器学习技术的强大潜力，成为推动创新和提升竞争力的关键。
为为-180-3121-1455·2024-09-01 12:49

llama factory微调时出现x86_64-conda-linux-gnu/bin/ld: cannot find -lcurand: No such file or directory解决方案

从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。
爱编程的喵喵·2024-09-01 11:18

大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统

+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库，导入.csv数据集；（四）离线分析采用hive_sql完成，实时分析利用Spark
qq_79856539·2024-09-01 11:16

基于hadoop+spark的旅游大数据分析平台

S2023132基于hadoop+spark的旅游大数据分析平台使用BeautifulSoup爬取数据，爬取成功以后使用spark分析数据，将分析的结果保存到mysql，flask读取mysql数据，结合
源码空间站11·2024-09-01 11:16

大数据毕业设计天hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱

|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面，游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理，采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大，这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后，一方面，用户可以在第一时间在系统里查询所需的信息，另一方
2401_84159688·2024-09-01 11:45

VUE 组件

如何生成可参考右边的帮助文档文章目录前言一、VUE组件---组件注册二、VUE--组件props三、插槽四、深层组件传值五、动态组件前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要
.YoIo·2024-09-01 10:04

深度探索：机器学习中的序列到序列模型（Seq2Seq）原理及其应用

目录1.引言与背景2.庞特里亚金定理与动态规划3.算法原理4.算法实现5.优缺点分析优点缺点6.案例应用7.对比与其他算法8.结论与展望1.引言与背景在当今信息爆炸的时代，机器学习作为人工智能领域的核心驱动力
生瓜蛋子·2024-09-01 08:22

SparkStreaming结合kafka将offSet保存在redis中

SparkStreaming结合kafka将offSet保存在redis中SparkStreaming结合kafka的两种方式1、SparkStreaming的高级APiCreateDStream，容易发生数据多次读取
哈哈xxy·2024-09-01 03:28

Spark Streaming+Kafka整合+offset管理

，并通过第三方存储zookeeper来手动管理offset目录前言offset管理一个完整的整合代码Demo（Java版）导入相关的Maven依赖创建通过ZK管理Offset的工具类测试类Demo前言SparkStreaming
JiahuiTian·2024-09-01 03:27

Spark(46) -- SparkStreaming整合kafka数据源

1.回顾Kafka可以看我前面kafka文章核心概念图解Broker：安装Kafka服务的机器就是一个brokerProducer：消息的生产者，负责将数据写入到broker中(push)Consumer：消息的消费者，负责从kafka中拉取数据(pull)，老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当于是数据的一个分类，不同topic存放不同业务的数据--主题:区分业务Rep
erainm·2024-09-01 03:26

【基于Hadoop3.3.6+Spark3.4.3电商用户行为分析】

基于Hadoop3.3.6+Spark3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹·2024-09-01 00:09

使用opencv和python实现图像的智能处理_机器学习：使用OpenCV和Python进行智能图像处理...

译者序序前言审校者简介第1章品味机器学习11.1初步了解机器学习11.2机器学习可以解决的事情31.3初步了解Python41.4初步了解OpenCV41.5安装51.5.1获取本书最新的代码51.5.2
weixin_39649965·2024-08-31 23:04

数据切分的艺术：使用PyTorch的torch.utils.data.random_split精粹指南

数据切分的艺术：使用PyTorch的torch.utils.data.random_split精粹指南在机器学习项目中，合理地分割数据集至关重，它不仅关系到模型训练的有效性，还直接影响到模型的泛化能力。
2402_85758349·2024-08-31 21:19

从自动驾驶看无人驾驶叉车的技术落地和应用

摘要｜介绍无人驾驶叉车在自动驾驶技术中的应用，分析其关键技术，如环境感知、定位、路径规划等，并讨论机器学习算法和强化学习算法的应用以提高无人叉车的运行效率和准确性。
电气_空空·2024-08-31 20:44

基于Spark的云南旅游大数据分析平台

一、项目概述Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》。随着旅游业的发展和数字化进程的加速，智慧旅游已成为旅游业的重要发展方向。
Sweican·2024-08-31 19:09

机器学习（2）单变量线性回归

2.1模型表示我们学习的第一个算法是线性回归算法。在监督学习中，我们有一个数据集，这个数据集被称为训练集（TrainingSet）。我们用小写字母m来表示训练样本的数目。监督学习算法的工作方式以房屋价格的训练为例，将训练集里房屋价格喂给学习算法，学习算法工作后输出一个函数h，h代表hypothesis（假设）。函数h输入为房屋尺寸大小x，h根据输入来得出y值，y值对应房子的价格。因此，h是一个从x
天凉玩个锤子·2024-08-31 19:47

Python比C语言到底有什么优势？为什么越来越多人都学python？

丰富的库和框架：Python拥有庞大的标准库和第三方库，涵盖了从Web开发、数据科学、机器学习、人工智能、自动化测试到网络编程等各
马大哈（Python）·2024-08-31 18:58
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他