PySpark机器学习第36页

AI特训一：为什么要学习AI

AI利用机器学习、深度学习、自然语言处理等技术，能够分析大量的数据、识别模式、做出决策和预测AI有哪些强大之处·处理大量数据：AI能够处理和分析大规模数据，挖掘数据中的模式和洞察，从中获取有价值的信息和知识

我不是费圆·2024-01-31 14:14

如何提高图像分类准确率？

一、问题描述当我们在处理图像识别或者图像分类或者其他机器学习任务的时候，我们总是迷茫于做出哪些改进能够提升模型的性能（识别率、分类准确率）。。。

Steven_ycs·2024-01-31 14:57

机器学习模型预测贷款审批

机器学习模型预测贷款审批作者：i阿极作者简介：数据分析领域优质创作者、多项比赛获奖者：博主个人首页如果觉得文章不错或能帮助到你学习，可以点赞收藏评论+关注哦！

i阿极·2024-01-31 13:33

机器学习强化学习深度学习的区别与联系

机器学习强化学习深度学习机器学习按道理来说，这个领域（机器学习）应该叫做统计学习（StatisticalLearning），因为它的方法都是由概率统计领域拿来的。

坠金·2024-01-31 12:10

机器学习和深度学习中的normalization(归一化)

在机器学习和深度学习中，normalization（归一化）是一种重要的数据预处理步骤，它的目的是改变数值数据的形式，以使其在一个固定的范围内，通常是0到1，或者使其均值为0，标准差为1。

实名吃香菜·2024-01-31 12:18

机器学习系列-1基础概念

机器学习系列-1基础概念学习内容来自：谷歌ai学习https://developers.google.cn/machine-learning/crash-course/framing/check-your-understanding

喜乐00·2024-01-31 12:18

【机器学习】常见算法详解第2篇：KNN之kd树介绍（已分享，附代码）

本系列文章md笔记（已分享）主要讨论机器学习算法相关知识。

程序员一诺·2024-01-31 12:45

机器学习面试之LR和SVM哪个更能对付异常点out lier？

机器学习面试中一大类问题就是比较不同模型的异同。

城市中迷途小书童·2024-01-31 12:32

深度学习主机购置及环境配置(Ubuntu18.04)

万事皆有因最近在学习机器学习，看到了深度学习这一部分。

飞天小小猫·2024-01-31 11:30

工具系列(二) 解读使用VSCode与PyCharm连接远程服务器并创建容器进行代码调试

小酒馆燃着灯·2024-01-31 11:16

【深度学习】MNN ImageProcess处理图像顺序，逻辑，均值，方差

Opencvnumpy这段代码是一个图像预处理函数，用于对输入的图像进行一系列处理，以便将其用于某些机器学习模型的输入。

XD742971636·2024-01-31 11:03

故障诊断 | 一文解决，LSTM长短期记忆神经网络故障诊断（Matlab）

文章目录效果一览文章概述专栏介绍模型描述源码设计参考资料效果一览文章概述故障诊断模型|Maltab实现LSTM长短期记忆神经网络故障诊断专栏介绍订阅【故障诊断】专栏，不定期更新机器学习和深度学习在故障诊断中的应用

机器学习之心·2024-01-31 11:32

谷歌把GenAI装进Chrome

随着ChromeM121版本的发布，谷歌打算利用最新的机器学习和人工智能技术，不仅让浏览变得更容易，而且更个性化。

胖头鱼不吃鱼-·2024-01-31 10:56

基于YOLOv8深度学习的水稻叶片病害智能诊断系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战

阿_旭·2024-01-31 10:34

【深度学习每日小知识】Precision 精度

Precision精度精度是机器学习（ML）中分类器或预测器准确性的度量。它被定义为分类器做出的真正正预测数与分类器所做的正预测总数之比。换句话说，真正正确的是正面预测的比例。

jcfszxc·2024-01-31 10:03

【深度学习每日小知识】Recall 召回率

Recall召回率召回率是机器学习(ML)中分类器或预测器敏感性的指标。它的计算方式是真实阳性案例总数与分类器做出的真实阳性预测数量的比例。换句话说，它是分类器正确检测到的真实正面示例的百分比。

jcfszxc·2024-01-31 10:03

【深度学习： Encord Active平台】Encord 中的数据、标签和模型质量指标

定义质量指标数据质量指标标签质量指标模型质量指标自定义质量指标结论在使用数据集或开发机器学习模型时，经常会发现自己在查找或假设具有某些属性的数据子集、标签或模型预测。

jcfszxc·2024-01-31 10:00

【深度学习每日小知识】Model Accuracy 模型准确率

ModelAccuracy模型准确率模型准确性是衡量机器学习(ML)模型基于数据做出预测或决策的能力的指标。

jcfszxc·2024-01-31 10:15

谈一谈深度学习与机器学习

深度学习是机器学习的一个子领域，其核心是使用多层神经网络来学习数据的复杂表示。机器学习是一种更广泛的概念，涵盖了许多不同的方法和技术，包括深度学习在内。

流浪字节π·2024-01-31 09:07

pyspark学习-spark.sql.functions 聚合函数

https://spark.apache.org/docs/3.4.1/api/python/reference/pyspark.sql/functions.html1.approx_count_distinct

heiqizero·2024-01-31 08:02

（一）PySpark3：安装教程及RDD编程（非常详细）

目录一、pyspark介绍二、PySpark安装三、RDD编程1、创建RDD2、常用Action操作①collect②take③takeSample④first⑤count⑥reduce⑦foreach⑧countByKey⑨saveAsTextFile3

唯余木叶下弦声·2024-01-31 08:57

机器学习入门笔记06：逻辑回归

逻辑回归学习逻辑回归原理实现代码importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test_split#因为逻辑回归是分类问题，因此需要对评价指标进行更改#from.metricsimportaccuracy_scoreclassLog

劳斯Laus·2024-01-31 08:05

学习笔记CB003:分块、标记、关系抽取、文法特征结构

名词短语分块(NP-chunking)，通过词性标记、规则识别，通过机器学习方法识别。介词短语(PP)、动词短语(VP)、句子(S)。

利炳根·2024-01-31 08:20

点评：获ICRA认知机器人技术最佳论文奖，机器人可通过机器学习更快找到物体道翰天琼认知智能机器人大脑API接口平台。

摘要：根据密歇根大学的研究，机器人可以通过学习房屋周围不同物体之间的关系来学习如何更快地找到事物。在本文的一个示例中，一种新模型为机器人提供了视觉搜索策略，可以指导机器人在已经看到冰箱的情况下寻找附近的咖啡壶。这项工作由ChadJenkins教授和CSE博士领导。学生ZengZeng在2020年机器人技术与自动化国际会议（ICRA）上被授予认知机器人技术最佳论文奖。机器人专家的共同目标是使机器具有

认知智能·2024-01-31 08:05

点评：获ICRA认知机器人技术最佳论文奖，机器人可通过机器学习更快找到物体。道翰天琼认知智能机器人大脑API接口平台。

摘要：根据密歇根大学的研究，机器人可以通过学习房屋周围不同物体之间的关系来学习如何更快地找到事物。在本文的一个示例中，一种新模型为机器人提供了视觉搜索策略，可以指导机器人在已经看到冰箱的情况下寻找附近的咖啡壶。这项工作由ChadJenkins教授和CSE博士领导。学生ZengZeng在2020年机器人技术与自动化国际会议（ICRA）上被授予认知机器人技术最佳论文奖。机器人专家的共同目标是使机器具有

认知智能·2024-01-31 08:04

自然语言处理的就业前景

在就业方面，计算机自然语言处理领域主要涉及人工智能、自然语言处理、机器学习、语音识别、信息检索等方面的工作，包括算法工程师、数据分析师、自然语言处理工程师、语音处理工程师、信息检索工程师等职位。在科技

人工智能技术与咨询·2024-01-31 07:29

解密人工智能与低代码开发：探索机器学习奥秘

本文将探索人工智能与低代码开发之间的关系，揭示机器学习的奥秘，并展望未来发展的趋势。人工智能正引领着技术革新的浪潮，而低代码开发作为支持快速应用开发的方法，也在业界引起了广泛关注。

工业甲酰苯胺·2024-01-31 07:58

【EI会议征稿通知】2024年模型、自然语言处理与机器学习国际学术会议（CMNM 2024）

2024年模型、自然语言处理与机器学习国际学术会议（CMNM2024）2024InternationalConferenceonModeling,NaturalLanguageProcessingandMachineLearning

搞科研的小刘选手·2024-01-31 07:38

机器学习复习（2）——线性回归&SGD优化算法

目录线性回归代码线性回归理论线性回归代码classMy_Model(nn.Module):def__init__(self,input_dim):super(My_Model,self).__init__()#矩阵的维度（dimensions）self.layers=nn.Sequential(nn.Linear(input_dim,16),nn.ReLU(),nn.Linear(16,8),nn

不会写代码！！·2024-01-31 07:38

机器学习系列-2 线性回归&训练损失

机器学习系列-2线性回归&训练损失学习内容来自：谷歌ai学习https://developers.google.cn/machine-learning/crash-course/framing/check-your-understanding

喜乐00·2024-01-31 07:35

机器学习——绪论总结

目录一、引入二、基本术语三、假设空间与归纳偏四、模型选择一、引入机器学习：通过计算手段，得出具有能够自我修改、完善能力的模型，利用经验改善系统自身性能。

带带琪宝·2024-01-31 07:31

机器学习：Logistic回归（Python）

Logistic回归（二分类）logistic_regression_class2.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassLogisticRegression:"""逻辑回归，采用梯度下降算法+正则化，交叉熵损失函数，实现二分类"""def__init__(self,fit_intercept=True,normalize=True,a

捕捉一只Diu·2024-01-31 07:56

奠定基础：用于机器学习的微积分、数学和线性代数

一、说明机器学习是一个引人入胜的领域，它使计算机能够从数据中学习并做出预测或决策，而无需明确编程。然而，在幕后，有一个坚实的数学和线性代数基础，构成了机器学习算法的支柱。

无水先生·2024-01-31 07:54

python地理空间_GIS Experience （十）：Python地理空间数据分析

前言GISer都知道在常用的桌面端GIS应用ArcGIS和QGIS工具中都大量的使用了Python语言，考虑到当前python也被大量应用到机器学习和人工智能领域，在进行空间处理时候直接通过编写代码也可以使得工作更为高效

weixin_39694838·2024-01-31 06:30

干货 | 大模型在图数据分析、推荐系统和生物科学中的综合应用

AITIME论道·2024-01-31 06:33

2024.1.25 Object_basic 用户画像标签开发过程面向对象定义基类

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefr

白白的wj·2024-01-31 06:03

2024.1.20 用户画像标签开发,面向过程方法

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefromcom.bytedance.tag.base.parse_ruleimportEsMetaimpo

白白的wj·2024-01-31 06:32

[机器学习]K-means——聚类算法

一.K-means算法概念二.代码实现#0.引入依赖importnumpyasnpimportmatplotlib.pyplotasplt#画图依赖fromsklearn.datasetsimportmake_blobs#从sklearn中直接生成聚类数据#1.数据加载#生成（n_samples：样本点，centers：中心点，random_state：随机种子，cluster_std：聚类标准差

不知迷踪·2024-01-31 05:26

第4章 python深度学习——（波斯美女）

第4章机器学习基础本章包括以下内容：除分类和回归之外的机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合处理机器学习问题的通用工作流程学完第3章的三个实例，你应该已经知道如何用神经网络解决分类问题和回归问题

weixin_42963026·2024-01-31 05:25

[机器学习]TF-IDF算法

一.TF-IDF算法概述什么是TF-IDF？词频-逆文档频率（TermFrequency-InverseDocumentFrequency，TF-IDF）是一种常用于文本处理的统计方法，可以评估一个单词在一份文档中的重要程度。简单来说就是可以用于文档关键词的提取。TF-IDF的基本思想：看到下面这段文本，我们应该很容易就能看出“梅西”应该是一个关键词，但是我们如何通过算法的形式让计算机也能够辨别呢

不知迷踪·2024-01-31 05:25

揭开时间序列的神秘面纱：特征工程的力量

1.1特征工程的定义和基本概念1.2特征工程在传统机器学习中的应用1.3时间序列领域中特征工程的独特挑战和需求3.时间序列数据的特征工程技术2.1数据清洗和预处理2.1.1缺失值处理2.1.2异常值检测与处理

theskylife·2024-01-31 05:40

机器学习复习（5）——激活函数

目录激活函数分类区别与优缺点饱和激活函数非饱和激活函数综合考虑Sigmoid激活函数Tanh激活函数ReLU激活函数LeakyRelu激活函数Swish激活函数激活函数分类激活函数可以分为两大类：饱和激活函数：sigmoid、tanh非饱和激活函数:ReLU、LeakyRelu、ELU【指数线性单元】、PReLU【参数化的ReLU】、RReLU【随机ReLU】区别与优缺点饱和激活函数Sigmoid

不会写代码！！·2024-01-31 04:47

xLearn机器学习库：安装与实践指南

在机器学习的领域里，不乏优秀的库和框架，如scikit-learn、TensorFlow和PyTorch等。然而，xLearn以其独特的优势，在处理特定类型的数据和问题时显得尤为出色。

uncle_ll·2024-01-31 03:56

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。

Yuki_lsq·2024-01-31 03:02

《Numpy 简易速速上手小册》第9章：Numpy 在机器学习中的应用（2024 最新版）

9.1.3拓展案例1：缺失值处理9.1.4拓展案例2：非数值数据的转换9.2特征提取和处理9.2.1基础知识9.2.2完整案例：特征归一化9.2.3拓展案例1：特征降维9.2.4拓展案例2：独热编码9.3与机器学习库的集成

江帅帅·2024-01-31 01:12

Python实现OCR大批量识别图片文字，并将文字保存到txt文档中，文末源码直接拿！

Python作为一种简洁、易用的编程语言，提供了丰富的图像处理和机器学习库，使得实现图像文字识别变得简单而高效。本文将介绍如何使用Python实现大批量识别图片文字，并将文字保存到txt

认真写程序的强哥·2024-01-31 01:27

机器学习综述（考试整理的）

一机器学习历史 机器学习源自人工智能。早期的人工智能主要分为两个阶段：一个是逻辑推理，第二个阶段是专家系统。 1逻辑推理：主要通过数学符号的逻辑来模拟智能。

wyn20001128·2024-01-31 01:53

特征选择综述论文阅读笔记

当数据挖掘和机器学习算法应用于高维数据时，一个关键问题被称为维数诅咒：数据在高维空间中变得更加稀疏，对为低维空间设计的算法产生不利影响的现象。

wyn20001128·2024-01-31 01:23

[Python] 什么是集成算法，什么是随机森林？随机森林分类器（RandomForestClassifier）及其使用案例

集成算法是一种机器学习方法，它将多个基本的学习算法（也称为弱学习器）组合在一起，形成一个更强大的预测模型。集成算法通过对基本模型的预测进行加权平均或多数投票等方式，来产生最终的预测结果。

老狼IT工作室·2024-01-31 00:25

填鸭式教育

就像现在的人工智能技术，机器是被传输进数据之后再进行机器学习，这是机器的思考方式，但现代教育却试图把每个学生变成机器。例如中国的课本教材，大多是定义、概念在前，举例、运用在后，但难道这些概念

tutu木·2024-01-30 23:04

推荐频道

PySpark机器学习