PySpark机器学习

【前沿技术杂谈：迁移学习】迁移学习是在航空业实现人工智能的最后一步吗？

航空业迁移学习的一个真实例子：预测跑道占用率迁移学习的挑战以及如何应对这些挑战结论和未来的帖子机器学习模仿人类如何通过经验获取知识。然而，人类也可以在不同的任务之间转移知识。
jcfszxc·2024-01-09 09:49

【深度学习每日小知识】Transfer Learning 迁移学习

TransferLearning迁移学习是指机器学习中的一种技术，其中从解决一个问题中获得的知识应用于另一个不同但相关的问题。在迁移学习中，预训练模型被用作学习新任务或提高现有模型性能的起点。
jcfszxc·2024-01-09 09:17

机器学习（四） -- 模型评估（4）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-4）未完待续……目录机器学习（四）--模型评估（1）机器学习（
₫从心·2024-01-09 08:43

机器学习 -决策树的案例

场景我们对决策树的基本概念和算法其实已经有过了解，那我们如何利用决策树解决问题呢？构建决策树数据准备我们准备了一些数据如下：#定义新的数据集new_dataSet=[['晴朗','是','高','是'],['雨天','否','低','否'],['阴天','是','中','是'],['晴朗','否','高','是'],['晴朗','是','低','否'],['雨天','是','高','否'],['阴
北堂飘霜·2024-01-09 08:12

机器学习原理到Python代码实现之NaiveBayes【朴素贝叶斯】

NaiveBayes朴素贝叶斯算法该文章作为机器学习的第二篇文章，主要介绍的是朴素贝叶斯算法的原理和应用。学习本章内容建议对概率论中的联合概率以及先验概率、后验概率有初步的学习和掌握。
神仙盼盼·2024-01-09 08:39

Week6

第6周十、应用机器学习的建议(AdviceforApplyingMachineLearning)10.1决定下一步做什么参考视频:10-1-DecidingWhattoTryNext(6min).mkv
kidling_G·2024-01-09 08:19

机器学习中常用的概念：ROC曲线和AUC值，到底是什么？

1.关于ROC曲线的概念ROC曲线和AUC值是评价分类监督学习性能的重要量度指标。ROC曲线又被称为“接受者操作特征曲线”“等感受性曲线”，主要用于预测准确率情况。最初ROC曲线运用在军事上，现在广泛应用在各个领域，比如判断某种因素对于某种疾病的诊断是否有诊断价值。曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反映，只不过是在几种不同的判定标准下所得的结果而已。ROC曲线如图所示，是在以虚
数据科学作家·2024-01-09 08:36

机器学习 前馈神经网络

人工神经网络（ArtificialNeuralNetwork，ANN）是指一系列受生物学和神经科学启发的数学模型．这些模型主要是通过对人脑的神经元网络进行抽象，构建人工神经元，并按照一定拓扑结构来建立人工神经元之间的连接，来模拟生物神经网络．在人工智能领域，人工神经网络也常常简称为神经网络（NeuralNetwork，NN）或神经模型。神经网络最早是作为一种主要的连接主义模型。20世纪80年代中后
白牛DATA·2024-01-09 08:31

【Python机器学习】构造决策树

通常来说，构造决策树直到所有叶结点都是纯的叶结点，但这会导致模型非常复杂，并且对于训练数据高度过拟合。为了防止过拟合，有两种常见策略：1、尽早停止树的生长，也叫预剪枝2、先构造树，但随后删除或折叠信息量很少的结点，也叫后剪枝。预剪枝的限制条件可能包含限制树的最大深度、限制叶结点的最大数目、规定一个结点中数据点的最小数目。如果不防止过拟合：fromsklearn.treeimportDecision
zhangbin_237·2024-01-09 08:28

DD小桔高级数分 2面挂

点面试的原因项目没有进行深究自我介绍项目介绍1.你在实际项目中是怎么设计AB实验2.你在实际业务场景中是怎么判断在AB实验效果是否可以全量的3.实验的指标怎么设计的4.你那边实验的频率大概在一个什么区间5.实际业务中怎么运用到机器学习算法
阿孟dede·2024-01-09 08:26

大数据之PySpark的RDD介绍

文章目录前言一、RDD简介二、RDD的特性三、RDD的特点总结前言之前的文章主要介绍Spark基础知识，例如集群角色、Spark集群运行流程等，接下来会进一步讨论Spark相对核心的知识，让我们拭目以待，同时也期待各位的精彩留言！一、RDD简介RDD称为弹性分布式数据集，是Spark中最基本的数据抽象，其为一个不可变、可分区、元素可并行计算的集合；RDD中的数据是分布式存储，可用于并行计算，同时，
敲键盘的杰克·2024-01-09 07:11

pyspark mysql rdd_PySpark之RDD操作

一、什么是RDDAResilientDistributedDataset(RDD),thebasicabstractioninSpark.Representsanimmutable,partitionedcollectionofelementsthatcanbeoperatedoninparallel.弹性分布式数据集(RDD)，Spark中的基本抽象。表示可以并行操作的元素的不变分区集合。弹性：
辉月有话说·2024-01-09 07:40

PySpark之Spark RDD的持久化

缓存函数一、cache()二、persist三、缓存级别四、释放缓存五、什么时候缓存数据当某个RDD被使用多次的时候，建议缓存此RDD数据当某个RDD来之不易，并且使用不止一次，建议缓存此RDD数据frompysparkimportSparkContext
飞Link·2024-01-09 07:07

PySpark-Spark SQL基本介绍

目录SparkSQL基本介绍SparkSQL特点SparkSQL与Hive的异同SparkSQL的数据结构SparkSQL的入门创建SparkSession对象DataFrame详解DataFrame基本介绍DataFrame的构建方式RDD构建DataFrame内部初始化数据得到DataFrameschema总结读取外部文件得到DataFrameText方式读取CSV方式读取JSON方式读取Sp
Sisi525693·2024-01-09 07:37

PySpark的RDD持久化

RDD迭代链条中只有最新的RDD，旧RDD会销毁，节省内存空间追溯旧RDD是依照血缘关系，使用持久化技术->1.RDD缓存,把某个RDD保留，rdd.cache()缓存到内存，rdd.persist(StorageLevel.DISK_ONLY_2)缓存到本地硬盘上,2个副本，不支持存HDFS，保留血缘关系清理缓存：rdd.unpersist()缓存的原理是写到对应节点的服务器上的本地内存或磁盘上
February13·2024-01-09 07:32

PySpark之RDD的持久化

RDD的持久化RDD的缓存当RDD被重复使用，或者计算该RDD比较容易出错，而且需要消耗比较多的资源和时间的时候，我们就可以将该RDD缓存起来。主要作用:提升Spark程序的计算效率注意事项:RDD的缓存可以存储在内存或者是磁盘上，甚至可以存储在Executor进程的堆外内存中。主要是放在内存中，因此缓存的数据是不太稳定可靠。由于是临时存储，可能会存在丢失，所以缓存操作，并不会将RDD之间的依赖关
Sisi525693·2024-01-09 07:30

机器学习的目标函数、损失函数

损失函数又叫代价函数。目标函数是一个更加广的概念。对于目标函数来说在有约束条件下的最小化就是损失函数。用损失函数来度量拟合程度：损失函数损失函数越小代表模型拟合的越好。风险函数是损失函数的期望，关于训练集的平均损失称为经验风险：经验风险我们的目标是使得经验风险最小。一个好的模型不仅要使得经验风险最小，还要避免过度拟合，也就是要满足结构风险最小化。此时定义一个函数J(f)。J(f)负责衡量模型的复杂
毕一·2024-01-09 07:42

Python在智能手机芯片研发

Python具有强大的科学计算库，如NumPy和SciPy，能够支持大规模数据处理、机器学习和深度学习等多种算法开发和
python无人驾驶 医学芯片·2024-01-09 06:17

【tensorflow&flutter&web】机器学习模型怎样用到前端上（未写完）

书接上回在上一章我们谈了怎么根据项目需求构建一个简单的机器学习模型。【tensorflow&flutter】自己写个机器学习模型用在项目上？-CSDN博客文章浏览阅读852次，点赞22次，收藏15次。
这次选左边·2024-01-09 06:14

PySpark & Dask 分布式集群环境搭建（Linux）

Spark分布式环境搭建_Linux版9.0具体思路：先进行单机配置，然后复制Linux虚拟机、分发配置好的框架。一、准备软件包、框架包、和系统包二、安装VMwareworkstationplayer（免费）三、Centos安装，参见centos安装文档四、配置centos7（node1节点）登录，用户名root，密码:123456查看网络IP地址，记录IP地址（当前node1节点IP：192.1
蒲魔树的种子·2024-01-09 06:04

pyspark 引入虚拟环境依赖包以及向yarn集群提交任务攻略

以虚拟环境引入project_demo项目包，并向sparkyarn提交spark任务为例：将project_demo安装到虚拟环境中1）virtualenvlocal_venv#创建虚拟环境2）sourcelocal_venv/bin/activate#运行虚拟环境3）pipinstall-Ugit+ssh://[email protected]_demo.git-ihttp://py
阿君聊风控·2024-01-09 06:33

anaconda创建虚拟环境

最近在做项目时需要提交pyspark任务到公司的Spark集群上，由于没有集群节点的相关权限，打算采用anaconda创建pyspark的虚拟环境来进行。
追梦菜鸟·2024-01-09 06:33

python虚拟环境可以运行pyspark_pyspark 与 python 环境配置

主要是解决包依赖问题，通过virtualenv来解决，需要打包环境和spark是slave端运行环境一致，通过anaconda来解决，则完全不需要保持与线上spark机环境一致，只需要是linux系统即可。本篇主要介绍通过anaconda创建虚拟环境，并打包上传到hdfs目录。1.Anaconda安装bash~/Downloads/Anaconda2-5.0.1-Linux-x86_64.sh#如
weixin_39663729·2024-01-09 06:33

pyspark打包依赖包&使用python虚拟环境

一、anaconda创建python环境anaconda创建python环境在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。二、打包python环境假设我们的python环境名称为py_env，那么在anaconda的安装目录下，会有这么一个目录：envs/py_env在Windows下，直接将使用压缩软件，将其
我就算饿死也不做程序员·2024-01-09 06:33

Linux 环境安装Pyspark

Anaconda安装1.Anaconda的下载前往官网下载Linux环境的Anaconda安装包：下载地址2.安装包上传安装1.将下载好的安装包上传到linux系统中2.解压安装包root@master:~/env/conda#sh./Anaconda3-2023.09-0-Linux-x86_64.sh按回车多次按空格，直到看到最后时候输入yes再次输入yes输入想要安装的路径，注意：最后一个a
LiyC;·2024-01-09 06:32

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark
Lfx_come on·2024-01-09 06:02

windows+pycharm+pyspark+linux远程开发环境搭建

Anacondaliunx版本下载Anaconda|TheWorld’sMostPopularDataSciencePlatformAnacondalinux版本安装上传文件到虚拟机安装目录下在安装目录下运行程序sh./Anaconda3-2021.11-Linux-x86_64.sh按回车继续，之后按空格一直到yes/no输入yes再之后输入需要安装的目录之后就等待安装完成Anaconda换源s
王小磊~·2024-01-09 06:02

linux创建pyspark虚拟环境

一、创建虚拟环境condacreate-ntestpython=3.6.6二、注意添加镜像vi/root/.condarcchannels:-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/-http://mirrors.us
Python伊甸园·2024-01-09 05:02

05 第六章

间隔与支持向量支持向量机(SupportVectorMachine)是最常用的机器学习算法之一.首先我们从最简单的SVM开始回顾.假设一个特征空间中有若干二分类样本,且它们是线性可分的,那么在能够将其正确分类的无数个超平面中
罐罐儿111·2024-01-09 05:18

轻松玩转书生·浦语大模型趣味 Demo 笔记+作业展示

大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。
xidierzuo·2024-01-09 05:47

轻松玩转书生·浦语大模型趣味Demo 学习笔记

大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。
weixin_42837310·2024-01-09 05:46

浦语大模型趣味 Demo课程学习及实战应用

InternLM模型全链条开源课程笔记大模型指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。
m0_54169072·2024-01-09 05:15

2024年先进机器人，自动化工程与机器学习国际会议（ARAEML 2024）- EI核心

2024年先进机器人，自动化工程与机器学习国际会议（ARAEML2024）-EI核心2024InternationalConferenceonAdvancedRobotics,AutomationEngineeringandMachineLearning
CSTech学术会议·2024-01-09 05:08

7+非肿瘤纯生信，分型+机器学习，寥寥数图就可以拿下7+

今天给同学们分享一篇生信文章“Micro-inflammationrelatedgenesignaturesareassociatedwithclinicalfeaturesandimmunestatusoffibromyalgia”，这篇文章发表在JTranslMed期刊上，影响因子为7.4。结果解读：在GEO队列中发现了与炎症相关的DEG整个分析的流程图如图1所示。FM患者和对照组共鉴定出19
生信风暴·2024-01-09 04:47

代谢相关+机器学习+预后相关生信思路，思路不复杂，一出手就是5+

今天给同学们分享一篇生信文章“Developmentandvalidationofrobustmetabolism-relatedgenesignatureintheprognosticpredictionofhepatocellularcarcinoma”，这篇文章发表在JCellMolMed期刊上，影响因子为5.3。结果解读：患者特征和风险评分的构建根据图1，最初从纳入的四个数据集中排除了3例
生信风暴·2024-01-09 04:17

嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第五天-Linux消息共享内存（物联技术666）

物联技术666_嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记-CSDN博客物联技术666擅长嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记,等方面的知识,物联技术666关注机器学习,arm开发,物联网,嵌入式硬件
vx349014857·2024-01-09 03:51

嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第五天-Linux消息共享内存练习题（物联技术666）

物联技术666_嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记-CSDN博客物联技术666擅长嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记,等方面的知识,物联技术666关注机器学习,arm开发,物联网,嵌入式硬件
vx349014857·2024-01-09 03:51

嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第二天-Linux开发板外设开发（物联技术666）

物联技术666_嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记-CSDN博客物联技术666擅长嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记,等方面的知识,物联技术666关注机器学习,arm开发,物联网,嵌入式硬件
vx349014857·2024-01-09 03:51

嵌入式培训机构四个月实训课程笔记（完整版）-Linux系统编程第二天-Linux开发板外设练习题（物联技术666）

物联技术666_嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记-CSDN博客物联技术666擅长嵌入式C语言开发,嵌入式硬件,嵌入式培训笔记,等方面的知识,物联技术666关注机器学习,arm开发,物联网,嵌入式硬件
vx349014857·2024-01-09 03:50

AI人工智能学习路线图

学习人工智能AI的路线通常包括以下几个步骤：了解人工智能的基本概念和历史，包括机器学习、神经网络、深度学习等技术。学习数学基础知识，包括线性代数、微积分、概率论和统计学等。
AI论道·2024-01-09 01:43

周记

1PHP，了解了PHP这门语言，并且尝试写了接口2了解Python，了解这门语言，但是还没有实际运用，不过尝试使用了pandas这个库3了解机器学习，并且学了部分和机器学习有关的概念4尝试重新并好好学习设计模式
你缺少想象力·2024-01-09 00:59

Python 全栈体系【四阶】（十一）

第四章机器学习机器学习：传统的机器学习：以算法为核心深度学习：以数据和计算为核心感知机perceptron（人工神经元）可以做简单的分类任务掀起了第一波AI浪潮感知机不能解决线性不可分问题，浪潮跌入谷底线性不可分的问题在理论界上被解决了
柠檬小帽·2024-01-08 23:02

RT-DETR Gradio 前端展示页面

效果展示使用方法Gradio是一个开源库，旨在为机器学习模型提供快速且易于使用的网页界面。
迪菲赫尔曼·2024-01-08 23:28

逻辑回归（LR）----机器学习

基本原理逻辑回归（LogisticRegression，LR）也称为"对数几率回归"，又称为"逻辑斯谛"回归。logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归根据给定的自变量数据集来估计事件的发生概率，由于结果是一个概率，因此因变量的范围在0和1之间。知识点提炼分类，经典的二分类算法！逻辑回归就是这样的一个过程：
普通研究者·2024-01-08 23:44

2021-10-20

他们补充道，他们的方法将肿瘤生化成分的详细绘图与机器学习相结合。约翰霍普金斯大学机械工程副教授IshamBarman博士指出：“免疫疗法真的像魔法一样有效，从根本上改变了我们看待癌症治疗的方式
图灵基因·2024-01-08 23:03

GitHub Copilot 使用介绍

什么是GithubCopilothttps://github.com/features/copilotGithubCopilot是一种人工智能辅助开发工具，由GitHub和OpenAI合作开发，旨在通过机器学习算法为开发人员提供自动化的代码提示和智能建议
王羲之的之·2024-01-08 23:10

决策树与随机森林

从数据产生决策树的机器学习技术叫做决策树学习，通俗说就是决策树。它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分。
爱静的龙猫·2024-01-08 22:17

浅谈树模型与集成学习-从决策树到GBDT

机器学习研究发展至今，除了神经网络模型这种方法路径外，还存在许多大相径庭的方法路径，比如说贝叶斯算法、遗传算法、支持向量机等，这些经典算法在许多场景上也一直沿用。本
凹凸实验室·2024-01-08 21:02

番外篇-Julius AI帮你做数据分析

随着大型机器学习模型的不断完善，数据分析变得前所未有地简单和高效。这些所谓的“巨人”——如GPT-4为代表的一系列创新应用，不仅提高了分析的准确度和深度，还大幅降低了学习门槛。
阿清陪你聊聊数据分析·2024-01-08 21:02

第十一届脑电机器学习训练营（线上：2023.10.9~10.29）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★随着人们对神经系统功能认识的提高和计算机技术的发展，脑机接口（BCI）技术的研究呈明显的上升趋势。BCI是一种不依赖
茗创科技·2024-01-08 21:00
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他