何以问_
何以问_

深度学习之图像处理与分析(一)

深度学习之图像处理与分析

目录

  • 人工智能和深度学习概论
  • 图像基础
  • 深度学习基础
  • 深度学习的基本数学
  • 理解的人工神经网络

人工智能和深度学习概论

AI与ML与DL

  • Artificial intelligence(人工智能)
    • 使人类通常执行的智力任务自动化的努力
  • Machine Learning(机器学习)
    • 使系统无需进行显式编程即可自动从数据进行改进
  • Deep Learning(深度学习)
    • 机器学习的特定子领域
    • 侧重于学习越来越有意义的表示形式的连续层

人工神经网络

  • 最初于1950年代进行调查，始于1980年代
  • 不是真正的大脑模型
  • 受到神经生物学研究的宽松启发

深度学习的深度如何？

  • 深度学习是人工神经网络的重塑，具有两层以上
  • “深入”并不是指通过这种方法获得的更深刻的理解
  • 它代表连续表示层的想法

深度学习框架

我们的深度学习技术堆栈

深度学习之图像处理与分析(一)_第1张图片

GPU和CUDA

  • GPU(Graphics Processing Unit):
    • 数百个更简单的内核
    • 数千个并发的硬件线程
    • 最大化浮点吞吐量
  • CUDA(Compute Unified Device Architecture)
    • 并行编程模型，可通过利用GPU显着提高计算性能
  • cuDNN（CUDA深度神经网络库）
    • GPU加速的神经网络原语库
    • 它为以下方面提供了高度优化的实现：卷积，池化，规范化和激活层

设置深度学习环境

  • 安装Anaconda3-5.2.0
  • 安装DL框架
    • $ conda install -c conda-forge tensorflow
    • $ conda install -c conda-forge keras
  • 启动Jupyter Server
    • $ jupyter notebook

图像处理基础

像素

  • 像素是图像的原始构建块。 每个图像都包含一组像素
  • 像素被认为是在图像中给定位置出现的光的“颜色”或“强度”
  • 图片的分辨率为1024x768，即1024像素
  • 宽768像素高

灰度与颜色

  • 在灰度图像中，每个像素的标量值为0到255之间，其中零对应于黑色，而255为白色。 0到255之间的值是变化的灰色阴影
  • RGB颜色空间中的像素由三个值的列表表示：红色代表一个值，绿色代表一个值，蓝色代表另一个值
  • 通过执行均值减法或缩放对输入图像进行预处理，这是将图像转换为浮点数据类型所必需的

图像表示

  • 我们可以将RGB图像概念化，该图像由宽度W和高度H的三个独立矩阵组成，每个RGB分量一个
  • RGB图像中的给定像素是[0; 255]范围内的三个整数的列表：红色代表一个值，绿色代表第二个值，蓝色代表最终值
  • RGB图像可以以形状（高度，宽度，深度）存储在3D NumPy多维数组中。

图像分类

  • 图像分类是从一组预定义的类别中为图像分配标签的任务
  • 假设计算机看到的只是一个很大的像素矩阵，那么如何以计算机可以理解的过程来表示图像
  • 应用特征提取以获取输入图像，应用算法并获得量化内容的特征向量
  • 我们的目标是应用深度学习算法来发现图像集合中的潜在模式，从而使我们能够正确分类算法尚未遇到的图像

深度学习基础

数据处理

  • 向量化
    • 将原始数据转换为张量
  • 正常化
    • 所有特征值均在同一范围内，标准偏差为1，平均值为0
  • 特征工程
    • 通过在建模之前将人类知识应用于数据来使算法更好地工作

什么是模型

  • 在训练数据集上训练ML算法时生成的函数
  • 例如。 找出w和b的值，因此f（x）= wx + b紧密匹配数据点。
    深度学习之图像处理与分析(一)_第2张图片

模型重量

  • 模型权重=参数=内核
    • 从训练数据中学到的模型的可学习部分
    • 学习开始之前，这些参数的值会随机初始化
    • 然后调整为具有最佳输出的值
  • 模型超参数：
    • 在实际优化模型参数之前手动设置变量
    • 例如 学习率，批量大小，时代等

Optimizer(优化器)

  • 通过动态调整学习率来确定如何更新网络权重
  • 热门优化器:
    • SGD（随机梯度下降）
    • RMSProp（均方根传播）
    • 动量•Adam（自适应矩估计）

Loss Function(损失函数)

  • 也称为误差函数或成本函数
  • 通过汇总整个数据集的误差并求平均值来量化模型预测与地面真实程度的接近程度
  • 查找权重组合以最小化损失函数
  • 广泛使用的损失函数
    • 交叉熵（对数损失）
    • 均方误差（MSE）
    • 均值绝对误差（MAE）

Weight Updates

深度学习之图像处理与分析(一)_第3张图片

学习率

  • 控制我们在损耗梯度方面调整网络权重的程度
  • 系数，用于衡量模型在损失函数中权重的大小
  • 它确定算法的下一步要使用多少梯度。
    深度学习之图像处理与分析(一)_第4张图片

指标

  • 研究人员使用度量标准来在每个时期后根据验证集判断模型的性能
  • 分类指标
    • 准确性
    • 精确
    • 召回
  • 回归指标：
    • 平均绝对误差
    • 均方误差

深度学习的基本数学

  • 线性代数：矩阵运算
  • 微积分：微分，梯度下降
  • 统计: 概率

Tensors(张量)

  • 张量:
    • 数值数据的容器
    • 多维数组
    • 机器学习的基本数据结构
      深度学习之图像处理与分析(一)_第5张图片

Tensor Operations(张量运算)

  • Element-wise product
    • 将一个元素的每个元素与另一个元素的每个元素相乘
      深度学习之图像处理与分析(一)_第6张图片

Broadcasting(广播)

  • 广播较小的张量以匹配较大的张量的形状
    深度学习之图像处理与分析(一)_第7张图片

Dot Product Example(点积的例子)

  • 第一个矩阵的列数必须等于第二个矩阵的行数
  • A(m, n) x B(n, k) = C(m, k)
  • 深度学习之图像处理与分析(一)_第8张图片

Derivative vs. Gradient (导数与梯度)

  • 导数测量标量值的函数的“变化率”
  • 梯度是张量的导数，导数的多维泛化
  • 在一个变量的函数上定义了导数，而梯度为 用于几个变量的函数。
    -深度学习之图像处理与分析(一)_第9张图片

深度学习之图像处理与分析(一)_第10张图片

梯度下降

  • 梯度下降法是找到一个函数的局部最小值
  • 成本函数告诉我们离全局最小值有多远
  • 深度学习之图像处理与分析(一)_第11张图片

人工神经网络

  • 许多简单的单元在没有集中控制单元的情况下并行工作
  • ANN由输入/输出层和隐藏层组成
  • 每层中的单元都完全连接到前馈神经网络中相邻层中的所有单元。
  • 深度学习之图像处理与分析(一)_第12张图片

神经元

  • 神经元是人工神经网络的数学功能和基本处理元素
  • 人工神经网络中的每个神经元都会对其所有输入进行加权求和，添加一个恒定的偏差，然后通过非线性激活函数提供结果
  • 深度学习之图像处理与分析(一)_第13张图片

层数

  • 一层是一个数据处理模块，使用张量作为输入和输出张量。
  • 隐藏层是网络外部无法观察到的层
  • 大多数层具有权重，而有些则没有权重
  • 每个层具有不同数量的单位

连接权重和偏差

  • 放大输入信号并抑制网络单元噪声的系数。
  • 通过减小某些权重，另一些权重较大，可以使某些功能有意义，并最小化其他功能，从而了解哪些结果有用。
  • 偏差为标量值 输入，以确保无论信号强度如何，每层至少激活几个单位
  • 本质上，ANN旨在优化权重和偏差以最小化误差

Activation Functions(激活函数)

  • 当一个非零值从一个单元传递到另一个单元时，该值被激活
  • 激活功能将输入，权重和偏差的组合从一层转换到下一层
  • 将非线性引入网络的建模功能

流行的Activation Functions

  • Sigmoid
  • Tanh
  • ReLU
  • Leaky ReLU
  • Softmax
  • SoftPlus

案例研究：手写数字分类

  • LeCun等在1980年代组装的MNIST数据集
  • 70,000个具有28 x 28像素正方形的样本图像
  • 多类分类问题

输入层

  • 使用28 x 28 = 784像素作为前馈网络输入层中的输入向量
  • 深度学习之图像处理与分析(一)_第14张图片

Sigmoid Functions

  • 逻辑函数，可通过将任意值转换为[0，1]来预测输出的可能性
  • 每次梯度信号流过S型门时，其幅值始终最多减少0.25
  • 深度学习之图像处理与分析(一)_第15张图片

Softmax Functions

  • Softmax返回互斥输出类上的概率分布
  • 结果向量清楚地显示了max元素，该元素接近1，并保持顺序
  • 在这里插入图片描述

输出层

  • 在输出层上使用Softmax将输出转换为类似概率的值
  • 深度学习之图像处理与分析(一)_第16张图片

Classification Loss Function(分类损失函数)

  • 分类交叉熵衡量了多分类模型的性能

  • 深度学习之图像处理与分析(一)_第17张图片

  • 在以上示例中，Y’是真实目标，而Y是模型的预测输出。 输出层由Sigmoid激活

SGD, Batch and Epoch

  • 随机梯度下降（SGD），用于计算梯度并更新每个单个训练样本上的权重矩阵
  • SGD使计算速度更快，而使用整个数据集会使矢量化效率降低。
  • 而不是对整个数据集或单个样本计算梯度， 我们通常在mini-batch（16，32，64）上评估梯度，然后更新权重矩阵
  • Epoch是所有训练样本的一个前向通过加一个向后通过

你可能感兴趣的:(AI,深度学习,神经网络,计算机视觉)

  • 华为OD机试统一考试D卷C卷 - 机器人仓库搬砖 py 愤怒的小青春 java
    平安寿险北分和飞鹤职能哪个强度好一些呀，平安寿险北分和飞鹤职能哪个强度好一些呀，两个offer纠结经营分析应该属于什么序列#数据分析#在牛客搜经营分析貌似只有字节有这个单独岗位名字，其他大厂都是在从属于数据分析，所以这俩昇腾计算岗位扩招，绝佳上车AI机会，速来ai芯片业务发展太快，要大量补充人力缺口。嵌入式软件开发、测试，前后端岗位，硬件岗位都招。院校范围很春招补录两个公司总包差不多，都是后台开发
  • 卷积神经网络 - 理解卷积核的尺寸 k×k×Cin 谦亨有终 AI学习笔记cnn人工智能神经网络深度学习机器学习
    卷积神经网络中，每个卷积核的尺寸为k×k×Cin，这一设计的核心原因在于多通道输入的数据结构和跨通道特征整合的需求。以下是详细解释：1.输入数据的结构输入形状：假设输入数据为三维张量，形状为H×W×Cin，其中：H：高度（Height）W：宽度（Width）Cin：通道数（Channelsin）多通道的物理意义：对于RGB图像，Cin=3（红、绿、蓝三通道）。对于中间层的特征图，Cin可能为64、
  • 前端性能优化-知识点 甲亿 前端性能优化
    Web性能优化意义1.减少整体加载时间：减小文件体积、减少HTTP请求、使用预加载。2.使网站尽快可用：仅加载首屏内容，其他内容根据需要进行懒加载。3.平滑和交互性：使用CSS替代JS动画、减少UI重绘。4.加载表现形式：使用加载动画、进度条、骨架屏等过渡信息，让用户感觉到页面加载更快。5.性能监测：性能指标、性能测试、性能监控持续优化等Web性能指标RAIL性能模型Response(响应)：快速
  • 聊聊langchain4j的Naive RAG hello_ejb3 人工智能
    序本文主要研究一下langchain4j的NaiveRAG示例publicclassNaive_RAG_Example{/***ThisexampledemonstrateshowtoimplementanaiveRetrieval-AugmentedGeneration(RAG)application.*By"naive",wemeanthatwewon'tuseanyadvancedRAGte
  • 《今日AI-人工智能-编程日报》-源自2025年3月20日 小亦编辑部 每日AI-人工智能-编程日报人工智能大数据
    一、AI行业动态英伟达新一代AI芯片Rubin发布计划英伟达宣布其新一代AI芯片Rubin将于2026年下半年推出，下下一代AI芯片架构命名为Feynman，计划于2028年登场。同时，英伟达还推出了RTXPRO6000系列Blackwell专业卡，拥有24064核心、96GB显存和最高600W功耗。OpenAI星际之门数据中心建设进展OpenAI的首个数据中心“星际之门”预计于2026年中在德克
  • 性能优化中如何“避免链接关键请求” 混血哲谈 性能优化
    在性能优化中，“避免链接关键请求”是指通过优化资源加载顺序和依赖关系，减少关键渲染路径中的链式请求（CriticalRequestChains），从而加速页面加载。以下是具体策略及实施步骤：一、什么是“关键请求链”？定义：关键请求链是浏览器在渲染首屏内容时必须按顺序加载的资源序列。例如：HTMLCSSFont浏览器需先下载HTML，解析后请求CSS，CSS解析后发现需要字体文件，再请求字体。问题：
  • 聊聊langchain4j的HTTP Client hello_ejb3 httpiphone网络协议
    序本文主要研究一下langchain4j的HTTPClientlangchain4j-http-clientlangchain4j提供了langchain4j-http-client模块，它实现了一个HttpClientSPI（服务提供者接口），其他模块通过该接口调用LLM提供商的RESTAPI。这意味着底层HTTP客户端可以被自定义，通过实现HttpClientSPI，还可以集成任何其他HTTP
  • L2-050懂蛇语c++（pta天梯赛。测试点1。） zzy678 c++
    这个题目看上去还挺简单的，但是自己做的时候就超时了一开始只有19分。我自己stl学的不是很好，然后一开始自己用的pair和vector一起写的发现了一些小问题改了之后才得19。。。其中两个就是超时问题。可能查找太慢？之后又查看了一些别人写的，参考了使用map和vector混用的方法就很好过了，但是那个测试点1就是过不了。最后，我发现就是首字的处理方式应该优化。一个小小小坑。大家注意。#includ
  • PyTorch核心基础知识点 niuTaylor 编程区pytorch人工智能python
    PyTorch核心基础知识点，结合最新特性与工业级实践，按优先级和逻辑关系分层解析：▍核心基石：张量编程（TensorProgramming）1.张量创建（8种生产级初始化）#设备自动选择（2024最佳实践）device="cuda"iftorch.cuda.is_available()else"mps"iftorch.backends.mps.is_available()else"cpu"#关键
  • 一文讲清楚深度学习和机器学习 平凡而伟大. 机器学习人工智能深度学习机器学习人工智能
    目录1.定义机器学习（MachineLearning,ML）深度学习（DeepLearning,DL）2.工作原理机器学习深度学习3.应用场景机器学习深度学习4.主要区别5.为什么选择深度学习？6.总结深度学习和机器学习是人工智能（AI）领域中两个密切相关但有所区别的概念。要清楚地解释它们之间的关系，我们可以从定义、工作原理、应用场景以及两者的主要区别等方面进行探讨。1.定义机器学习（Machin
  • AIOps：解决企业IT挑战的智能利器 雅菲奥朗 认证培训AIOpsSRE可观测性
    前言：在当今数字化的时代，企业IT基础设施和应用程序规模不断扩大，面临着日益复杂的挑战。在这种情况下，AIOps人工智能运维成为解决企业IT运维困境的智能利器。AIOps与可观测性密切相关，可观测性是实现AIOps的基础。通过收集、监视和理解系统数据，AIOps能够自动化运维任务、实时监控系统状态、预测潜在问题，从而提高效率和稳定性。AIOps尤其适用于IT运维部门，这是一个迫切需要此类技术的群体
  • C语言指针入门(二) 悄悄敲敲敲 c语言开发语言算法c++
    1.二级指针二级指针就是指针的指针，即存放指针变量地址的一个变量。#includeintmain(){inta=10;int*p=&a;int**pp=&p;printf("%d\n",a);printf("%d\n",*p);printf("%d\n",**pp);//打印结果全为10printf("%p\n",a);printf("%p\n",*p);printf("%p\n",**pp);/
  • 回归模型评价指标——衡量预测能力 Tang–t 回归数据挖掘人工智能机器学习python
    目录一、指标说明1.均方误差（MeanSquaredError，MSE）2.均方根误差（RootMeanSquaredError，RMSE）3.平均绝对误差（MeanAbsoluteError，MAE）4.决定系数（CoefficientofDetermination，R²）5.解释方差（ExplainedVariance，EV）6.最大误差（MaximumError）二、代码一、指标说明回归模型
  • 使用AIOps进行更好的事件管理 茵赛飞3D CAD数据转换软件 pagerdutydevops人工智能运维
    DevOps为科技界带来了更加协作和高效的工作流程。随着AIOps的集成，自动化更进一步，使用人工智能为团队提供更快的根本原因分析和算法降噪。主要从采用AIOps中受益的主要领域之一是事件管理。AIOps可以帮助DevOps团队自动化工作流程，以实现更智能、更高效的事件管理，从而腾出时间让IT运营团队成员专注于创新以改善用户体验。在本文中，我们将了解AIOps如何从检测和识别到响应改进事件管理，以
  • AI大模型编程能力对比：Deepseek&Claude&Gemini 黑夜路人（heiyeluren） AI人工智能人工智能aiAIGC语言模型
    在当今快速发展的技术领域，人工智能（AI）模型在编程和数据处理方面的应用越来越广泛。不同的AI模型因其独特的设计理念和技术优势，适用于不同的编程任务和场景。本文将对三种主流的AI模型——DeepSeekv3、GeminiFlash2.0和Claude3.5Sonnet的编程能力进行详细对比，帮助读者根据具体需求选择最合适的工具。同时对DeepSeekv3、GeminiFlash2.0和Claude
  • DeepSeek：智能搜索与分析的新纪元 XRC2231 学习
    在人工智能浪潮席卷全球的今天，DeepSeek如同一颗璀璨的新星，以其独特的魅力和强大的功能，在AI领域脱颖而出。DeepSeek，这一基于深度学习和数据挖掘技术的智能搜索与分析系统，不仅重新定义了搜索引擎的边界，更以其卓越的性能和广泛的应用场景，为全球用户带来了前所未有的智能体验。本文将从DeepSeek的定义、特点、应用场景、优势等方面进行全面而深入的介绍，带您领略这一新兴技术的独特魅力。一、
  • 《AI大模型趣味实战 》第8集：多端适配 个人新闻头条 基于大模型和RSS聚合打造个人新闻电台(Flask WEB版) 2 带娃的IT创业者 AI大模型趣味实战人工智能flask前端
    《AI大模型趣味实战》第8集：多端适配个人新闻头条基于大模型和RSS聚合打造个人新闻电台(FlaskWEB版)2摘要本文末尾介绍了如何实现新闻智能体的方法。在信息爆炸的时代，如何高效获取和筛选感兴趣的新闻内容成为一个现实问题。本文将带领读者通过Python和Flask框架，结合大模型的强大能力，构建一个个性化的新闻聚合平台，不仅能够自动收集整理各类RSS源的新闻，还能以语音播报的形式提供"新闻电台
  • 从头开始学C语言第三十一天——void指针和const指针 神阶平天牛魔王 c语言
    void指针void指针是一种不确定数据类型的指针，可以通过强制转换类型让该指针指向任何数据类型的变量。说明形式：void*对于void指针，在没有强制转换数据类型之前，不能进行指针的算术运算#includeintmain(){inta=10;void*p;p=&a;printf("%d%d\n",a,*(int*)p);return0;}printf("%d%d\n",a,*(int*)p);这
  • .net 4.0环境异步方法实现，异步委托和回调异常处理 蔚蓝星空-大强 异步多线程c#asp.net
    .net4.0环境异步方法实现，异步委托和回调异常处理无返回值的异步方法通过委托实现staticvoidMain(string[]args){//异步执行写入数据任务，不阻塞主线程任务SetDataAsync(1);Console.WriteLine("主线程后续任务...");Console.ReadKey();}publicstaticvoidSetDataAsync(intnum){//这里
  • 46-886 Machine Learning Fundamentals W_X_99515681 机器学习人工智能
    46-886MachineLearningFundamentalsHW1Homework1Due:Sunday,March23,11:59pm•UploadyourassignmenttoCanvas(onlyonepersonperteamneedstosubmit)•Includeawriteupcontainingyouranswerstothequestionsbelow(andyourt
  • 小白学AI量化：DeepSeek+Python构建强大的金融数据挖掘与多维分析机器人 老余捞鱼 AI顾投高级策略AI探讨与学习人工智能python金融deepseek
    作者：老余捞鱼原创不易，转载请标明出处及原作者。写在前面的话：在机构主导的量化交易时代，普通投资者如何用一杯奶茶的钱（15元/天）打造专业级智能量化产品？本文将为您揭秘一个革命性的解决方案——基于国产大模型DeepSeek和Python构建的智能数据挖掘分析机器人。它不仅适用于通用网页数据抓取，更能深度应用于金融领域，精准捕捉市场信号。本文“干货”很多，请务必耐心读完。一、颠覆认知的性价比革命1.
  • 内核调试环境：buildroot/debootstrap制作文件系统、编译内核、QEMU模拟 苏打呀 linuxqemukernel
    编译内核#安装常用工具和依赖，可能会多，懒得分了，全装了吧反正以后说不定还要用。。。sudoaptinstallcurlwgetgpgzshtreegitnet-toolsproxychains4remminavimtarstracellvmclangunzipgccgcc-multilibbuild-essentialflexbisoncmakemakegawkdkmsautoconfninja
  • conda篇----在已有conda环境的基础上升级python包 心惠天意 condapythonjvm
    conda篇----在已有conda环境的基础上升级python包原先的python版本第一步：condaupdate--all(py11)[xxx@aivrs01xxx]$condaupdate--allCollectingpackagemetadata(current_repodata.json):doneSolvingenvironment:done==>WARNING:Anewervers
  • 【Linux 下的 bash 无法正常解析, Windows 的 CRLF 换行符问题导致的】 待磨的钝刨 linuxbashwindows
    文章目录报错原因：解决办法：方法一：用`dos2unix`修复方法二：手动转换换行符方法三：VSCode或其他编辑器手动改总结这个错误很常见，原因是你的wait_for_gpu.sh脚本文件格式不对，具体来说是Windows的CRLF换行符问题导致的，Linux下的bash无法正常解析。hadoop@hadoop:~/anaconda3$bashwait_for_gpu.sh:invalidopt
  • conda：一个当下最流行的Python虚拟环境工具 Wang_AI
    点击上方“AI派”，选择“设为星标”最新分享，第一时间送达！作者：LeonWang，现为中科院特别研究助理(博士后)，在AI、数据科学和科学计算等方面相关的工程实践上积累了丰富的经验。编辑：王老湿前面的文章中，为大家介绍过Python下的虚拟环境和包管理。在实际中，更为流行的是用Conda来管理Python环境。今天这篇文章就为大家介绍这方面的相关内容。Conda环境Conda简介Conda是目前
  • COMP 315: Cloud Computing for E-Commerce W_X_99515681 开发语言
    Assignment1:JavascriptCOMP315:CloudComputingforE-CommerceFebruary20251IntroductionAcommontaskwhenbackendprogrammingisdatacleaning,whichistheprocessoftakinganinitialdatasetthatmaycontainerroneousorinco
  • 【机器学习】朴素贝叶斯入门：从零到垃圾邮件过滤实战 吴师兄大模型 0基础实现机器学习入门到精通机器学习人工智能朴素贝叶斯深度学习pytorchsklearn开发语言
    Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
  • DeepSeek 如何处理多模态数据（如文本、图像、视频）？ 借雨醉东风 人工智能
    关注我，持续分享逻辑思维&管理思维&面试题；可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导；推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公众号、小程序，再到AI大模型网站。干货满满。学成后可接项目赚外快，绝对划算。不仅学会如何编程，还将学会如何将AI技术应用到实际问题中，为您的职业生涯增添一笔宝贵的财富
  • Anaconda常用命令汇总 y=520（2sinM-sin2M） python问题解决方案Anaconda包管理虚拟环境conda命令数据科学
    Anaconda常用命令汇总方便打印出来做成卡片，随时可以看，命令如下：####基本的包管理命令#查看conda的版本信息conda--versionconda-V#更新condacondaupdateconda#查看anaconda的配置信息condaconfig--show#更新anacondacondaupdateanaconda#查询conda信息condainfo#根据关键字key寻找安
  • Vue 中的日期格式化实践：从原生 Date 到可视化展示！！！ 小丁学Java 产品资质管理系统vue.js前端javascriptts
    Vue中的日期格式化实践：从原生Date到可视化展示在数据可视化场景中，日期时间的格式化显示是一个高频需求。本文将以一个邀请码关系树组件为例，深入解析Vue中日期格式化的核心方法、性能优化和最佳实践，并配合Mermaid流程图直观展示处理流程！一、️核心方法：原生Date对象处理代码实现privateformatDate(dateString:string|null):string{if(!dat
  • Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor yangshangchuan 信息抽取HtmlExtractor精准抽取信息采集
    HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。   HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。 如
  • java编程思想 -- 多态 百合不是茶 java多态详解
    一: 向上转型和向下转型 面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人    子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
  • [自动数据处理]稳扎稳打,逐步形成自有ADP系统体系 comsci dp
          对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....       首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
  • storm 自定义 日志文件 商人shang stormclusterlogback
    Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现： 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中   不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
  • Extjs3 SpringMVC使用 @RequestBody 标签问题记录 21jhf
    springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下： （由于使用了父类aaa
  • 一些排错方法 文强chu 方法
    1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o
  • Swing中文件恢复我觉得很难 小桔子 swing
           我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！        用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
  • php 文件操作 aichenglong PHP读取文件写入文件
    1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."
  • MySQL的btree索引和hash索引的区别 AILIKES 数据结构mysql算法
    Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。     可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
  • JAVA的抽象--- 接口 --实现 百合不是茶
    抽象 接口 实现接口   //抽象 类 ,方法   //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体 抽象的定义使用abstract   abstract class A 定义一个抽象类 例如： //定义一个基类 public abstract class A{     //抽象类不能用来实例化，只能用来继承 //
  • JS变量作用域实例 bijian1013 作用域
    <script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b);
  • TDD实践（二） bijian1013 javaTDD
    实践题目：分解质因数 Step1： 单元测试： package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.
  • [MongoDB学习笔记一]MongoDB主从复制 bit1129 mongodb
    MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。   事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式，需要指明
  • 【HBase五】Java API操作HBase bit1129 hbase
    import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha
  • python调用zabbix api接口实时展示数据 ronin47
    zabbix api接口来进行展示。经过思考之后，计划获取如下内容：     1、  获得认证密钥     2、  获取zabbix所有的主机组     3、  获取单个组下的所有主机     4、  获取某个主机下的所有监控项  
  • jsp取得绝对路径 byalias 绝对路径
    在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下： 一、使用${pageContext.request.contextPath} 　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
  • Java定时任务调度：用ExecutorService取代Timer bylijinnan java
    《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是： 如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
  • SQL 优化原则 chicony sql
    一、问题的提出 　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
  • java 线程弹球小游戏 CrazyMizzz java游戏
    最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善 这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse
  • hadoop jps出现process information unavailable提示解决办法 daizj hadoopjps
    hadoop jps出现process information unavailable提示解决办法   jps时出现如下信息： 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
  • PHP图片水印缩放类实现 dcj3sjt126com PHP
    <?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数，参数：背景图，水印图，位置，前缀,TMD透明度 public function water($b,$l,$pos
  • IOS控件学习：UILabel常用属性与用法 dcj3sjt126com iosUILabel
    参考网站： http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281
  • 完全手动建立maven骨架 eksliang javaeclipseWeb
    建一个 JAVA 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=web-a
  • 配置清单 gengzg 配置
    1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹 拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹 拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹，chm
  • Windows端口被占用处理方法 huqiji windows
    以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.        这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
  • 开源ckplayer 网页播放器， 跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！ 天梯梦 mobile
    CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格 式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
  • 简单工厂设计模式 hm4123660 java工厂设计模式简单工厂模式
           简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
  • maven笔记 zhb8015 maven
    跳过测试阶段： mvn package -DskipTests 临时性跳过测试代码的编译： mvn package -Dmaven.test.skip=true   maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。   指定测试类 mvn test
  • 非mapreduce生成Hfile，然后导入hbase当中 Stark_Summer maphbasereduceHfilepath实例
    最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
  • jsp web tomcat 编码问题 王新春 tomcatjsppageEncode
    今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性： <Connector port="8080" protocol="HTTP/1.1" connectionTi
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他