小乐快乐
小乐快乐

【mindspore训练】modelzoo-resnet50模型训练后验证

【版本信息】

  docker镜像：版本：22.0.RC1。

地址：https://ascendhub.huawei.com/#/detail/infer-modelzoo

【操作步骤&问题现象】

1.昇腾社区链接：https://www.hiascend.com/zh/software/modelzoo/models/detail/C/ea8c34895d1b4697b3f1e940da1e97d2

2、按照readme指导进行分布式训练，epoch：90训练中没有报错。后面进行验证。

bash run_eval.sh [MODEL_TYPE] [DATASET_TYPE] [DATASET_PATH] [CHECKPOINT_PATH]

指令：bash run_eval.sh resnet50 imagenet2012 /home/yyj/data/Imagenet_val/ /home/yyj/ResNet50_for_MindSpore_1.4_code/train/resnet-50_2502.ckpt

【截图信息】

【mindspore训练】modelzoo-resnet50模型训练后验证_第1张图片

 

报错原因是ImageFolderDataset读取数据失败，可以检查一下传入的数据路径是否格式正确。

参考路径：

https://gitee.com/mindspore/mindspore/blob/master/mindspore/python/mindspore/dataset/engine/datasets_vision.py 2280行

【mindspore训练】modelzoo-resnet50模型训练后验证_第2张图片

 

你可能感兴趣的:(人工智能,深度学习)

  • 基于YOLOv5的野生动物检测与监控系统：猫、狗、鸟、猴子、狮子、老虎、象的实时识别与分析 深度学习&目标检测实战项目 YOLO目标跟踪人工智能深度学习ui目标检测机器学习
    1.引言随着人工智能技术的飞速发展，尤其是深度学习在计算机视觉领域的突破，目标检测技术已广泛应用于各类场景。从城市交通监控到安防系统，再到野生动物保护和生态监测，目标检测技术为我们提供了实时、精确的解决方案。在众多目标检测算法中，YOLO（YouOnlyLookOnce）系列因其高效性和实时性，已成为解决多类别目标检测任务的首选方法。本文将介绍如何使用YOLOv5进行野生动物检测与监控，包括猫、狗
  • LLaMA Factory添加新模型template的实战解析 herosunly 大模型llamafactory新模型template实战解析
      大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
  • 《解锁万相2.1大模型：开启视频创作新世界》：此文为AI自动生成 空云风语 人工智能音视频人工智能
    《解锁万相2.1大模型：开启视频创作新世界》：此文为AI自动生成万相2.1大模型初印象在人工智能飞速发展的当下，大模型领域的每一次突破都备受瞩目。2025年2月25日晚间，阿里巴巴带来了一个令人振奋的消息：阿里云视频生成大模型万相2.1（Wan）正式开源。这一消息瞬间在AI圈引发了广泛关注，也让众多开发者和视频创作爱好者们对万相2.1充满了期待。万相2.1作为阿里云通义系列AI模型的重要成员，自发
  • 电商图书行业类目AI导购Agent系统详细设计与开发实战 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型LLM大模型落地实战指南计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍随着电子商务的蓬勃发展，图书行业也迎来了线上销售的黄金时代。然而，海量的图书种类、复杂的读者需求，使得用户在选购图书时常常面临选择困难。传统的搜索和推荐方式往往无法精准匹配用户的个性化需求，导致用户体验不佳，转化率低。为了解决这一痛点，AI导购Agent系统应运而生。该系统利用人工智能技术，模拟专业的图书导购员，为用户提供个性化的图书推荐和导购服务。通过深度学习、自然语言处理等技术，A
  • PyTorch数据加载：实战入门 秋‍. pytorch人工智能python数据加载
    "好的数据加载是成功训练的第一步"一、为什么要用DataLoader？当我们刚开始学习深度学习时，常常会这样处理数据：#传统方式加载数据images=[...]#所有图片数据labels=[...]#所有标签foriinrange(0,len(images),32):batch_images=images[i:i+32]batch_labels=labels[i:i+32]#训练代码...这种方式
  • 大模型技术：重塑未来的力量 每天五分钟玩转人工智能 人工智能机器学习深度学习大模型
    大模型技术之所以成为当今科技领域的热点，是因为它拥有改变游戏规则的能力。以ChatGPT为例，这款由OpenAI开发的大型语言模型，首次实现了基于语言的智能涌现，推动了通用人工智能的技术飞跃和快速进化。大模型通过强大的数据处理能力和广泛的适用性，极大地提升了生产力，改变了生产要素的构成。它不仅加速了信息处理的速度和精度，使得数据成为新的生产资料，提高了知识创造和应用的效率；还通过促进跨领域知识融合
  • 清华大学Deepseek第六版AIGC发展研究3.0（共186页，附PDF下载） xiecoding.cn AIGCdeepseek大模型deepseek清华大学deepseekdeepseek使用指南deepseek怎么用pdf
    人工智能生成内容（AIGC）正以前所未有的速度改变我们的生活。2024年底，清华大学新闻与传播学院与人工智能学院联合发布了《AIGC发展研究3.0版》，这份报告系统梳理了AIGC技术的突破性进展、应用场景及社会影响，并展望了未来的发展方向。《AIGC发展研究3.0版》PDF：https://pan.quark.cn/s/78f21d6c6b70本文将以通俗易懂的方式，带您了解这份报告的核心内容。一
  • 【人工智能】Embodied AI 技术解释：具身人工智能 AI天才研究院 ChatGPTDeepSeekR1&大数据AI人工智能大模型人工智能
    目录【人工智能】EmbodiedAI技术解释：具身人工智能WhatembodiedAIis？HowembodiedAIworks？BenefitsofembodiedAIWhat’snextforembodiedAI？【人工智能】EmbodiedAI技术解释：具身人工智能EquippingmobilesystemswithAIisdeliveringrobotsthatcanlearnmoreli
  • 全民AI入门清华大学 deepseek 从入门到精通 pdf 免费下载 宇飞林海 人工智能pdf
    DeepSeek是什么？AI+国产+免费+开源+强大•DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应用。•DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。下载地址：链接：https://pan.quark.cn/s/b2e0b986332a提取码：4XNy
  • 深度学习-136-LangGraph之应用实例(五)构建RAG问答系统同时从不同的角度对比优化效果 皮皮冰燃 深度学习深度学习人工智能LangGraphRAG
    文章目录1大语言模型2小粒度分割文档2.1处理文本构建Document2.2向量存储2.3创建图2.4测试调用3大粒度分割文档3.1构建Document3.2向量存储3.3创建图3.4测试调用4总结与优化4.1问题分析4.2对比不同的返回文档数4.3对比不同的嵌入模型4.3.1嵌入模型nomic-embed-text4.3.2嵌入模型bge-m34.4对比不同的大模型4.4.1大模型qwen2:7
  • 56、深度学习-自学之路-自己搭建深度学习框架-17、关于为什么LSTM可以解决RNN的梯度爆炸和梯度消失的问题的解析。 小宇爱 深度学习-自学之路深度学习rnnlstm
    我的话太苍白，你们可以去哔哩哔哩上搜索一个"大白话讲解LSTM长短期记忆网络如何缓解梯度消失，手把手公式推导反向传播”不仅仅解释了为什么，还把公式的推导也给了出来。讲的已经非常好了。还可以看一下他的专辑内容，其中有RNN，LSTM,GRU的详细解释。比我说的好。
  • 卷积神经网络（Convolutional Neural Network，CNN）详细解释（带示例） 浪九天 人工智能理论人工智能神经网络深度学习机器学习
    目录卷积神经网络示例Python案例代码解释卷积神经网络概述：卷积神经网络是一种专门为处理具有网格结构数据（如图像、音频）而设计的深度学习模型。它通过卷积层、池化层和全连接层等组件，自动提取数据的特征，大大减少了模型的参数数量，降低计算量，同时提高了模型的泛化能力。主要组件卷积层：是CNN的核心组件，由多个卷积核组成。卷积核在数据上滑动，通过卷积操作提取数据的局部特征。卷积操作是将卷积核与数据的局
  • 北京大学：2本手册，拓展AI应用深度与广度 2501_90766876 pdf
    《DeepSeek与AIGC应用》对DeepSeek-R1进行了详细解读，包括其技术特性、发展历程、应用场景以及在AIGC（人工智能生成内容）领域的定位。深入剖析DeepSeek-R1在复杂逻辑推理、数学和编程任务中的优异表现，揭示其在推理密集型任务、教育、科研、知识应用和文档分析等领域的独特优势，为AIGC领域的从业者和爱好者提供了深入了解DeepSeek的窗口。《DeepSeek提示词工程和落
  • 如何学习训练大模型——100条建议（附详细说明）_如何训练自己的大模型_大模型如何训练 大耳朵爱学习 人工智能语言模型产品经理大模型AI大模型
    摘要：通过深入了解本文中的这些细节，并在实际项目中应用相关知识，将能够更好地理解和利用大模型的潜力，不仅在学术研究中，也在工程实践中。通过不断探索新方法、参与项目和保持热情，并将其应用于各种领域，从自然语言处理到计算机视觉和自动驾驶。通过不断学习、实践和探索，可以不断提升自己在深度学习领域的技能和洞察力，同时也能为社会和行业带来创新和改进。从小规模的项目和模型开始，逐渐迭代和扩展到更大的模型，逐步
  • Transformer模型详解 Yuki-^_^ Transformer模型详解人工智能transformer深度学习人工智能
    导读Transformer在许多的人工智能领域，如自然语言处理(NaturalLanguageProcessing,NLP)、计算机视觉(ComputerVision,CV)和语音处理(SpeechProcessing,SP)取得了巨大的成功。因此，自然而然的也吸引了许多工业界和学术界的研究人员的兴趣。到目前为止，已经提出了大量基于Transformer的相关工作和综述。本文基于邱锡鹏[1]老师近
  • AIGC从入门到实战：探秘：ChatGPT 到底是什么 AI天才研究院 计算AI大模型企业级应用开发实战ChatGPT计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍1.1人工智能的浪潮近年来，人工智能(AI)发展迅猛，其应用已深入到各个领域，从自动驾驶汽车到智能家居，再到医疗诊断，AI正在改变我们的生活方式。其中，自然语言处理(NLP)作为AI的重要分支，近年来取得了显著进展，而AIGC(AI-GeneratedContent)正是NLP领域的一颗璀璨明珠。1.2AIGC的兴起AIGC指的是利用AI技术自动生成内容，包括文本、图像、音频、视频等。
  • DeepSeek在地铁应急响应与处理中的具体实现方案，包括技术架构、功能实现和代码示例： 人工智能专属驿站 架构计算机视觉
    以下是关于DeepSeek在地铁应急响应与处理中的具体实现方案，包括技术架构、功能实现和代码示例：1.事件检测与预警技术实现：视频监控与传感器数据融合：利用地铁站内的视频监控系统和传感器（如烟雾传感器、压力传感器）实时采集数据。通过深度学习算法（如目标检测和行为识别）对视频流进行分析，结合传感器数据，快速识别突发事件。自动警报触发：一旦检测到异常事件（如火灾、拥挤踩踏），系统立即通过预设的警报机制
  • 使用深度学习模型U-Net进行训练基于哨兵2的作物分割数据集。PyTorch框架为例，如何构建和训练U-Net模型来完成基于哨兵2的作物分割检测 计算机C9硕士_算法工程师 分割数据深度学习pytorch人工智能
    使用深度学习模型如U-Net进行训练基于哨兵2的作物分割。PyTorch框架为例，如何构建和训练U-Net模型来完成基于哨兵2的作物分割检测基于哨兵2的作物分割，共18种作物类型（背景，草地，软冬小麦，玉米，冬季大麦，冬季油菜，春季大麦，向日葵，葡萄藤，甜菜，冬季小黑麦，冬季硬质小麦，水果、蔬菜、花卉，土豆，豆科饲料，大豆，果园，混合谷物，高粱），38到61个不同时间段同一位置10通道多光谱图像，
  • C# 牵手DeepSeek：打造本地AI超能力 步、步、为营 c#人工智能开发语言
    一、引言在人工智能飞速发展的当下，大语言模型如DeepSeek正掀起新一轮的技术变革浪潮，为自然语言处理领域带来了诸多创新应用。随着数据隐私和安全意识的提升，以及对模型部署灵活性的追求，本地部署DeepSeek成为众多开发者和企业关注的焦点。对于C#开发者而言，将DeepSeek模型本地部署并集成到C#项目中，不仅能充分发挥C#语言在Windows平台开发的优势，还能实现高度定制化的人工智能应用，
  • matlab连接散射点,使用小波散射做信号分类 死月絲卡蕾特 matlab连接散射点
    在时间序列信号的深度学习第二部分，我们将介绍一下怎样使用小波散射做信号分类。本视频将分为两部分。第一部分中我们已经简单介绍一下深度学习，包括它的概念和工作流程等。并且我们演示了如何用时频变换，和基于卷积神经网络的迁移学习来做心电图信号的分类。第二部分中我们将首先介绍什么是小波散射，之后将聚焦在怎样使用小波散射技术也就是不变散射卷积网络做自动特征提取，和使用长短期记忆网络也就是LSTM(LongSh
  • 周志华机器学习西瓜书 第五章 神经网络-学习笔记(超详细) Sodas（填坑中....） 周志华西瓜书——详细笔记附例题图解机器学习神经网络学习人工智能数据挖掘算法
    在机器学习中，神经网络一般指的是"神经网络学习"，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用的最广泛的一个定义是"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体做出交互反应"。神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助
  • 注意力机制：让机器学会“挑重点” 人工智能计算机视觉
    注意力机制：让机器学会“挑重点”前言在日常生活中，我们总是无意识地选择性地关注某些信息，而忽略其他部分。比如，听音乐时，我们可能会更关注旋律或歌词；阅读文章时，我们会优先留意标题和核心观点。这种“选择性关注”的能力，正是注意力机制的核心思想。而在人工智能领域，注意力机制则是一种让机器在处理大量数据时，能够自动识别并聚焦于关键信息的技术。注意力机制的工作原理注意力机制的工作流程可以简化为三个主要步骤
  • Matlab 大量接单 matlabgoodboy matlab开发语言
    分享一个matlab接私活、兼职的平台1、技术方向满足任一即可2、技术要求3、最后技术方向满足即可MATLAB：熟练掌握MATLAB编程语言，能够使用MATLAB进行数据处理、机器学习和深度学习等相关工作。机器学习、深度学习、强化学习、仿真、复现、算法、神经网络、建模、图像识别、数据挖掘、数据获取、爬虫、数据分析、目标检测、算法创新、因子分析、相关分析、方差分析、判别分析、方程分析、线性回归、中介
  • AI数据分析：用DeepSeek做数据清洗 atbigapp.com 数据分析大模型应用AI工具人工智能数据分析数据挖掘deepseekprompt
    在当今数据驱动的时代，数据分析已成为企业和个人决策的重要工具。随着人工智能技术的快速发展，AI驱动的数据分析工具正在改变我们处理和分析数据的方式。本文将着重介绍如何使用DeepSeek进行数据清洗。数据清洗是数据分析的基础，其目的是确保数据的准确性、完整性和一致性。常见的数据问题包括：缺失值：数据中的某些字段为空。重复值：数据中存在重复记录。异常值：数据中存在明显偏离正常范围的数值。不一致性：数据
  • 百度搜索语法 羊羊一洋 百度
    百度搜索作为中国最大的搜索引擎，其搜索语法与谷歌搜索类似，但也有一些特有的功能。以下是一些基本的百度搜索语法：1.双引号(`""`)：用来搜索精确的短语或句子。例如，搜索`"人工智能"`会找到包含完整短语"人工智能"的结果。2.减号(-)：用来排除搜索结果中的特定词汇。例如，搜索`手机-iphone`会找到包含"手机"但不包含"iphone"的结果。3.加号(+)：用来确保搜索结果中包含特定的词汇
  • 如何在VSCode中使用OpenAI WeiLai1112 DeepSeekvscodeide编辑器
    如何在VSCode中使用OpenAI：从集成到应用场景详解人工智能（AI）正在改变软件开发的方式，而OpenAI提供的强大模型可以帮助开发者提升编码效率、优化工作流并自动化繁琐任务。本文将详细介绍如何在VSCode（VisualStudioCode）中使用OpenAI，集成后可以做哪些事情，以及如何充分发挥OpenAI的能力来提高生产力。1.在VSCode中使用OpenAI，可以做什么？将Open
  • 深度学习五大模型：CNN、Transformer、BERT、RNN、GAN解析 大模型_学习路线 深度学习cnntransformer人工智能AI大模型大模型LLM
    今天探讨它们各自适用的场景，让您知道在何种情况下选择何种模型；同时分析它们的优势与局限，助您全面评估这些模型的性能。一、卷积神经网络（ConvolutionalNeuralNetwork,CNN）原理：CNN主要由卷积层、池化层和全连接层组成。卷积层通过卷积核在输入数据上进行卷积运算，提取局部特征；池化层则对特征图进行下采样，降低特征维度，同时保留主要特征；全连接层将特征图展开为一维向量，并进行分
  • 清华出版 | DeepSeek使用手册（全） 艾思科蓝 AiScholar 人工智能（AI）系列人工智能大数据ai机器人AI编程AI写作算法
    在科技迅猛发展的今天，人工智能技术正逐渐渗透到我们生活的每一个角落。清华大学新闻与传播学院-新媒体研究中心-元宇宙文化实验室团队最近发布了一份详尽的DeepSeek使用手册，该手册长达104页，堪称国产AI工具深度使用的标杆指南。这份教程不仅适合新手快速掌握基础操作，也为进阶用户提供了系统性方法论。免费领取104页【清华大学-DeepSeek使用手册】以下是主要内容及要点：一、DeepSeek概述
  • Slurm作业调度系统常见操作（使用超算运行深度学习） 坐在云朵上的kiwi 工程项目#deeplearning深度学习服务器
    1.传输下载文件sftp远程命令cd,pwd等，本地命令lcd,lpwdget远程地址本地地址put本地地址远程地址上传文件夹1.在远程建立和本地一样名称的文件夹如data/2.put-rdata/2.建立虚拟环境moduleloadpython/3.8#加载modulevirtualenv--no-downloadENV#建立一个叫ENV的虚拟环境激活虚拟环境sourceENV/bin/acti
  • 13个优秀的AI人工智能工具软件导航网站推荐 m0_68282957 人工智能搜索引擎百度
    人工智能（AI）是现在科技领域的热门话题，它不仅改变了我们的生活方式，也催生了许多创新的工具和应用。AI工具可以帮助我们完成各种任务，如绘画、编程、视频制作、语音合成等，让我们的工作和娱乐更加高效和有趣。但是，面对琳琅满目的AI工具，你是否感到困惑和无从下手？你是否想要找到一个方便快捷的方式，来了解和使用各种AI工具？本文就来为大家推荐几个优秀的AI工具导航网站，让你一站式地发现和体验最新最实用的
  • java的(PO,VO,TO,BO,DAO,POJO) Cb123456 VOTOBOPOJODAO
    转: http://www.cnblogs.com/yxnchinahlj/archive/2012/02/24/2366110.html   -------------------------------------------------------------------  O/R Mapping 是 Object Relational Mapping（对象关系映
  • spring ioc原理（看完后大家可以自己写一个spring） aijuans spring
             最近，买了本Spring入门书：spring In Action 。大致浏览了下感觉还不错。就是入门了点。Manning的书还是不错的，我虽然不像哪些只看Manning书的人那样专注于Manning,但怀着崇敬 的心情和激情通览了一遍。又一次接受了IOC 、DI、AOP等Spring核心概念。 先就IOC和DI谈一点我的看法。IO
  • MyEclipse 2014中Customize Persperctive设置无效的解决方法 Kai_Ge MyEclipse2014
    高高兴兴下载个MyEclipse2014，发现工具条上多了个手机开发的按钮，心生不爽就想弄掉他！ 结果发现Customize Persperctive失效！！ 有说更新下就好了，可是国内Myeclipse访问不了，何谈更新... so~这里提供了更新后的一下jar包，给大家使用！ 1、将9个jar复制到myeclipse安装目录\plugins中 2、删除和这9个jar同包名但是版本号较
  • SpringMvc上传 120153216 springMVC
      @RequestMapping(value = WebUrlConstant.UPLOADFILE) @ResponseBody public Map<String, Object> uploadFile(HttpServletRequest request,HttpServletResponse httpresponse) { try { //
  • Javascript----HTML DOM 事件 何必如此 JavaScripthtmlWeb
    HTML DOM 事件允许Javascript在HTML文档元素中注册不同事件处理程序。 事件通常与函数结合使用，函数不会在事件发生前被执行！ 注：DOM： 指明使用的 DOM 属性级别。 1.鼠标事件 属性               
  • 动态绑定和删除onclick事件 357029540 JavaScriptjquery
    因为对JQUERY和JS的动态绑定事件的不熟悉，今天花了好久的时间才把动态绑定和删除onclick事件搞定!现在分享下我的过程。      在我的查询页面，我将我的onclick事件绑定到了tr标签上同时传入当前行(this值)参数，这样可以在点击行上的任意地方时可以选中checkbox，但是在我的某一列上也有一个onclick事件是用于下载附件的，当
  • HttpClient|HttpClient请求详解 7454103 apache应用服务器网络协议网络应用Security
    HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需
  • 递归 逐层统计树形结构数据 darkranger 数据结构
    将集合递归获取树形结构: /** * * 递归获取数据 * @param alist:所有分类 * @param subjname:对应统计的项目名称 * @param pk:对应项目主键 * @param reportList: 最后统计的结果集 * @param count:项目级别 */ public void getReportVO(Arr
  • 访问WEB-INF下使用frameset标签页面出错的原因 aijuans struts2
    <frameset rows="61,*,24" cols="*" framespacing="0" frameborder="no" border="0">        
  • MAVEN常用命令 avords
    Maven库： http://repo2.maven.org/maven2/ Maven依赖查询： http://mvnrepository.com/ Maven常用命令： 1. 创建Maven的普通java项目：    mvn archetype:create    -DgroupId=packageName 
  • PHP如果自带一个小型的web服务器就好了 houxinyou apache应用服务器WebPHP脚本
    最近单位用PHP做网站，感觉PHP挺好的，不过有一些地方不太习惯，比如，环境搭建。PHP本身就是一个网站后台脚本，但用PHP做程序时还要下载apache，配置起来也不太很方便，虽然有好多配置好的apache+php+mysq的环境，但用起来总是心里不太舒服，因为我要的只是一个开发环境，如果是真实的运行环境，下个apahe也无所谓，但只是一个开发环境，总有一种杀鸡用牛刀的感觉。如果php自己的程序中
  • NoSQL数据库之Redis数据库管理(list类型) bijian1013 redis数据库NoSQL
    3.list类型及操作         List是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等，操作key理解为链表的名字。Redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push、pop操作从链表的头部或者尾部添加删除元素，这样list既可以作为栈，又可以作为队列。   &nbs
  • 谁在用Hadoop？ bingyingao hadoop数据挖掘公司应用场景
    Hadoop技术的应用已经十分广泛了，而我是最近才开始对它有所了解，它在大数据领域的出色表现也让我产生了兴趣。浏览了他的官网，其中有一个页面专门介绍目前世界上有哪些公司在用Hadoop，这些公司涵盖各行各业，不乏一些大公司如alibaba,ebay,amazon,google,facebook,adobe等，主要用于日志分析、数据挖掘、机器学习、构建索引、业务报表等场景,这更加激发了学习它的热情。
  • 【Spark七十六】Spark计算结果存到MySQL bit1129 mysql
    package spark.examples.db import java.sql.{PreparedStatement, Connection, DriverManager} import com.mysql.jdbc.Driver import org.apache.spark.{SparkContext, SparkConf} object SparkMySQLInteg
  • Scala: JVM上的函数编程 bookjovi scalaerlanghaskell
        说Scala是JVM上的函数编程一点也不为过，Scala把面向对象和函数型编程这两种主流编程范式结合了起来，对于熟悉各种编程范式的人而言Scala并没有带来太多革新的编程思想，scala主要的有点在于Java庞大的package优势，这样也就弥补了JVM平台上函数型编程的缺失，MS家.net上已经有了F#，JVM怎么能不跟上呢？     对本人而言
  • jar打成exe bro_feng java jar exe
    今天要把jar包打成exe，jsmooth和exe4j都用了。 遇见几个问题。记录一下。 两个软件都很好使，网上都有图片教程，都挺不错。 首先肯定是要用自己的jre的，不然不能通用，其次别忘了把需要的lib放到classPath中。 困扰我很久的一个问题是，我自己打包成功后，在一个同事的没有装jdk的电脑上运行，就是不行，报错jvm.dll为无效的windows映像，如截图 最后发现
  • 读《研磨设计模式》-代码笔记-策略模式-Strategy bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* 策略模式定义了一系列的算法，并将每一个算法封装起来，而且使它们还可以相互替换。策略模式让算法独立于使用它的客户而独立变化 简单理解： 1、将不同的策略提炼出一个共同接口。这是容易的，因为不同的策略，只是算法不同，需要传递的参数
  • cmd命令值cvfM命令 chenyu19891124 cmd
         cmd命令还真是强大啊。今天发现jar -cvfM aa.rar @aaalist 就这行命令可以根据aaalist取出相应的文件   例如：      在d：\workspace\prpall\test.java 有这样一个文件，现在想要将这个文件打成一个包。运行如下命令即可比如在d：\wor
  • OpenJWeb(1.8) Java Web应用快速开发平台 comsci java框架Web项目管理企业应用
        OpenJWeb(1.8) Java Web应用快速开发平台的作者是我们技术联盟的成员，他最近推出了新版本的快速应用开发平台  OpenJWeb(1.8)，我帮他做做宣传   OpenJWeb快速开发平台以快速开发为核心，整合先进的java 开源框架，本着自主开发+应用集成相结合的原则，旨在为政府、企事业单位、软件公司等平台用户提供一个架构透
  • Python 报错：IndentationError: unexpected indent daizj pythontab空格缩进
        IndentationError: unexpected indent 是缩进的问题，也有可能是tab和空格混用啦     Python开发者有意让违反了缩进规则的程序不能通过编译，以此来强制程序员养成良好的编程习惯。并且在Python语言里，缩进而非花括号或者某种关键字，被用于表示语句块的开始和退出。增加缩进表示语句块的开
  • HttpClient 超时设置 dongwei_6688 httpclient
    HttpClient中的超时设置包含两个部分： 1. 建立连接超时，是指在httpclient客户端和服务器端建立连接过程中允许的最大等待时间 2. 读取数据超时，是指在建立连接后，等待读取服务器端的响应数据时允许的最大等待时间   在HttpClient 4.x中如下设置：   HttpClient httpclient = new DefaultHttpC
  • 小鱼与波浪 dcj3sjt126com
    一条小鱼游出水面看蓝天，偶然间遇到了波浪。　　小鱼便与波浪在海面上游戏，随着波浪上下起伏、汹涌前进。　　小鱼在波浪里兴奋得大叫：“你每天都过着这么刺激的生活吗？简直太棒了。”　　波浪说：“岂只每天过这样的生活，几乎每一刻都这么刺激！还有更刺激的，要有潮汐变化，或者狂风暴雨，那才是兴奋得心脏都会跳出来。”　　小鱼说：“真希望我也能变成一个波浪，每天随着风雨、潮汐流动，不知道有多么好！”　　很快，小鱼
  • Error Code: 1175 You are using safe update mode and you tried to update a table dcj3sjt126com mysql
    快速高效用：SET SQL_SAFE_UPDATES = 0；下面的就不要看了！ 今日用MySQL Workbench进行数据库的管理更新时，执行一个更新的语句碰到以下错误提示： Error Code: 1175 You are using safe update mode and you tried to update a table without a WHERE that
  • 枚举类型详细介绍及方法定义 gaomysion enumjavaee
    转发 http://developer.51cto.com/art/201107/275031.htm 枚举其实就是一种类型，跟int, char 这种差不多，就是定义变量时限制输入的，你只能够赋enum里面规定的值。建议大家可以看看，这两篇文章，《java枚举类型入门》和《C++的中的结构体和枚举》，供大家参考。 枚举类型是JDK5.0的新特征。Sun引进了一个全新的关键字enum
  • Merge Sorted Array hcx2013 array
    Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array. Note:You may assume that nums1 has enough space (size that is
  • Expression Language 3.0新特性 jinnianshilongnian el 3.0
    Expression Language 3.0表达式语言规范最终版从2013-4-29发布到现在已经非常久的时间了；目前如Tomcat 8、Jetty 9、GlasshFish 4已经支持EL 3.0。新特性包括：如字符串拼接操作符、赋值、分号操作符、对象方法调用、Lambda表达式、静态字段/方法调用、构造器调用、Java8集合操作。目前Glassfish 4/Jetty实现最好，对大多数新特性
  • 超越算法来看待个性化推荐 liyonghui160com 超越算法来看待个性化推荐
             一提到个性化推荐，大家一般会想到协同过滤、文本相似等推荐算法，或是更高阶的模型推荐算法，百度的张栋说过，推荐40%取决于UI、30%取决于数据、20%取决于背景知识，虽然本人不是很认同这种比例，但推荐系统中，推荐算法起的作用起的作用是非常有限的。       就像任何
  • 写给Javascript初学者的小小建议 pda158 JavaScript
    　　一般初学JavaScript的时候最头痛的就是浏览器兼容问题。在Firefox下面好好的代码放到IE就不能显示了，又或者是在IE能正常显示的代码在firefox又报错了。 　　如果你正初学JavaScript并有着一样的处境的话建议你：初学JavaScript的时候无视DOM和BOM的兼容性，将更多的时间花在 了解语言本身（ECMAScript）。只在特定浏览器编写代码（Chrome/Fi
  • Java 枚举 ShihLei javaenum枚举
    注：文章内容大量借鉴使用网上的资料，可惜没有记录参考地址，只能再传对作者说声抱歉并表示感谢！   一 基础 1）语法      枚举类型只能有私有构造器（这样做可以保证客户代码没有办法新建一个enum的实例）      枚举实例必须最先定义 2）特性     &nb
  • Java SE 6 HotSpot虚拟机的垃圾回收机制 uuhorse javaHotSpotGC垃圾回收VM
    官方资料，关于Java SE 6 HotSpot虚拟机的garbage Collection，非常全，英文。 http://www.oracle.com/technetwork/java/javase/gc-tuning-6-140523.html   Java SE 6 HotSpot[tm] Virtual Machine Garbage Collection Tuning &
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他