夜是故乡明
夜是故乡明

机器学习路线

学校内的实训项目正式开始了，本次项目我们选择的是城市房价分析系统，采用Scrum敏捷开发。
作为项目经理，我要规划和控制整个项目的质量和进度。由此，也进一步加强了规划我以后学习、工作和生活的意愿。

目标：阿里公司的机器学习/视觉算法岗

先获得明年阿里算法岗的暑假实习，再争取转正。

机器学习路线

机器学习相关概念
  机器学习常见问题
    分类问题
    回归问题
    强化学习问题
    聚类问题

  机器学习解决问题的思路
    特征工程
    目标函数
    评估函数
    模型

编程基础
  Offline
    shell(linux)
    python
      基本语法
        廖雪峰Python3学习教程
      pipenv(简单理解为pip+virtualenv合体)
      numpy
      pandas
      sklearn
  Online
    Java
    C++

机器学习基础
  数学基础
    微积分
      梯度下降法

    线性代数
       矩阵运算

    概率论与数理统计
      最大似然估计

    凸优化

    信息论
      熵

  LR模型

机器学习模型
  传统机器学习算法
    树模型
    贝叶斯模型

  深度学习
    FNN
    RNN
    CNN

项目实战
  大数据工具
    Hadoop
    HBase
    Hive
    Spark

  机器学习工具
    TensorFlow
     官网教程:https://tensorflow.google.cn/
    PyTorch
    XGBoost

  项目
    自然语言处理
      垃圾短信识别
      序列标注

    图像处理
      ImageNet
    ImageNet竞赛2017是最后一届，WebVision竞赛或接棒
      Fashion-Mnist
      mnist->Fashion-Mnist
  论文
    经典论文阅读

  github源码
   微软收购了github，可以免费搭建四个人的私库。

机器学习工程师（第6期）.png

我的整体学习路线

  1. 先了解机器学习常见问题和解决问题的思路
  2. offline Python学习numpy, pandas, sklearn库
  3. online Java刷《剑指offer》和leetcode
  4. tensorflow官方教程
  5. 传统机器学习模型：lr
  6. 深度学习模型：fnn, rnn, cnn
  7. kaggel比赛
  8. 经典论文
  9. github
  10. 查看阿里机器学习暑假实习要求，投简历。

你可能感兴趣的:(机器学习路线)

  • 【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向 努力学习的大大 学术会议推荐人工智能大数据深度学习神经网络
    【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向文章目录【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向2025
  • 激光线扫标定和相机标定：中高级C++程序员与计算机视觉工程师的指南 m0_57781768 数码相机c++计算机视觉
    激光线扫标定和相机标定：中高级C++程序员与计算机视觉工程师的指南简介在计算机视觉和机器人领域，激光标定和相机标定是实现高精度测量和检测的关键技术。激光线扫标定和相机标定在许多应用中都是必不可少的，如自动驾驶、工业检测、三维重建等。本文将详细介绍激光线扫标定和相机标定的基本概念、实现细节以及常见问题的解决方案。目标读者为中高级C++程序员和计算机视觉工程师，文章将提供详细的技术细节和代码示例，确保
  • Python数据分析案例教程 kkchenjj 数据挖掘python数据分析信息可视化
    Python数据分析案例教程Python在数据分析中的应用Python因其简洁的语法、强大的库支持以及广泛的社区资源，已成为数据分析领域的首选语言。它能够处理从数据清洗、数据可视化到机器学习模型构建的整个数据科学流程。本节将深入探讨Python在数据分析中的具体应用，包括但不限于数据清洗、数据探索、统计分析和预测建模。数据清洗数据清洗是数据分析的首要步骤，涉及处理缺失值、异常值、重复数据以及数据类
  • 2025数学建模美赛B题完整建模思路——管理可持续旅游业 鹿鹿数模 数学建模
    2025MCM问题B：管理可持续旅游业以下是我们对该题目的赛题分析，由于完整内容过长，因此在此处放出部分内容，欢迎从文末小卡片处加群获取。赛题分析以下内容包括三个主要部分：(1)题目的中文翻译(2)对题目的整体分析与思路综述(3)对题目要求的逐项详细分析与求解思路。本文的撰写将综合运用多元的数学模型、算法以及机器学习/深度学习的方法，并在必要时给出题外假设与可行的创新性思路，以期为参赛者提供较为系
  • 2025年全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽安全-黑客4148 网络安全web安全linux密码学CTFpythonddos
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
  • 智能运维分析决策系统：赋能数字化转型的智慧引擎 我的运维人生 运维运维开发技术共享
    智能运维分析决策系统：赋能数字化转型的智慧引擎在数字化转型的大潮中，企业运维管理正经历着从传统手动运维向智能化、自动化运维的深刻转变。智能运维分析决策系统（AIOps，ArtificialIntelligenceforITOperations）作为这一转变的核心驱动力，通过融合大数据、机器学习、人工智能等先进技术，实现了对运维数据的深度洞察与智能决策，极大地提升了运维效率与质量，为企业数字业务的连
  • 招聘 | 具身智能机器人方向全职作者 量子位
    关注前沿科技量子位未来同事你好。你知道“具身智能机器人”了吗？是否希望成为这个时代性技术和产品的长期报道者？现在，我们正在招聘这样一位专注于具身智能机器人方向的原创作者。岗位是全职，工作地点base：北京中关村。工作职责：1、关注具身智能领域新动态新进展；2、持续挖掘撰写具身智能独家原创内容；3、与具身智能领域玩家建立良好联系；4、构建体系化认知和行业洞察。岗位要求：1、对具身智能、前沿科技等科技
  • 招聘 | 具身智能机器人方向全职作者 量子位
    关注前沿科技量子位未来同事你好。你知道“具身智能机器人”了吗？是否希望成为这个时代性技术和产品的长期报道者？现在，我们正在招聘这样一位专注于具身智能机器人方向的原创作者。岗位是全职，工作地点base：北京中关村。工作职责：1、关注具身智能领域新动态新进展；2、持续挖掘撰写具身智能独家原创内容；3、与具身智能领域玩家建立良好联系；4、构建体系化认知和行业洞察。岗位要求：1、对具身智能、前沿科技等科技
  • Kmeans与KMedoids聚类对比以及python实现 呵呵爱吃菜 kmeans聚类python
    在机器学习领域，聚类算法是一种常用的无监督学习方法，用于将数据集中的样本划分为若干个簇，使得同一簇内的样本尽可能相似，而不同簇之间的样本尽可能不同。K-Means和K-Medoids是两种经典的聚类算法，它们都基于划分的思想，但在具体实现和应用场景上存在一些差异。一、算法原理1.K-Means:中心点选择:K-Means算法通过计算簇内所有样本的均值来确定中心点（centroid）。距离度量:通常
  • 网络安全态势感知：企业数字化转型的 “安全密钥” 知白守黑V 安全运营网络安全态势感知网络
    在数字经济飞速发展的当下，网络安全已经成为企业平稳运营的关键所在。从大型企业的数据泄露事故，到中小企业遭遇的各类网络攻击，网络安全威胁无处不在。而网络安全态势感知产品，作为应对复杂网络威胁的关键技术，正逐渐成为企业守护数字资产的“智慧大脑”。一、态势感知：全景掌控，精准防御你可以把网络安全态势感知想象成企业网络的“超级侦察兵”。它借助大数据分析、机器学习这些先进技术，就像是拥有了超级强大的“洞察力
  • python机器学习 方安乐 pythonpython机器学习人工智能
    Python机器学习是当前最为热门的机器学习领域之一，其简洁、易用、高效的特点，让越来越多的开发者开始探索其应用。本文将从以下几个方面介绍Python机器学习的基础知识和实践案例，帮助读者更好地理解和应用机器学习技术。前提Python机器学习的应用领域A.图像识别和计算机视觉B.自然语言处理和文本分析C.数据挖掘和推荐系统深度学习A.神经网络的基本原理B.常用的深度学习框架和算法C.深度学习在图像
  • 情感分析常见算法与模型及实现步骤 计算机软件程序设计 知识科普算法情感分析机器学习
    【1】常见算法与模型情感分析（SentimentAnalysis）是一种自然语言处理（NLP）技术，用于识别和提取文本中的主观信息，如情绪、态度和意见。常见的算法和模型包括以下几种：传统机器学习方法朴素贝叶斯（NaiveBayes）基于贝叶斯定理，假设特征之间相互独立。计算简单，适用于大规模数据集。常用于文本分类任务。支持向量机（SVM）通过寻找最优超平面来划分不同的类别。在高维空间中表现良好，适
  • mha mysql 两台机器_MySQL主从复制（8）MHA实现主从高可用 日签君AIUX mhamysql两台机器
    一、MHA介绍1、MHA的作用MHA是实现MySQL高可用的一种成熟解决方案，可以在主从故障时自动完成主从切换，切换速度在30-60秒，并且可以最大程度的去保持数据一致性。MHA由管理节点(Manager)和数据节点(Node)组成，一套MHAManager可以管理多套MySQL集群。当Manager发现MySQLMaster出现故障时自动将一个拥有最新数据的Slave提升为Master，并让另外
  • 2025-1-21-sklearn学习(43) 使用 scikit-learn 介绍机器学习 楼上阑干横斗柄，寒露人远鸡相应。 汤姆和佩琦 sklearn机器学习sklearn学习python人工智能scikit-learn
    文章目录sklearn学习(43)使用scikit-learn介绍机器学习43.1机器学习：问题设置43.2加载示例数据集43.3学习和预测43.4模型持久化43.4规定43.4.1类型转换43.4.2再次训练和更新参数43.4.3多分类与多标签拟合sklearn学习(43)使用scikit-learn介绍机器学习文章参考网站：https://sklearn.apachecn.org/和https
  • 通过Python编程语言实现“机器学习”小项目教程案例 胡萝卜不甜 机器学习python机器学习开发语言
    1.Python与机器学习概述1.1Python语言特点Python是一种广泛使用的高级编程语言，具有简洁、易读、易学的特点，这使得它成为初学者和专业人士的首选语言之一。简洁性：Python的语法简洁明了，减少了代码量，提高了开发效率。例如，与其他语言相比，Python可以用更少的代码实现相同的功能，这使得代码更容易编写和维护。易读性：Python的代码风格类似于英语，易于理解和阅读。这种易读性使
  • 星露谷模组开发教程#7 自定义机器 c#
    首发于Enaium的个人博客添加大型工艺品机器也算是大型工艺品，所以我们需要先添加它的大型工艺品。这里做一张16x32格式为png的图。if(e.Name.IsEquivalentTo("Data/BigCraftables")){e.Edit(assets=>{vardict=assets.AsDictionary();dict.Data["Awesome_Orearium"]=newBigCr
  • 参加【2025年春季】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽子凯哥 web安全学习安全CTF夺旗赛网络安全
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
  • 参加【2025年春季】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽子凯哥 web安全学习安全CTF夺旗赛网络安全
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
  • python json 用法 云连山 pythonpythonjson
    JSON简介JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式。它基于JavaScript的一个子集，易于人阅读和编写，同时也易于机器解析和生成。在Python中，使用json模块来处理JSON数据。JSON支持的数据类型主要有对象（在Python中类似于字典）、数组（在Python中类似于列表）、字符串、数字、布尔值和null。将Python对象转换为JSON
  • 浅谈 redis BigDeng_2014 工作redis数据库java
    redis特点：单进程多线程。主线程只有一个，还有两个副线程，用于文件和IO处理。可以集群部署，数据在各个机器上都有备份，挂了一台机器，可以从其他机器上找到数据。集群带来主从节点机制，一般至少需要3个节点来选举出主节点，也可以指定主节点。主从同步问题，会导致数据不一致。保证了分布式P和可用性A，牺牲了一致性C，可以保证最终一致性。比如数据恢复。把数据存放到内存，从内存查找数据比较快一些。有key-
  • 浅谈人群扩展（lookalike）模型 eso1983 算法
    Lookalike主要用于广告或者推荐系统中，找到与种子用户相似的人群。常用的算法应该包括协同过滤、基于标签的相似度计算，还有一些机器学习模型，比如逻辑回归、随机森林，以及深度学习的模型，比如DNN或者Embedding方法。这里简单介绍一下Lookalike人群扩展（相似人群扩展）中常用算法模型的解析，涵盖原理、数学公式、实现步骤、优缺点及适用场景。1.基于标签的相似度匹配原理通过用户标签（兴趣
  • Python 深度学习实战：生成对抗网络 AI天才研究院 深度学习实战AI实战AI大模型企业级应用开发实战大数据人工智能语言模型AILLMJavaPython架构设计AgentRPA
    1.背景介绍生成对抗网络（GenerativeAdversarialNetwork，GAN）是近年来较火热的深度学习模型之一，其在图像合成、视频生成、文本数据生成等领域均取得了不俗的效果。与传统的机器学习模型不同，GAN可以生成真实有效的数据，无需人工标注数据。它由两部分组成：生成器（Generator）和判别器（Discriminator）。生成器通过学习，根据噪声或随机变量（latentvar
  • 使用Dify搭建企业知识库聊天机器人 大模型产品经理 机器人人工智能语言模型算法自然语言处理面试
    本文简介在当今数字化时代，企业知识库的建设和维护对于提升工作效率和服务质量至关重要。AI聊天机器人作为知识库的交互界面，可以提供24/7的即时服务。本文将介绍如何使用Dify这一工具快速搭建企业知识库聊天机器人，它可以当你企业的职能客服，也可以做你企业内部培训的老师。相比起传统的“智能客服”，加入大语言模型后的AI客服能更清楚用户想问什么问题，在匹配你提供的知识库的内容进行回答，这样看上去会更懂用
  • LogicFlow 一款流程图编辑框架 小毛驴850 流程图
    LogicFlow是什么LogicFlow是一款流程图编辑框架，提供了一系列流程图交互、编辑所必需的功能和灵活的节点自定义、插件等拓展机制。LogicFlow支持前端自定义开发各种逻辑编排场景，如流程图、ER图、BPMN流程等。在工作审批流配置、机器人逻辑编排、无代码平台流程配置都有较好的应用。官方网站更多资料请查看LogicFlow系列文章特性可视化模型：通过LogicFlow提供的直观可视化界
  • 北工大计算机网络95分复习——【第五章 网络层】 秋千的千秋 北工大计算机网络95分复习计算机网络网络智能路由器
    Networklayer网络层：responsiblefordeliveringpacketsbetweenendpointsovermultiplelinks。负责通过多条链路在端点之间传递数据包。将数据包从源机器路由到目标机器。Hop跳：一个中间路由器。5.1网络层的设计问题P125交换——电路交换（电话网）、包交换/分组交换（数据交换网中的主流交换方式）5.1.1存储转发数据包交换
  • 【Lora微调】提高模型效率的创新方法 @fishv 人工智能大模型微调Lora
    前言在自然语言处理（NLP）和机器学习的研究和应用中，随着模型规模的不断扩大，模型训练的计算成本和存储需求也不断攀升。大型预训练模型，如GPT、BERT等，虽然在许多任务上表现出色，但它们的训练和微调通常需要巨大的计算资源，这使得许多研究者和开发者无法充分利用这些模型进行个性化或领域特定的调整。为了在保持模型性能的同时减少计算开销，**Lora（Low-RankAdaptation）**应运而生。
  • 16 分布式session和无状态的会话 40岁的系统架构师 分布式系统架构
    在我们传统的应用中session存储在服务端，减少服务端的查询压力。如果以集群的方式部署，用户登录的session存储在该次登录的服务器节点上，如果下次访问服务端的请求落到其他节点上就需要重新生成session，这样用户需要频繁的登录。nginx使用iphash的方式代理服务当nginx使用该方式代理请求转发时，相同ip的用户请求会落到相同的机器上，这样就可以避免了频繁的登录。该方式部署简单，在n
  • 2025年国内外AI大模型的API接口网址整理 weixin_56968280 人工智能语言模型
    本文将盘点国内外的知名度较高的AI大模型平台，其中包括AI大语言模型和AI多模态模型，方便大家一探究竟。AI大模型的api接口有哪些作用？智能写作：可以帮忙写文章、写小说、生成广告文案、起标题，还能改写文字让内容更吸引人。实时聊天：用于做聊天机器人，比如AI角色扮演、社交陪伴AI，甚至语音助手。知识问答：像百科一样快速回答各种问题，或者为特定领域（医疗、法律等）提供专业建议。教育学习：帮助学生做题
  • Corki：具身 AI 机器人的软硬件协同设计 硅谷秋水 大模型智能体计算机视觉人工智能机器人机器学习计算机视觉
    24年11月来自中科院大学、美团、深圳AI机器人研究院、天津大学和中科院计算所的论文“Software-HardwareCo-DesignForEmbodiedAIRobots”。具身AI机器人有可能从根本上改善人类的生活和生产方式。使用大语言模型控制机器人这一新兴领域的持续进步关键取决于高效的计算基础。特别是，当今具身AI机器人的计算系统纯粹基于算法开发人员的兴趣而设计，其中机器人动作被划分为一
  • 你知道吗？其实这些都是AI——智能聊天机器人 贫苦游商 人工智能机器人机器学习AIGC制造
    智能聊天机器人AI：优化用户体验的智能助手在现代的数字化生活中，智能聊天机器人已经成为许多中国社交平台上不可或缺的一部分。这些机器人通过人工智能技术的支持，为用户提供各种互动服务，从回答常见问题到提供个性化建议，极大地提升了用户体验和平台的服务质量。智能聊天机器人AI的核心在于其强大的自然语言处理能力。通过分析用户的输入文本，这些系统能够理解用户的意图，并生成相应的回复。例如，当用户在购物平台上询
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他