Mr_哲

基于MLR资讯多分类

针对海量资讯，通过机器学习实现多分类，从而减轻人工打标工作量，具有重要意义。

资讯分类可以拆解为两个问题：

文本分词，提取特征
多分类模型

针对文本分词，常见中文分词工具有：HanLP、ansj、jieba和fudannlp。这里选取HanLP。而多分类模型有逻辑回归（Logistic regression）、决策树（Decision tree classifier）、随机森林（Random forest classifier）、梯度提升决策树（Gradient-boosted tree classifier) 、多层感知分类器(Multilayer perceptron classifier）、支持向量机（Support Vector Machine）和朴素贝叶斯（Naive Bayes）等，这里选取简单易懂的逻辑回归，其他模型稍后再尝试。

一、环境

java 1.8.0_172+scala 2.11.8+spark.2.3.1+HanLP portable-1.6.8

依赖



    org.apache.spark
    spark-core_2.11
    2.3.1



    org.apache.spark
    spark-sql_2.11
    2.3.1



    org.apache.spark
    spark-hive_2.11
    2.3.1



    org.apache.spark
    spark-mllib_2.11
    2.3.1



    com.hankcs
    hanlp
    portable-1.6.8

二、流程设计

1. 数据

八爪鱼爬取人民网资讯(https://pan.baidu.com/s/1mEUZ0c-0ZOOkIkIo0KFd4w，密码mf59)，采集字段有：来源（source），正文（content），频道（tab），发布时间（created_time），标题（title）。其中有一些信息爬取不到，需要过滤。对于频道资讯较少的，模型没有办法得到足够训练，可以剔除。

2.特征

标签索引转换，文本分词，过滤停用词，关键词词频特征

3.多分类

MLR多分类训练

验证集评估

测试集评估

4.流程

三、代码实现

1.ETL

spark加载csv文件，并保留第一行标题。

val news = spark.read.format("CSV").option("header","true").load("/opt/data/peopleNews.csv")
news.show(1,false)

资讯格式如下：

+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+
|title |created_time |tab |content |source|
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+
|“中国-东盟智慧农业及食品产业创新发展项目对接会”在南宁举办|2018/9/13 19:07|财经 |“中国-东盟智慧农业及食品产业创新发展项目对接会”现场人民网北京9月13日电（记者李岩）今日，由商务部投资促进事务局、农业农村部对外经济合作中心、广西壮族自治区商务厅及广西国际博览事务局共同举办的“中国-东盟智慧农业及食品产业创新发展项目对接会”在广西南宁召开。据悉，作为第十五届中国-东盟博览会的重要活动之一，本次项目对接会以“引领中国-东盟农业及食品行业新机遇”为主题，通过政策解读、园区推介、企业路演等环节介绍区域内招商引资政策、发布重点项目信息，有效促进中国与东盟国家在农业及食品产业的投资合作。在本次中国-东盟智慧农业及食品产业创新发展项目对接会上，商务部投资促进事务局副局长李勇表示，商务部投资促进事务局积极利用现有资源和渠道，以产业为主线，需求为导向，建设跨境产业投资合作平台，力争打造一个满足投引资者需求、实现产业准确对接、确保海内外互动畅通的投资促进主渠道，为地方政府和企业提供专业化投资促进服务。就相关对接会的情况，广西壮族自治区商务厅厅长助理庄岩介绍称，中国-东盟自贸区自建设启动以来，充分发挥自身区位优势和资源优势，积极推进与东盟的农业合作，已取得一定成效。“十三五”以来，广西在东盟国家开展农业投资的企业数量累计71家，投资协议额累计18.9亿美元。对此，广西国际博览事务局副局长杨雁雁也在致辞中提到，近年来，中国与东盟的农业合作不断发展，农业技术交流频繁，双方农业合作正跨越空间限制，已实现“良性循环”。在接下来的主题演讲环节，农业农村部对外经济合作中心研究所副研究员姜晔以“中国-东盟农业投资合作前景展望”为主题发表了演讲，全面梳理了中国-东盟农业投资合作的特点和趋势，也就中国-东盟农业领域合作提出建议。在园区推介环节，陕西杨凌农业高新技术产业示范区、南宁经济技术开发区、新疆吉木乃边境经济合作区等7家国家级自贸区、经开区、边合区及3家境外农业合作示范区依次进行推介。园区代表们纷纷围绕园区招商引资政策、发展优势、相关配套设施及智慧农业及食品加工产业发展规划进行了重点介绍。在企业项目对接环节，北京智创工坊孵化器、盼盼食品集团南宁分公司、京东集团等企业进行了项目路演。参加推介的园区及企业与参会嘉宾进行了充分沟通，为下一步深入对接项目打下良好基础。据了解，本次项目对接会，包括地方政府、投资促进机构、研究机构、境内外企业、金融机构及主流媒体代表等共计百余人出席参加。产业转移中心(商务部上海基地)、中国电子商务协会、以及来自北京、上海、山东、广西、四川、辽宁、海南及新疆等地的机构及企业进行了深入对接并达成合作意向。此外，当日下午，投资促进局还组织30家有投资意向的企业及20余家园区、投资促进机构及媒体赴南宁经济技术开发区及广西特色农业产业园区考察，并进行了深入对接。?【1】【2】【3】 (责编：袁勃)|人民网 |
|河南一小学营养餐仅半碗无配菜面条?孩子泡水后才吃下 |2018/9/13 18:57|社会 |原标题：河南一小学营养餐仅半碗面教育厅回应：相关情况正在调查中 9月12日，微博一网友曝光河南某小学营养餐，仅半碗面条，与墙上规定菜单严重不符。封面新闻记者就此事咨询了河南省教育厅新闻办，工作人员表示目前尚不清楚相关情况，需要进一步请示领导后再调查。在曝光视频中，多名食堂的工作人员面前摆着盆无配菜的素面条，给排队取餐的孩子每人抓了一把。墙上的公示栏标注了教育局规定的当天菜品：鸡丁炒西葫芦、炒蒜薹及大米粥，还明确了每个配菜的克数。通过记者还观察到，不少孩子还选择将面条泡水后才吃下。 (责编：袁勃) |封面新闻 |
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+
only showing top 1 rows

筛选去除没有爬取到有效字段记录，并打印处理后个频道资讯的数量。

val peopleWebNews = news.filter(news("title").isNotNull && news("created_time").isNotNull && news("tab").isNotNull && news("content").isNotNull && news("source").isNotNull)
println("过滤完整资讯条数为：" + peopleWebNews.count())
println("各频道资讯条数为：")
peopleWebNews.groupBy("tab").count().show(false)

过滤完整资讯条数为：1146
各频道资讯条数为：
+------------------------------+-----+
|tab |count|
+------------------------------+-----+
|国际 |252 |
|澳新频道 |5 |
|军事 |46 |
|中国央企新闻网--权威发布中央企业，国资委，地方国企最新消息|2 |
|标签 |2 |
|日本频道 |17 |
|财经 |262 |
|人民网汽车 |1 |
|产经频道 |128 |
|人民网能源频道 |48 |
|金融 |29 |
|时政 |144 |
|法治 |77 |
|社会 |133 |
+------------------------------+-----+

可以看出，部分频道资讯数量较少，在分类建模时得不到足够训练。因此，剔除资讯量少的，保留国际、军事、财经、金融、时政、法制和社会频道。

val peopleNews = peopleWebNews.filter(peopleWebNews("tab").isin("国际","军事","财经","金融","时政","法制","社会"))

2.特征工程

2.1 频道索引转换

ml包StringIndexer将DataFrame字符串tab列转换为数值型label列，建立分类标签。

val indexer = new StringIndexer()
      .setInputCol("tab")
      .setOutputCol("label")
      .fit(peopleNews)

val indDF = indexer.transform(peopleNews)
indDF.groupBy("tab","label").count().show(false)
indDF.show(1,false)

+---+-----+-----+
|tab|label|count|
+---+-----+-----+
|财经 |0.0 |262 |
|时政 |2.0 |144 |
|金融 |5.0 |29 |
|军事 |4.0 |46 |
|社会 |3.0 |133 |
|国际 |1.0 |252 |
+---+-----+-----+

+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+
|title |created_time |tab |content |source|label|
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+
|“中国-东盟智慧农业及食品产业创新发展项目对接会”在南宁举办|2018/9/13 19:07|财经 |“中国-东盟智慧农业及食品产业创新发展项目对接会”现场人民网北京9月13日电（记者李岩）今日，由商务部投资促进事务局、农业农村部对外经济合作中心、广西壮族自治区商务厅及广西国际博览事务局共同举办的“中国-东盟智慧农业及食品产业创新发展项目对接会”在广西南宁召开。据悉，作为第十五届中国-东盟博览会的重要活动之一，本次项目对接会以“引领中国-东盟农业及食品行业新机遇”为主题，通过政策解读、园区推介、企业路演等环节介绍区域内招商引资政策、发布重点项目信息，有效促进中国与东盟国家在农业及食品产业的投资合作。在本次中国-东盟智慧农业及食品产业创新发展项目对接会上，商务部投资促进事务局副局长李勇表示，商务部投资促进事务局积极利用现有资源和渠道，以产业为主线，需求为导向，建设跨境产业投资合作平台，力争打造一个满足投引资者需求、实现产业准确对接、确保海内外互动畅通的投资促进主渠道，为地方政府和企业提供专业化投资促进服务。就相关对接会的情况，广西壮族自治区商务厅厅长助理庄岩介绍称，中国-东盟自贸区自建设启动以来，充分发挥自身区位优势和资源优势，积极推进与东盟的农业合作，已取得一定成效。“十三五”以来，广西在东盟国家开展农业投资的企业数量累计71家，投资协议额累计18.9亿美元。对此，广西国际博览事务局副局长杨雁雁也在致辞中提到，近年来，中国与东盟的农业合作不断发展，农业技术交流频繁，双方农业合作正跨越空间限制，已实现“良性循环”。在接下来的主题演讲环节，农业农村部对外经济合作中心研究所副研究员姜晔以“中国-东盟农业投资合作前景展望”为主题发表了演讲，全面梳理了中国-东盟农业投资合作的特点和趋势，也就中国-东盟农业领域合作提出建议。在园区推介环节，陕西杨凌农业高新技术产业示范区、南宁经济技术开发区、新疆吉木乃边境经济合作区等7家国家级自贸区、经开区、边合区及3家境外农业合作示范区依次进行推介。园区代表们纷纷围绕园区招商引资政策、发展优势、相关配套设施及智慧农业及食品加工产业发展规划进行了重点介绍。在企业项目对接环节，北京智创工坊孵化器、盼盼食品集团南宁分公司、京东集团等企业进行了项目路演。参加推介的园区及企业与参会嘉宾进行了充分沟通，为下一步深入对接项目打下良好基础。据了解，本次项目对接会，包括地方政府、投资促进机构、研究机构、境内外企业、金融机构及主流媒体代表等共计百余人出席参加。产业转移中心(商务部上海基地)、中国电子商务协会、以及来自北京、上海、山东、广西、四川、辽宁、海南及新疆等地的机构及企业进行了深入对接并达成合作意向。此外，当日下午，投资促进局还组织30家有投资意向的企业及20余家园区、投资促进机构及媒体赴南宁经济技术开发区及广西特色农业产业园区考察，并进行了深入对接。?【1】【2】【3】 (责编：袁勃)|人民网 |0.0 |
|河南一小学营养餐仅半碗无配菜面条?孩子泡水后才吃下 |2018/9/13 18:57|社会 |原标题：河南一小学营养餐仅半碗面教育厅回应：相关情况正在调查中 9月12日，微博一网友曝光河南某小学营养餐，仅半碗面条，与墙上规定菜单严重不符。封面新闻记者就此事咨询了河南省教育厅新闻办，工作人员表示目前尚不清楚相关情况，需要进一步请示领导后再调查。在曝光视频中，多名食堂的工作人员面前摆着盆无配菜的素面条，给排队取餐的孩子每人抓了一把。墙上的公示栏标注了教育局规定的当天菜品：鸡丁炒西葫芦、炒蒜薹及大米粥，还明确了每个配菜的克数。通过记者还观察到，不少孩子还选择将面条泡水后才吃下。 (责编：袁勃) |封面新闻 |3.0 |
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+

2.2 HanLP分词

调用HanLP自带分词CRFLexicalAnalyzer和NShortSegment方法，并实现序列化。

/**
    * HanLP分词
    * @param spark
    * @param uid
    */
  class Segmenter(spark:SparkSession,uid:String) extends Serializable {

    private var inputCol = ""
    private var outputCol = ""
    private var segmentType = "StandardTokenizer"
    private var enableNature = false

    def setInputCol(value:String):this.type = {
      this.inputCol = value
      this
    }

    def setOutputCol(value:String):this.type = {
      this.outputCol = value
      this
    }

    def setSegmentType(value:String):this.type = {
      this.segmentType = value
      this
    }

    def enableNature(value:Boolean):this.type = {
      this.enableNature = value
      this
    }

    def this(spark:SparkSession) = this(spark, Identifiable.randomUID("segment"))

    def transform(dataset: DataFrame) : DataFrame = {
      var segment : Segment = null
      segmentType match {
        case "NShortSegment" =>
          segment = new MyNShortSegment()
        case "CRFSegment" =>
          segment = new MyCRFLexicalAnalyzer()
        case _=>
      }

      val tokens = dataset.select(inputCol).rdd.map{ case Row(line:String) =>
        var terms: Seq[Term] = Seq()
        import collection.JavaConversions._
        segmentType match {
          case "StandardSegment" =>
            terms = StandardTokenizer.segment(line)
          case "NLPSegment" =>
            terms = NLPTokenizer.segment(line)
          case "IndexSegment" =>
            terms = IndexTokenizer.segment(line)
          case "SpeedSegment" =>
            terms = SpeedTokenizer.segment(line)
          case "NShortSegment" =>
            terms = segment.seg(line)
          case _=>
            println("分词类型错误！")
            System.exit(1)
        }

        val termSeq = terms.map(term =>
          if(this.enableNature) term.toString else term.word
        )
        (line, termSeq)
      }

      import spark.implicits._
      val tokensSet = tokens.toDF(inputCol + "#1", outputCol)

      dataset.join(tokensSet, dataset(inputCol) === tokensSet(inputCol + "#1")).drop(inputCol + "#1")
    }
  }

  /**
    * HanLP自定义分词方法，实现序列化
    */
  class MyCRFLexicalAnalyzer() extends CRFLexicalAnalyzer with Serializable{}
  class MyNShortSegment() extends NShortSegment with Serializable{}

主函数调用，如下

    val segmenter = new Segmenter(spark)
      .setSegmentType("StandardSegment")
      .enableNature(false)
      .setInputCol("content")
      .setOutputCol("tokens")

    val segDF = segmenter.transform(indDF)
    segDF.show(1,false)

+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|title |created_time |tab |content |source|label|tokens |
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|“中国-东盟智慧农业及食品产业创新发展项目对接会”在南宁举办|2018/9/13 19:07|财经 |“中国-东盟智慧农业及食品产业创新发展项目对接会”现场人民网北京9月13日电（记者李岩）今日，由商务部投资促进事务局、农业农村部对外经济合作中心、广西壮族自治区商务厅及广西国际博览事务局共同举办的“中国-东盟智慧农业及食品产业创新发展项目对接会”在广西南宁召开。据悉，作为第十五届中国-东盟博览会的重要活动之一，本次项目对接会以“引领中国-东盟农业及食品行业新机遇”为主题，通过政策解读、园区推介、企业路演等环节介绍区域内招商引资政策、发布重点项目信息，有效促进中国与东盟国家在农业及食品产业的投资合作。在本次中国-东盟智慧农业及食品产业创新发展项目对接会上，商务部投资促进事务局副局长李勇表示，商务部投资促进事务局积极利用现有资源和渠道，以产业为主线，需求为导向，建设跨境产业投资合作平台，力争打造一个满足投引资者需求、实现产业准确对接、确保海内外互动畅通的投资促进主渠道，为地方政府和企业提供专业化投资促进服务。就相关对接会的情况，广西壮族自治区商务厅厅长助理庄岩介绍称，中国-东盟自贸区自建设启动以来，充分发挥自身区位优势和资源优势，积极推进与东盟的农业合作，已取得一定成效。“十三五”以来，广西在东盟国家开展农业投资的企业数量累计71家，投资协议额累计18.9亿美元。对此，广西国际博览事务局副局长杨雁雁也在致辞中提到，近年来，中国与东盟的农业合作不断发展，农业技术交流频繁，双方农业合作正跨越空间限制，已实现“良性循环”。在接下来的主题演讲环节，农业农村部对外经济合作中心研究所副研究员姜晔以“中国-东盟农业投资合作前景展望”为主题发表了演讲，全面梳理了中国-东盟农业投资合作的特点和趋势，也就中国-东盟农业领域合作提出建议。在园区推介环节，陕西杨凌农业高新技术产业示范区、南宁经济技术开发区、新疆吉木乃边境经济合作区等7家国家级自贸区、经开区、边合区及3家境外农业合作示范区依次进行推介。园区代表们纷纷围绕园区招商引资政策、发展优势、相关配套设施及智慧农业及食品加工产业发展规划进行了重点介绍。在企业项目对接环节，北京智创工坊孵化器、盼盼食品集团南宁分公司、京东集团等企业进行了项目路演。参加推介的园区及企业与参会嘉宾进行了充分沟通，为下一步深入对接项目打下良好基础。据了解，本次项目对接会，包括地方政府、投资促进机构、研究机构、境内外企业、金融机构及主流媒体代表等共计百余人出席参加。产业转移中心(商务部上海基地)、中国电子商务协会、以及来自北京、上海、山东、广西、四川、辽宁、海南及新疆等地的机构及企业进行了深入对接并达成合作意向。此外，当日下午，投资促进局还组织30家有投资意向的企业及20余家园区、投资促进机构及媒体赴南宁经济技术开发区及广西特色农业产业园区考察，并进行了深入对接。?【1】【2】【3】 (责编：袁勃)|人民网 |0.0 |[“, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接会, ”, 现场, , , 人民网, 北京, 9, 月, 13, 日, 电, , （, 记者, 李岩, ）, 今日, ，, 由, 商务部, 投资, 促进, 事务局, 、, 农业, 农村, 部, 对外, 经济, 合作, 中心, 、, 广西, 壮族, 自治区, 商务厅, 及, 广西, 国际, 博览, 事务局, 共同, 举办, 的, “, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接会, ”, 在, 广西, 南宁, 召开, 。, , 据悉, ，, 作为, 第, 十五, 届, 中国, -, 东盟, 博览会, 的, 重要, 活动, 之一, ，, 本次, 项目, 对接会, 以, “, 引领, 中国, -, 东盟, 农业, 及, 食品, 行业, 新, 机遇, ”, 为, 主题, ，, 通过, 政策, 解读, 、, 园区, 推介, 、, 企业, 路演, 等, 环节, 介绍, 区域内, 招商引资, 政策, 、, 发布, 重点, 项目, 信息, ，, 有效, 促进, 中国, 与, 东盟, 国家, 在, 农业, 及, 食品, 产业, 的, 投资, 合作, 。, , 在, 本次, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接, 会上, ，, 商务部, 投资, 促进, 事务局, 副局长, 李勇, 表示, ，, 商务部, 投资, 促进, 事务局, 积极, 利用, 现有, 资源, 和, 渠道, ，, 以, 产业, 为, 主线, ，, 需求, 为, 导向, ，, 建设, 跨, 境, 产业, 投资, 合作, 平台, ，, 力争, 打造, 一个, 满足, 投, 引资, 者, 需求, 、, 实现, 产业, 准确, 对接, 、, 确保, 海内外, 互动, 畅通, 的, 投资, 促进, 主渠道, ，, 为, 地方, 政府, 和, 企业, 提供, 专业化, 投资, 促进, 服务, 。, , 就, 相关, 对接会, 的, 情况, ，, 广西, 壮族, 自治区, 商务厅, 厅长, 助理, 庄岩, 介绍, 称, ，, 中国, -, 东盟, 自贸区, 自, 建设, 启动, 以来, ，, 充分, 发挥, 自身, 区位, 优势, 和, 资源, 优势, ，, 积极, 推进, 与, 东盟, 的, 农业, 合作, ，, 已, 取得, 一定, 成效, 。, “, 十三五, ”, 以来, ，, 广西, 在, 东盟, 国家, 开展, 农业, 投资, 的, 企业, 数量, 累计, 71, 家, ，, 投资, 协议, 额, 累计, 18.9亿, 美元, 。, 对此, ，, 广西, 国际, 博览, 事务局, 副局长, 杨雁雁, 也, 在, 致辞, 中, 提到, ，, 近年来, ，, 中国, 与, 东盟, 的, 农业, 合作, 不断, 发展, ，, 农业, 技术, 交流, 频繁, ，, 双方, 农业, 合作, 正, 跨越, 空间, 限制, ，, 已, 实现, “, 良性, 循环, ”, 。, , 在, 接下来, 的, 主题, 演讲, 环节, ，, 农业, 农村, 部, 对外, 经济, 合作, 中心, 研究所, 副研究员, 姜晔, 以, “, 中国, -, 东盟, 农业, 投资, 合作, 前景, 展望, ”, 为, 主题, 发表, 了, 演讲, ，, 全面, 梳理, 了, 中国, -, 东盟, 农业, 投资, 合作, 的, 特点, 和, 趋势, ，, 也, 就, 中国, -, 东盟, 农业, 领域, 合作, 提出, 建议, 。, , 在, 园区, 推介, 环节, ，, 陕西, 杨凌, 农业, 高新技术, 产业, 示范区, 、, 南宁, 经济技术开发区, 、, 新疆, 吉木乃, 边境, 经济, 合作, 区, 等, 7, 家, 国家级, 自贸区, 、, 经开区, 、, 边合区, 及, 3, 家, 境外, 农业, 合作, 示范区, 依次, 进行, 推介, 。, 园区, 代表, 们, 纷纷, 围绕, 园区, 招商引资, 政策, 、, 发展, 优势, 、, 相关, 配套, 设施, 及, 智慧, 农业, 及, 食品, 加工, 产业, 发展, 规划, 进行, 了, 重点, 介绍, 。, , 在, 企业, 项目, 对接, 环节, ，, 北京, 智创, 工坊, 孵化器, 、, 盼盼, 食品, 集团, 南宁, 分公司, 、, 京东, 集团, 等, 企业, 进行, 了, 项目, 路演, 。, 参加, 推介, 的, 园区, 及, 企业, 与, 参会, 嘉宾, 进行, 了, 充分, 沟通, ，, 为, 下, 一, 步, 深入, 对接, 项目, 打下, 良好, 基础, 。, , 据, 了解, ，, 本次, 项目, 对接会, ，, 包括, 地方, 政府, 、, 投资, 促进, 机构, 、, 研究, 机构, 、, 境内外, 企业, 、, 金融, 机构, 及, 主流, 媒体, 代表, 等, 共计, 百, 余, 人, 出席, 参加, 。, 产业, 转移, 中心, (, 商务部, 上海, 基地, ), 、, 中国, 电子商务, 协会, 、, 以及, 来自, 北京, 、, 上海, 、, 山东, 、, 广西, 、, 四川, 、, 辽宁, 、, 海南, 及, 新疆, 等, 地, 的, 机构, 及, 企业, 进行, 了, 深入, 对接, 并, 达成, 合作, 意向, 。, , 此外, ，, 当日, 下午, ，, 投资, 促进局, 还, 组织, 30, 家, 有, 投资, 意向, 的, 企业, 及, 20, 余家园, 区, 、, 投资, 促进, 机构, 及, 媒体, 赴, 南宁, 经济技术开发区, 及, 广西, 特色, 农业, 产业, 园区, 考察, ，, 并, 进行, 了, 深入, 对接, 。, ?, 【, 1, 】, 【, 2, 】, 【, 3, 】, , (, 责编, ：, 袁勃, )]|
|河南一小学营养餐仅半碗无配菜面条?孩子泡水后才吃下 |2018/9/13 18:57|社会 |原标题：河南一小学营养餐仅半碗面教育厅回应：相关情况正在调查中 9月12日，微博一网友曝光河南某小学营养餐，仅半碗面条，与墙上规定菜单严重不符。封面新闻记者就此事咨询了河南省教育厅新闻办，工作人员表示目前尚不清楚相关情况，需要进一步请示领导后再调查。在曝光视频中，多名食堂的工作人员面前摆着盆无配菜的素面条，给排队取餐的孩子每人抓了一把。墙上的公示栏标注了教育局规定的当天菜品：鸡丁炒西葫芦、炒蒜薹及大米粥，还明确了每个配菜的克数。通过记者还观察到，不少孩子还选择将面条泡水后才吃下。 (责编：袁勃) |封面新闻 |3.0 |[原, 标题, ：, 河南, 一, 小学, 营养餐, 仅, 半, 碗, 面, , 教育厅, 回应, ：, 相关, 情况, 正在, 调查, 中, , 9, 月, 12, 日, ，, 微博, 一, 网友, 曝光, 河南, 某, 小学, 营养餐, ，, 仅, 半, 碗, 面条, ，, 与, 墙上, 规定, 菜单, 严重, 不符, 。, 封面, 新闻记者, 就, 此事, 咨询, 了, 河南省, 教育厅, 新闻办, ，, 工作, 人员, 表示, 目前, 尚, 不, 清楚, 相关, 情况, ，, 需要, 进一步, 请示, 领导, 后, 再, 调查, 。, , 在, 曝光, 视频, 中, ，, 多, 名, 食堂, 的, 工作, 人员, 面前, 摆着, 盆, 无, 配菜, 的, 素, 面条, ，, 给, 排队, 取, 餐, 的, 孩子, 每人, 抓, 了, 一, 把, 。, 墙上, 的, 公示栏, 标注, 了, 教育局, 规定, 的, 当天, 菜品, ：, 鸡丁, 炒, 西葫芦, 、, 炒, 蒜薹, 及, 大米粥, ，, 还, 明确, 了, 每个, 配菜, 的, 克, 数, 。, 通过, 记者, 还, 观察, 到, ，, 不少, 孩子, 还, 选择, 将, 面条, 泡水, 后, 才, 吃, 下, 。, , , (, 责编, ：, 袁勃, )] |
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

2.3 停用词

分词结果有一些无意义的词，如：和，等。需要过滤掉，这里选用通用的中文停用词表（链接: https://pan.baidu.com/s/1hLFE8ZzxZIWBhTuB_bLW-Q 密码: fyv3），进行过滤。

 val stopwords = spark.read.textFile("/opt/data/stopwordsCH.txt").collect()

    val remover = new StopWordsRemover()
      .setStopWords(stopwords)
      .setInputCol("tokens")
      .setOutputCol("removed")
    val removedDF = remover.transform(segDF)
    removedDF.show(1,false)

+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|title |created_time |tab |content |source|label|tokens |removed |
+------------------------------+---------------+----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------+-----+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|“中国-东盟智慧农业及食品产业创新发展项目对接会”在南宁举办|2018/9/13 19:07|财经 |“中国-东盟智慧农业及食品产业创新发展项目对接会”现场人民网北京9月13日电（记者李岩）今日，由商务部投资促进事务局、农业农村部对外经济合作中心、广西壮族自治区商务厅及广西国际博览事务局共同举办的“中国-东盟智慧农业及食品产业创新发展项目对接会”在广西南宁召开。据悉，作为第十五届中国-东盟博览会的重要活动之一，本次项目对接会以“引领中国-东盟农业及食品行业新机遇”为主题，通过政策解读、园区推介、企业路演等环节介绍区域内招商引资政策、发布重点项目信息，有效促进中国与东盟国家在农业及食品产业的投资合作。在本次中国-东盟智慧农业及食品产业创新发展项目对接会上，商务部投资促进事务局副局长李勇表示，商务部投资促进事务局积极利用现有资源和渠道，以产业为主线，需求为导向，建设跨境产业投资合作平台，力争打造一个满足投引资者需求、实现产业准确对接、确保海内外互动畅通的投资促进主渠道，为地方政府和企业提供专业化投资促进服务。就相关对接会的情况，广西壮族自治区商务厅厅长助理庄岩介绍称，中国-东盟自贸区自建设启动以来，充分发挥自身区位优势和资源优势，积极推进与东盟的农业合作，已取得一定成效。“十三五”以来，广西在东盟国家开展农业投资的企业数量累计71家，投资协议额累计18.9亿美元。对此，广西国际博览事务局副局长杨雁雁也在致辞中提到，近年来，中国与东盟的农业合作不断发展，农业技术交流频繁，双方农业合作正跨越空间限制，已实现“良性循环”。在接下来的主题演讲环节，农业农村部对外经济合作中心研究所副研究员姜晔以“中国-东盟农业投资合作前景展望”为主题发表了演讲，全面梳理了中国-东盟农业投资合作的特点和趋势，也就中国-东盟农业领域合作提出建议。在园区推介环节，陕西杨凌农业高新技术产业示范区、南宁经济技术开发区、新疆吉木乃边境经济合作区等7家国家级自贸区、经开区、边合区及3家境外农业合作示范区依次进行推介。园区代表们纷纷围绕园区招商引资政策、发展优势、相关配套设施及智慧农业及食品加工产业发展规划进行了重点介绍。在企业项目对接环节，北京智创工坊孵化器、盼盼食品集团南宁分公司、京东集团等企业进行了项目路演。参加推介的园区及企业与参会嘉宾进行了充分沟通，为下一步深入对接项目打下良好基础。据了解，本次项目对接会，包括地方政府、投资促进机构、研究机构、境内外企业、金融机构及主流媒体代表等共计百余人出席参加。产业转移中心(商务部上海基地)、中国电子商务协会、以及来自北京、上海、山东、广西、四川、辽宁、海南及新疆等地的机构及企业进行了深入对接并达成合作意向。此外，当日下午，投资促进局还组织30家有投资意向的企业及20余家园区、投资促进机构及媒体赴南宁经济技术开发区及广西特色农业产业园区考察，并进行了深入对接。?【1】【2】【3】 (责编：袁勃)|人民网 |0.0 |[“, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接会, ”, 现场, , , 人民网, 北京, 9, 月, 13, 日, 电, , （, 记者, 李岩, ）, 今日, ，, 由, 商务部, 投资, 促进, 事务局, 、, 农业, 农村, 部, 对外, 经济, 合作, 中心, 、, 广西, 壮族, 自治区, 商务厅, 及, 广西, 国际, 博览, 事务局, 共同, 举办, 的, “, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接会, ”, 在, 广西, 南宁, 召开, 。, , 据悉, ，, 作为, 第, 十五, 届, 中国, -, 东盟, 博览会, 的, 重要, 活动, 之一, ，, 本次, 项目, 对接会, 以, “, 引领, 中国, -, 东盟, 农业, 及, 食品, 行业, 新, 机遇, ”, 为, 主题, ，, 通过, 政策, 解读, 、, 园区, 推介, 、, 企业, 路演, 等, 环节, 介绍, 区域内, 招商引资, 政策, 、, 发布, 重点, 项目, 信息, ，, 有效, 促进, 中国, 与, 东盟, 国家, 在, 农业, 及, 食品, 产业, 的, 投资, 合作, 。, , 在, 本次, 中国, -, 东盟, 智慧, 农业, 及, 食品, 产业, 创新, 发展, 项目, 对接, 会上, ，, 商务部, 投资, 促进, 事务局, 副局长, 李勇, 表示, ，, 商务部, 投资, 促进, 事务局, 积极, 利用, 现有, 资源, 和, 渠道, ，, 以, 产业, 为, 主线, ，, 需求, 为, 导向, ，, 建设, 跨, 境, 产业, 投资, 合作, 平台, ，, 力争, 打造, 一个, 满足, 投, 引资, 者, 需求, 、, 实现, 产业, 准确, 对接, 、, 确保, 海内外, 互动, 畅通, 的, 投资, 促进, 主渠道, ，, 为, 地方, 政府, 和, 企业, 提供, 专业化, 投资, 促进, 服务, 。, , 就, 相关, 对接会, 的, 情况, ，, 广西, 壮族, 自治区, 商务厅, 厅长, 助理, 庄岩, 介绍, 称, ，, 中国, -, 东盟, 自贸区, 自, 建设, 启动, 以来, ，, 充分, 发挥, 自身, 区位, 优势, 和, 资源, 优势, ，, 积极, 推进, 与, 东盟, 的, 农业, 合作, ，, 已, 取得, 一定, 成效, 。, “, 十三五, ”, 以来, ，, 广西, 在, 东盟, 国家, 开展, 农业, 投资, 的, 企业, 数量, 累计, 71, 家, ，, 投资, 协议, 额, 累计, 18.9亿, 美元, 。, 对此, ，, 广西, 国际, 博览, 事务局, 副局长, 杨雁雁, 也, 在, 致辞, 中, 提到, ，, 近年来, ，, 中国, 与, 东盟, 的, 农业, 合作, 不断, 发展, ，, 农业, 技术, 交流, 频繁, ，, 双方, 农业, 合作, 正, 跨越, 空间, 限制, ，, 已, 实现, “, 良性, 循环, ”, 。, , 在, 接下来, 的, 主题, 演讲, 环节, ，, 农业, 农村, 部, 对外, 经济, 合作, 中心, 研究所, 副研究员, 姜晔, 以, “, 中国, -, 东盟, 农业, 投资, 合作, 前景, 展望, ”, 为, 主题, 发表, 了, 演讲, ，, 全面, 梳理, 了, 中国, -, 东盟, 农业, 投资, 合作, 的, 特点, 和, 趋势, ，, 也, 就, 中国, -, 东盟, 农业, 领域, 合作, 提出, 建议, 。, , 在, 园区, 推介, 环节, ，, 陕西, 杨凌, 农业, 高新技术, 产业, 示范区, 、, 南宁, 经济技术开发区, 、, 新疆, 吉木乃, 边境, 经济, 合作, 区, 等, 7, 家, 国家级, 自贸区, 、, 经开区, 、, 边合区, 及, 3, 家, 境外, 农业, 合作, 示范区, 依次, 进行, 推介, 。, 园区, 代表, 们, 纷纷, 围绕, 园区, 招商引资, 政策, 、, 发展, 优势, 、, 相关, 配套, 设施, 及, 智慧, 农业, 及, 食品, 加工, 产业, 发展, 规划, 进行, 了, 重点, 介绍, 。, , 在, 企业, 项目, 对接, 环节, ，, 北京, 智创, 工坊, 孵化器, 、, 盼盼, 食品, 集团, 南宁, 分公司, 、, 京东, 集团, 等, 企业, 进行, 了, 项目, 路演, 。, 参加, 推介, 的, 园区, 及, 企业, 与, 参会, 嘉宾, 进行, 了, 充分, 沟通, ，, 为, 下, 一, 步, 深入, 对接, 项目, 打下, 良好, 基础, 。, , 据, 了解, ，, 本次, 项目, 对接会, ，, 包括, 地方, 政府, 、, 投资, 促进, 机构, 、, 研究, 机构, 、, 境内外, 企业, 、, 金融, 机构, 及, 主流, 媒体, 代表, 等, 共计, 百, 余, 人, 出席, 参加, 。, 产业, 转移, 中心, (, 商务部, 上海, 基地, ), 、, 中国, 电子商务, 协会, 、, 以及, 来自, 北京, 、, 上海, 、, 山东, 、, 广西, 、, 四川, 、, 辽宁, 、, 海南, 及, 新疆, 等, 地, 的, 机构, 及, 企业, 进行, 了, 深入, 对接, 并, 达成, 合作, 意向, 。, , 此外, ，, 当日, 下午, ，, 投资, 促进局, 还, 组织, 30, 家, 有, 投资, 意向, 的, 企业, 及, 20, 余家园, 区, 、, 投资, 促进, 机构, 及, 媒体, 赴, 南宁, 经济技术开发区, 及, 广西, 特色, 农业, 产业, 园区, 考察, ，, 并, 进行, 了, 深入, 对接, 。, ?, 【, 1, 】, 【, 2, 】, 【, 3, 】, , (, 责编, ：, 袁勃, )]|[中国, 东盟, 智慧, 农业, 食品, 产业, 创新, 发展, 项目, 对接会, 现场, , , 人民网, 北京, 月, 13, 日, 电, , 记者, 李岩, 今日, 商务部, 投资, 事务局, 农业, 农村, 部, 对外, 经济, 合作, 中心, 广西, 壮族, 自治区, 商务厅, 广西, 国际, 博览, 事务局, 举办, 中国, 东盟, 智慧, 农业, 食品, 产业, 创新, 发展, 项目, 对接会, 广西, 南宁, , 十五, 届, 中国, 东盟, 博览会, 活动, 本次, 项目, 对接会, 引领, 中国, 东盟, 农业, 食品, 行业, 新, 机遇, 主题, 政策, 解读, 园区, 推介, 企业, 路演, 环节, 介绍, 区域内, 招商引资, 政策, 发布, 重点, 项目, 信息, 中国, 东盟, 国家, 农业, 食品, 产业, 投资, 合作, , 本次, 中国, 东盟, 智慧, 农业, 食品, 产业, 创新, 发展, 项目, 对接, 会上, 商务部, 投资, 事务局, 副局长, 李勇, 商务部, 投资, 事务局, 利用, 现有, 资源, 渠道, 产业, 主线, 需求, 导向, 建设, 跨, 境, 产业, 投资, 合作, 平台, 力争, 打造, 投, 引资, 需求, 产业, 准确, 对接, 确保, 海内外, 互动, 畅通, 投资, 主渠道, 地方, 政府, 企业, 提供, 专业化, 投资, 服务, , 相关, 对接会, 情况, 广西, 壮族, 自治区, 商务厅, 厅长, 助理, 庄岩, 介绍, 称, 中国, 东盟, 自贸区, 建设, 启动, 发挥, 区位, 优势, 资源, 优势, 推进, 东盟, 农业, 合作, 成效, 十三五, 广西, 东盟, 国家, 农业, 投资, 企业, 数量, 累计, 71, 家, 投资, 协议, 额, 累计, 18.9亿, 美元, 对此, 广西, 国际, 博览, 事务局, 副局长, 杨雁雁, 致辞, 中, 提到, 中国, 东盟, 农业, 合作, 发展, 农业, 技术, 交流, 频繁, 农业, 合作, 正, 跨越, 空间, 良性, 循环, , 主题, 演讲, 环节, 农业, 农村, 部, 对外, 经济, 合作, 中心, 研究所, 副研究员, 姜晔, 中国, 东盟, 农业, 投资, 合作, 前景, 展望, 主题, 发表, 演讲, 梳理, 中国, 东盟, 农业, 投资, 合作, 趋势, 中国, 东盟, 农业, 领域, 合作, 提出, 建议, , 园区, 推介, 环节, 陕西, 杨凌, 农业, 高新技术, 产业, 示范区, 南宁, 经济技术开发区, 新疆, 吉木乃, 边境, 经济, 合作, 区, 家, 国家级, 自贸区, 经开区, 边合区, 家, 境外, 农业, 合作, 示范区, 依次, 推介, 园区, 代表, 纷纷, 围绕, 园区, 招商引资, 政策, 发展, 优势, 相关, 配套, 设施, 智慧, 农业, 食品, 加工, 产业, 发展, 规划, 重点, 介绍, , 企业, 项目, 对接, 环节, 北京, 智创, 工坊, 孵化器, 盼盼, 食品, 集团, 南宁, 分公司, 京东, 集团, 企业, 项目, 路演, 参加, 推介, 园区, 企业, 参会, 嘉宾, 沟通, 步, 对接, 项目, 打下, 基础, , 本次, 项目, 对接会, 包括, 地方, 政府, 投资, 机构, 研究, 机构, 境内外, 企业, 金融, 机构, 主流, 媒体, 代表, 共计, 百, 余, 出席, 参加, 产业, 转移, 中心, 商务部, 上海, 基地, 中国, 电子商务, 协会, 北京, 上海, 山东, 广西, 四川, 辽宁, 海南, 新疆, 机构, 企业, 对接, 达成, 合作, 意向, , 当日, 下午, 投资, 促进局, 组织, 30, 家, 投资, 意向, 企业, 20, 余家园, 区, 投资, 机构, 媒体, 赴, 南宁, 经济技术开发区, 广西, 特色, 农业, 产业, 园区, 考察, 对接, , 责编, 袁勃]|
|河南一小学营养餐仅半碗无配菜面条?孩子泡水后才吃下 |2018/9/13 18:57|社会 |原标题：河南一小学营养餐仅半碗面教育厅回应：相关情况正在调查中 9月12日，微博一网友曝光河南某小学营养餐，仅半碗面条，与墙上规定菜单严重不符。封面新闻记者就此事咨询了河南省教育厅新闻办，工作人员表示目前尚不清楚相关情况，需要进一步请示领导后再调查。在曝光视频中，多名食堂的工作人员面前摆着盆无配菜的素面条，给排队取餐的孩子每人抓了一把。墙上的公示栏标注了教育局规定的当天菜品：鸡丁炒西葫芦、炒蒜薹及大米粥，还明确了每个配菜的克数。通过记者还观察到，不少孩子还选择将面条泡水后才吃下。 (责编：袁勃) |封面新闻 |3.0 |[原, 标题, ：, 河南, 一, 小学, 营养餐, 仅, 半, 碗, 面, , 教育厅, 回应, ：, 相关, 情况, 正在, 调查, 中, , 9, 月, 12, 日, ，, 微博, 一, 网友, 曝光, 河南, 某, 小学, 营养餐, ，, 仅, 半, 碗, 面条, ，, 与, 墙上, 规定, 菜单, 严重, 不符, 。, 封面, 新闻记者, 就, 此事, 咨询, 了, 河南省, 教育厅, 新闻办, ，, 工作, 人员, 表示, 目前, 尚, 不, 清楚, 相关, 情况, ，, 需要, 进一步, 请示, 领导, 后, 再, 调查, 。, , 在, 曝光, 视频, 中, ，, 多, 名, 食堂, 的, 工作, 人员, 面前, 摆着, 盆, 无, 配菜, 的, 素, 面条, ，, 给, 排队, 取, 餐, 的, 孩子, 每人, 抓, 了, 一, 把, 。, 墙上, 的, 公示栏, 标注, 了, 教育局, 规定, 的, 当天, 菜品, ：, 鸡丁, 炒, 西葫芦, 、, 炒, 蒜薹, 及, 大米粥, ，, 还, 明确, 了, 每个, 配菜, 的, 克, 数, 。, 通过, 记者, 还, 观察, 到, ，, 不少, 孩子, 还, 选择, 将, 面条, 泡水, 后, 才, 吃, 下, 。, , , (, 责编, ：, 袁勃, )] |[原, 标题, 河南, 小学, 营养餐, 碗, 面, , 教育厅, 回应, 相关, 情况, 调查, 中, , 月, 12, 日, 微博, 网友, 曝光, 河南, 小学, 营养餐, 碗, 面条, 墙上, 菜单, 不符, 封面, 新闻记者, 此事, 咨询, 河南省, 教育厅, 新闻办, 工作, 人员, 尚, 相关, 情况, 进一步, 请示, 领导, 调查, , 曝光, 视频, 中, 名, 食堂, 工作, 人员, 面前, 摆着, 盆, 配菜, 素, 面条, 排队, 取, 餐, 孩子, 每人, 抓, 墙上, 公示栏, 标注, 教育局, 当天, 菜品, 鸡丁, 炒, 西葫芦, 炒, 蒜薹, 大米粥, 配菜, 克, 数, 记者, 观察, 孩子, 选择, 面条, 泡水, 吃, , , 责编, 袁勃] |
+-----+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

2.4 提取关键词频数特征

ml包CountVectorizer通过计数将一个文档转为向量，setVocabSize(500)设定词汇表最大size为500，setMinDF设定词汇表中的词至少要在2个文档中出现。

val vectorizer = new CountVectorizer()
      .setVocabSize(500)
      .setMinDF(2)
      .setInputCol("removed")
      .setOutputCol("features")
      .fit(removedDF)
    val vectorDF = vectorizer.transform(removedDF)

    vectorDF.select("label","features").show(5,false)

+-----+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|label|features |
+-----+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|0.0 |(500,[1,2,4,5,6,8,9,11,12,13,14,17,19,20,24,25,27,31,32,34,36,37,38,39,45,46,48,52,56,63,65,66,71,72,73,75,79,81,82,84,87,88,92,93,98,100,101,119,124,126,128,144,150,159,160,175,176,193,204,222,227,229,240,252,277,279,288,304,307,309,310,331,347,353,362,369,370,375,385,394,399,410,411,421,431,446,479,482,484,489],[9.0,12.0,1.0,1.0,1.0,1.0,6.0,9.0,13.0,2.0,1.0,3.0,1.0,1.0,2.0,2.0,9.0,1.0,1.0,3.0,3.0,4.0,15.0,1.0,11.0,2.0,2.0,13.0,5.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,3.0,1.0,1.0,1.0,2.0,1.0,1.0,1.0,3.0,2.0,1.0,1.0,1.0,3.0,1.0,2.0,1.0,2.0,2.0,1.0,1.0,2.0,1.0,1.0,2.0,2.0,2.0,1.0,1.0,2.0,1.0,2.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,8.0,3.0,2.0,1.0,1.0,1.0,1.0,7.0,1.0,1.0,1.0,3.0,1.0,1.0,6.0])|
|3.0 |(500,[1,4,5,6,8,14,16,19,20,35,40,44,46,65,70,113,161,221,306,346,389,431],[2.0,1.0,1.0,1.0,2.0,1.0,2.0,1.0,1.0,1.0,1.0,2.0,2.0,2.0,1.0,1.0,1.0,2.0,1.0,1.0,2.0,1.0]) |
|2.0 |(500,[0,5,6,13,16,19,20,34,44,66,84,113,161,233,258,260,431],[3.0,1.0,1.0,5.0,2.0,1.0,1.0,1.0,2.0,1.0,1.0,1.0,1.0,1.0,1.0,2.0,1.0]) |
|2.0 |(500,[0,5,6,14,16,19,20,25,34,43,44,48,65,66,75,106,113,126,130,143,156,161,174,179,189,190,205,211,213,221,233,242,252,254,258,260,263,305,347,362,417,431],[4.0,1.0,3.0,2.0,1.0,1.0,1.0,2.0,1.0,1.0,2.0,4.0,1.0,1.0,1.0,2.0,1.0,1.0,1.0,1.0,2.0,1.0,1.0,1.0,1.0,2.0,1.0,1.0,5.0,1.0,1.0,3.0,1.0,4.0,1.0,3.0,1.0,3.0,1.0,1.0,1.0,1.0]) |
|0.0 |(500,[1,3,4,19,20,44,113,161,231,250,256,413,431,472],[1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,2.0,1.0,1.0,1.0,1.0]) |
+-----+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

3. MLR训练与评估

将数据随机分为训练集和测试集，比例为0.8：0.2，训练MLR模型，并用训练集验证，评估模型效果；再用测试集预测，评估预测效果。

3.1 MLR训练

 val Array(train,test) = vectorDF.randomSplit(Array(0.8,0.2),15L)
    train.persist()
    val lr = new LogisticRegression()
      .setMaxIter(40)
      .setRegParam(0.2)
      .setElasticNetParam(0.0)
      .setTol(1e-7)
      .setLabelCol("label")
      .setFeaturesCol("features")
      .fit(train)
    train.unpersist()
//    打印逻辑回归的系数和截距
    println(s"Coefficients: ${lr.coefficientMatrix}")
    println(s"Intercept: ${lr.interceptVector} ")
    val trainingSummary = lr.summary

//    获取每次迭代目标,每次迭代的损失,会逐渐减少
    val objectiveHistory = trainingSummary.objectiveHistory
    println("objectiveHistory:")
    objectiveHistory.foreach(loss => println(loss))

Coefficients: 0.005728890303054042 -0.007782241428850575 ... (500 total)
-0.0032568857839486262 9.104707702162E-4 ...
-2.22171399151836E-4 0.005030220584285451 ...
-0.0037136502870570532 0.00306479457625182 ...
-1.1156968362083442E-6 4.6176426683195056E-4 ...
0.0014649328639396812 -0.0016850087687348503 ...
Intercept: [0.8788824588481589,0.8648375826056475,0.21524872708030418,0.12577146325456717,-0.854756359028032,-1.2299838727606456]
objectiveHistory:
1.5649096802716778
1.0334419499096483
0.9379340548582956
0.9080628471991284
0.8648384457516703
0.8382117686881513
0.7967546946024161
0.7302224353089952
0.6924838476846956
0.6896399052962554
0.6763010283352668
0.6726573613895334
0.6681468654686284
0.6649272687672904
0.6598938394831732
0.6582190983027721
0.656853218824661
0.6554645257605516
0.654534116665513
0.6535264036547145
0.6528265692563162
0.6523692774903452
0.6521941438016804
0.652066337886312
0.6518708859728211
0.6516291483673391
0.6514902645259593
0.6514304501389128
0.651376443875932
0.6513553122483812
0.6513295697310645
0.6513020407568229
0.6512893832862882
0.6512747459041505
0.6512617185868199
0.6512480898069805
0.6512438354697055
0.6512373940677232
0.651233905560227
0.6512285293083144
0.6512185579819898

3.2 评估

在分类模型中，有评估的一些指标，如下

True Negative(真负,TN)=>将负类预测为负类
False Positive(假正,FP)=>将负类预测为正类，误报
False Nagative(假负,FN)=>将正类预测为负类，漏报
True Positive Rate: TPR=TP/(TP+FN)
False Positive Rate: FPR=FP/(FP+TN)
Precision(精确率):预测为1的结果中预测正确的概率
Recall(召回率):标签为1样本被预测正确概率，Recall=TPR
Precision和Recall在某些场景下是互斥的，需要一定的约束变量来控制，引入F-score
F=(a^2+1)P*R/a^2*(P+R)
ROC曲线: 横坐标是FRP，纵坐标是TPR，TPR越大，FPR越小，分类效果较好
ROC曲线并不能完美的表征二分类器的分类性能，如何评价?
AUC：ROC曲线下的面积

3.2.1 验证集评估

    println("验证集各标签误报率(FPR):")
    trainingSummary.falsePositiveRateByLabel
      .zipWithIndex.foreach { case (rate, label) =>
      println(s"label $label: $rate")
    }

    println("验证集各标签真分类率(TPR):")
    trainingSummary.truePositiveRateByLabel.zipWithIndex
      .foreach { case (rate, label) =>
        println(s"label $label: $rate")
      }

    println("验证集各标签分类正确率:")
    trainingSummary.precisionByLabel.zipWithIndex
      .foreach { case (prec, label) =>
        println(s"label $label: $prec")
      }

    println("验证集各标签召回率:")
    trainingSummary.recallByLabel.zipWithIndex.foreach {
      case (rec, label) =>
        println(s"label $label: $rec")
    }


    println("验证集各标签F值:")
    trainingSummary.fMeasureByLabel.zipWithIndex.foreach
    { case (f, label) =>
      println(s"label $label: $f")
    }

    val accuracyLtr = trainingSummary.accuracy
    val falsePositiveRateLtr =
      trainingSummary.weightedFalsePositiveRate
    val truePositiveRateLtr =
      trainingSummary.weightedTruePositiveRate
    val fMeasureLtr = trainingSummary.weightedFMeasure
    val precisionLtr = trainingSummary.weightedPrecision
    val recallLtr = trainingSummary.weightedRecall
    println(s"分类准确率(Precision): $accuracyLtr\n误报率(FPR): $falsePositiveRateLtr\n真正类率(TPR): $truePositiveRateLtr\n" +
      s"F值(F-measure): $fMeasureLtr\n分类准确率(Precision): $precisionLtr \n召回率(Recall): $recallLtr")

验证集各标签误报率(FPR):
label 0: 0.014553014553014554
label 1: 0.04329896907216495
label 2: 0.015358361774744027
label 3: 0.016778523489932886
label 4: 0.0
label 5: 0.0
验证集各标签真分类率(TPR):
label 0: 0.9534883720930233
label 1: 1.0
label 2: 0.8818181818181818
label 3: 0.92
label 4: 0.6
label 5: 0.92
验证集各标签分类正确率:
label 0: 0.9669811320754716
label 1: 0.9094827586206896
label 2: 0.9150943396226415
label 3: 0.9019607843137255
label 4: 1.0
label 5: 1.0
验证集各标签召回率:
label 0: 0.9534883720930233
label 1: 1.0
label 2: 0.8818181818181818
label 3: 0.92
label 4: 0.6
label 5: 0.92
验证集各标签F值:
label 0: 0.9601873536299765
label 1: 0.9525959367945824
label 2: 0.8981481481481483
label 3: 0.9108910891089109
label 4: 0.7499999999999999
label 5: 0.9583333333333334
分类准确率(Precision): 0.9324712643678161
误报率(FPR): 0.02246013325767251
真正类率(TPR): 0.9324712643678161
F值(F-measure): 0.9303617273485957
分类准确率(Precision): 0.9348538236423205
召回率(Recall): 0.9324712643678161

3.2.2 测试集评估

val predictions = lr.transform(test)
    val converts = new IndexToString()
      .setInputCol("prediction")
      .setOutputCol("predictionTab")
      .setLabels(indDF.schema("label").metadata.getMetadata("ml_attr").getStringArray("vals"))

    val predTab = converts.transform(predictions)
    predTab.select("prediction","predictionTab","label","tab","probability").show(5,false)
    val lrv = lr.evaluate(test)
    println("测试集各标签误报率(FPR):")
    lrv.falsePositiveRateByLabel.zipWithIndex.foreach{
      case (rate, label) =>println(s"label $label: $rate")
    }
    println("测试集各标签真正率(TPR):")
    lrv.truePositiveRateByLabel.zipWithIndex.foreach{
      case (rate, label) =>println(s"label $label: $rate")
    }
    println("测试集各标签准确率(Precision):")
    lrv.precisionByLabel.zipWithIndex.foreach{
      case (rate, label) =>println(s"label $label: $rate")
    }
    println("测试集各标签召回率(Recall):")
    lrv.recallByLabel.zipWithIndex.foreach{
      case (rate, label) =>println(s"label $label: $rate")
    }
    println("测试集各标签F1值:")
    lrv.fMeasureByLabel.zipWithIndex.foreach{
      case (f, label) =>println(s"label $label:$f")
    }
    val accuracyLrv = lrv.accuracy
    val truePositiveRateLrv = lrv.weightedTruePositiveRate
    val falsePositiveRateLrv = lrv.weightedFalsePositiveRate
    val fMeasureLrv = lrv.weightedFMeasure
    val precisionLrv = lrv.weightedPrecision
    val recallLrv = lrv.weightedRecall
    println(s"分类准确率(Precision): $accuracyLrv\n误报率(FPR): $falsePositiveRateLrv\n真正类率(TPR): $truePositiveRateLrv\n" +
      s"F值(F-measure): $fMeasureLrv\n分类准确率(Precision): $precisionLrv \n召回率(Recall): $recallLrv")

+----------+-------------+-----+---+------------------------------------------------------------------------------------------------------------------------------+
|2.0 |时政 |2.0 |时政 |[0.025771496102045554,0.10525309360563138,0.8322585432858192,0.023730420296404067,0.007791979305188661,0.005194467404911156] |
|2.0 |时政 |2.0 |时政 |[0.011677683265706298,0.07920712240191527,0.8530769985909951,0.006882773206337975,0.046098208216127395,0.0030572143189180213] |
|0.0 |财经 |0.0 |财经 |[0.6678444176443852,0.08996083171101925,0.10866515038289139,0.07157123540840242,0.04235566225181319,0.019602702601488563] |
|2.0 |时政 |0.0 |财经 |[0.25219408788359005,0.14266158065667248,0.2821471451822117,0.2805686447255393,0.028492258668355044,0.01393628288363137] |
|0.0 |财经 |0.0 |财经 |[0.9254464036799132,0.007420711977601766,0.011399669252226526,0.037886005960507486,0.0038878373762144037,0.013959371753536573]|
+----------+-------------+-----+---+------------------------------------------------------------------------------------------------------------------------------+

测试集各标签误报率(FPR):
label 0: 0.09375
label 1: 0.05263157894736842
label 2: 0.07801418439716312
label 3: 0.09090909090909091
label 4: 0.006060606060606061
label 5: 0.011764705882352941
测试集各标签真正率(TPR):
label 0: 0.7916666666666666
label 1: 0.8604651162790697
label 2: 0.7142857142857143
label 3: 0.6666666666666666
label 4: 0.36363636363636365
label 5: 0.6666666666666666
测试集各标签准确率(Precision):
label 0: 0.76
label 1: 0.8409090909090909
label 2: 0.6944444444444444
label 3: 0.6285714285714286
label 4: 0.8
label 5: 0.6666666666666666
测试集各标签召回率(Recall):
label 0: 0.7916666666666666
label 1: 0.8604651162790697
label 2: 0.7142857142857143
label 3: 0.6666666666666666
label 4: 0.36363636363636365
label 5: 0.6666666666666666
测试集各标签F1值:
label 0:0.7755102040816326
label 1:0.8505747126436781
label 2:0.7042253521126761
label 3:0.6470588235294118
label 4:0.5000000000000001
label 5:0.6666666666666666
分类准确率(Precision): 0.7386363636363636
误报率(FPR): 0.07176652983294508
真正类率(TPR): 0.7386363636363636
F值(F-measure): 0.7346592667046067
分类准确率(Precision): 0.7414062704971798
召回率(Recall): 0.7386363636363636

3.3 评估结果

tab	label	evluate	FPR	TPR	Precision	Recall	F1
财经	0	train	0.0145	0.9534	0.9669	0.9534	0.9601
财经	0	test	0.0937	0.7916	0.76	0.7916	0.7755
时政	1	train	0.0432	1.0	0.9094	1.0	0.9525
时政	1	test	0.0526	0.8604	0.8409	0.8604	0.8505
金融	2	train	0.0153	0.8818	0.9150	0.8818	0.8981
金融	2	test	0.0780	0.7142	0.6944	0.7142	0.7042
军事	3	train	0.0167	0.92	0.9019	0.92	0.9108
军事	3	test	0.0909	0.6666	0.6285	0.6666	0.6470
社会	4	train	0.0	0.6	1.0	0.6	0.7499
社会	4	test	0.0060	0.3636	0.8	0.3636	0.5000
国际	5	train	0.0	0.92	1.0	0.92	0.9583
国际	5	test	0.01176	0.6666	0.6666	0.6666	0.6666

参考文献

https://blog.csdn.net/yhao2014/article/details/60324939

https://blog.csdn.net/baymax_007/article/details/82428984

https://blog.csdn.net/baymax_007/article/details/81949942

http://spark.apache.org/docs/latest/ml-guide.html

你可能感兴趣的:(特征工程,spark,algorithm,逻辑回归,HanLP,分词,资讯分类)

番茄西红柿叶子病害分类数据集12882张11类别 futureflsl 数据集分类数据挖掘人工智能
数据集类型：图像分类用，不可用于目标检测无标注文件数据集格式：仅仅包含jpg图片，每个类别文件夹下面存放着对应图片图片数量(jpg文件个数)：12882分类类别数：11类别名称:["Bacterial_Spot_Bacteria","Early_Blight_Fungus","Healthy","Late_Blight_Water_Mold","Leaf_Mold_Fungus","Powdery
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
xilinx vivado PULLMODE 设置思路坚持每天写程序 fpga开发
1.xilinx引脚分类XilinxIO的分类：以XC7A100TFGG484为例，其引脚分类如下：1.UserIO(用户IO)：用户使用的普通IO1.1专用(Dedicated)IO：命名为IO_LXXY_#、IO_XX_#的引脚，有固定的特定用途，多为底层特定功能的直接实现，如差分对信号、关键控制信号等，不能随意变更。1.2多功能(Multi-Function)IO：命名为IO_LXXY_ZZ
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
网络通信流程记得开心一点啊服务器网络运维
目录♫IP地址♫子网掩码♫MAC地址♫相关设备♫ARP寻址♫网络通信流程♫IP地址我们已经知道IP地址由网络号+主机号组成，根据IP地址的不同可以有5钟划分网络号和主机号的方案：其中，各类地址的表示范围是：分类范围适用网络网络数量主机最大连接数A类0.0.0.0~127.255.255.255大型网络12616777214【(2^24)-2】B类128.0.0.0~191.255.255.255中
5分钟说透AppStore审核原理，让你拥有上架新思路！ Q仔本人噢
在AppStore上架是越来越难了!相信非常多公司的技术人员都为此困扰，然而外包团队水平又层次不齐，容易遇坑，实在是内忧外患。是什么原因导致审核机制频繁调整？又是什么原因使得审核变得越发严格？那么接下来听小Q分解，马上给各位带来解答!首先看一下近一年的上下架的情况：近一年上架情况近一年下架情况通过数据我们发现越是马甲包产量权重高的分类里被下架的app数量越多，苹果此举可谓是上有政策，下有对策。通过
Python算法L5：贪心算法小熊同学哦 Python算法算法 python 贪心算法
Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
《转介绍方法论》学习笔记小可乐的妈妈
一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式 android java 常用设计模式
博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
【自动化测试】UI自动化的分类、如何选择合适的自动化测试工具以及其中appium的设计理念、引擎和引擎如何工作 Lossya ui 自动化测试工具自动化测试 appium
引言UI自动化测试主要针对软件的用户界面进行测试，以确保用户界面元素的交互和功能符合预期文章目录引言一、UI自动化的分类1.1基于代码的自动化测试1.2基于录制/回放的自动化测试1.3基于框架的自动化测试1.4按测试对象分类1.5按测试层次分类1.6按测试执行方式分类1.7按测试目的分类二、如何选择合适的自动化测试工具2.1项目需求分析2.2工具特性评估2.3成本考虑2.4团队技能2.5试用和评估
非对称加密算法————RSA理论及详情 hu19930613
转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
性格小测试熹大头
有些人非常肯定自己属于外向型，有些人则发现自己是绝对的内向型。然而，多数人却发现他们似乎介于两者之间，是两种性格的结合。现在我们就来看看你在这种分类中处在何种位置。阅读以下问题，从a、b、c中选出最适合自己的选项。你可能会发现三个选项都不合适，或者合适的不止一项，这种情况下，选出相对来说更适合自己的即可。1人们经常会用下列哪个词语描述你：a善于分析b遵守纪律c有创造力2一连几天参与社交活动（比如，
李克富 | 咨询师推荐阅读书目李克富
最重要的书籍不是别人的推荐，而是自己学过的教材，不论当初使用的是哪个版本，它都是我们专业的底层代码，具有不可替代性。前不久，中国心理咨询师筹委会的一位老师邀请我罗列一个推荐书目清单作为咨询师工具包的内容，并要求“说明一下简单的分类或者作三言两语的说明”。斟酌后，我觉得自己推荐的书目大体可以分为普及类书籍、心理学书籍和心理咨询与治疗专业书籍，第三类又分为适合于咨询师新手的和有经验咨询师的。经过严格筛
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
新能源汽车 BMS 学习笔记篇—BMS 基本定义及分类 WPG大大通其他笔记汽车 BMS 经验分享新能源电池
一、BMS定义1、概念：BMS（BatteryManagementSystem）即电池管理系统，其管理对象是二次电池（充电电池或蓄电池），其主要目的是电池的利用率，防止电池出现过度充电和过度放电，可应用于电动汽车、电瓶车、机器人、无人机等图片来源：腾讯网https://new.qq.com《标准普尔警告，电动汽车电池生产面临供应链和地缘政治风险》2、四大功能①感知和测量：检测电池的电压、电流、温度
郭生白中药方论之二(破除温凉寒热的框框) 本能学堂a昨年
离病说药茫茫然，对症下药不着边。顺势利导一乘法，排异调节渡法船。无限整合非模糊，模糊病区得清楚。共性之外求个性，亲和不生抗药性。温凉寒热巧方便，君臣佐使筏喻焉。药包大小折中看，毒性有无一念间。导读破除温凉寒热的框框寒热温凉是基于中药共性的传统分类药无寒热人有寒热药无寒热病有寒热抛弃温凉不并用的错误观念寒热温凉是基于中药共性的传统分类寒热温凉是个共性，是说的共性。这个共性，知道什么叫共性吗？所有的药
2022-04-25 L是木子李呢
上门维修APP开发应具备哪些功能随着移动互联网的不断发展，上门维修在我们生活中已经是非常普遍的存在了，为了给用户更方便的找到上门维修的渠道，上门维修APP应运而生，那么上门维修APP开发应具备哪些功能呢？1、维修门店搜索为了更好地方便用户省时省力，上门维修APP会依据用户定位信息搜索线下实体店，促使用户更好的找到线下维修店面，省时又省力。2、维修服务分类包括管道洁具维修、强电弱电维修、木工维修、粉
【人生感悟】真正厉害的人，抽象思维都很强大加百力生活工作感悟大数据科技数据分析
我们都身处信息爆炸的时代，各种资讯蜂拥而至，很难保证所接收的信息都是准确的。在这样的情况下，拥有“穿透迷雾，直击核心”的能力非常关键。虽然钻研各个领域的专业知识可以帮助我们避免信息误导，但这个过程可能超出我们想象地漫长。事实上，真正厉害的人都有一个共同点——他们善于抽象思维。这也是我在读《科技群星闪耀时：15个创新传奇》这本书是意识到的。什么是抽象思维？抽象思维是一种超越细节、直指事物本质的思维方
二十四、k8s 资源管理繁华依在 k8s kubernetes 容器云原生
目录一、资源配置范围管理LimitRange介绍1、LimitRange可以做什么：2、资源限制和请求的约束3、创建LimitsRange对象4、示例：创建一个pod5、测试用例测试1：测试2：测试3：二、资源服务质量管理（RequestsQos）1、Qos级别分类：1.1、Guaranteed：1.2、BestEffort：1.3、Burstable：2、Qos的工作特点3、示例三、资源配额管理
FlagEmbedding 吉小雨 python库 python
FlagEmbedding教程FlagEmbedding是一个用于生成文本嵌入（textembeddings）的库，适合处理自然语言处理（NLP）中的各种任务。嵌入（embeddings）是将文本表示为连续向量，能够捕捉语义上的相似性，常用于文本分类、聚类、信息检索等场景。官方文档链接：FlagEmbedding官方GitHub一、FlagEmbedding库概述1.1什么是FlagEmbeddi
神经网络-损失函数红米煮粥神经网络人工智能深度学习
文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
教师资格考试中学《教育知识与能力》知识点｜高频考点汇总小山丘
温馨提示：更多汇总详情留言小编哦！！！认知过程之易混知识点剖析社会中心课程论情绪——重要考点皮亚杰教你带孩子斯金纳强化规律你的心理足够强大吗?教育心理学的效应德育有规律常考人物思想之夸美纽斯中学常考教学原则孔子及《论语》中的重要教育思想教育学创立阶段人物之赫尔巴特学习策略分类知识点梳理教师资格证辨析题作答思路综合课程的类型班杜拉的学习理论马斯洛需要层次理论记忆类型的四大分类柏拉图和他的《理想国》感
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
MySQL锁沉着冷静2024 MySQL mysql 数据库
MySQL锁文章目录MySQL锁MySQL中锁的分类创建索引时会锁表吗线上修改表结构会加什么锁Innodb存储引擎的行级锁有哪些Update语句中，不带where条件，加什么锁？MySQL实现乐观锁MySQL死锁MySQL死锁是怎么发生的？检查死锁如何避免死锁MySQL中锁的分类全局锁：主要用于全库逻辑备份表级锁：表锁、元数据锁、意向锁表锁：通过locktables语句对表进行加锁，它不仅限制其他
数据结构 1 五花肉村长数据结构算法开发语言 c语言 visualstudio
1.什么是数据结构数据结构（DataStructure）是计算机存储和组织数据的方式，是指相互之间存在的一种或多种特定关系的数据元的集合。2.什么是算法算法（Algorithm）就是定义良好的计算过程，他取一个或一组的值为输入，并产生出一个或一组值作为输出。简单来说算法就是一系列的计算步骤，用来将输入数据转化成输出结果。3.数据结构和算法的书籍资料学习完数据结构知识，可以去看《剑指offer》和《
Python(PyTorch)和MATLAB及Rust和C++结构相似度指数测量导图亚图跨际 Python 交叉知识算法量化检查图像压缩质量低分辨率多光谱峰值信噪比端到端优化图像压缩手术机器人三维实景实时可微分渲染重建三维可视化
要点量化检查图像压缩质量低分辨率多光谱和高分辨率图像实现超分辨率分析图像质量图像索引/多尺度结构相似度指数和光谱角映射器及视觉信息保真度多种指标峰值信噪比和结构相似度指数测量结构相似性图像分类PNG和JPEG图像相似性近似算法图像压缩，视频压缩、端到端优化图像压缩、神经图像压缩、GPU变速图像压缩手术机器人深度估计算法重建三维可视化推理图像超分辨率算法模型三维实景实时可微分渲染算法MATLAB结构
书其实只有三类西蜀石兰类
一个人一辈子其实只读三种书，知识类、技能类、修心类。知识类的书可以让我们活得更明白。类似十万个为什么这种书籍，我一直不太乐意去读，因为单纯的知识是没法做事的，就像知道地球转速是多少一样（我肯定不知道），这种所谓的知识，除非用到，普通人掌握了完全是一种负担，维基百科能找到的东西，为什么去记忆？知识类的书，每个方面都涉及些，让自己显得不那么没文化，仅此而已。社会认为的学识渊博，肯定不是站在
《TCP/IP 详解，卷1：协议》学习笔记、吐槽及其他 bylijinnan tcp
《TCP/IP 详解，卷1：协议》是经典，但不适合初学者。它更像是一本字典，适合学过网络的人温习和查阅一些记不清的概念。这本书，我看的版本是机械工业出版社、范建华等译的。这本书在我看来，翻译得一般，甚至有明显的错误。如果英文熟练，看原版更好： http://pcvr.nl/tcpip/ 下面是我的一些笔记，包括我看书时有疑问的地方，也有对该书的吐槽，有不对的地方请指正： 1.
Linux—— 静态IP跟动态IP设置 eksliang linux IP
一.在终端输入 vi /etc/sysconfig/network-scripts/ifcfg-eth0 静态ip模板如下： DEVICE="eth0" #网卡名称 BOOTPROTO="static" #静态IP（必须） HWADDR="00:0C:29:B5:65:CA" #网卡mac地址 IPV6INIT=&q
Informatica update strategy transformation 18289753290
更新策略组件：标记你的数据进入target里面做什么操作，一般会和lookup配合使用，有时候用0,1,1代表 forward rejected rows被选中，rejected row是输出在错误文件里，不想看到reject输出，将错误输出到文件，因为有时候数据库原因导致某些column不能update，reject就会output到错误文件里面供查看，在workflow的
使用Scrapy时出现虽然队列里有很多Request但是却不下载，造成假死状态酷的飞上天空 request
现象就是：程序运行一段时间，可能是几十分钟或者几个小时，然后后台日志里面就不出现下载页面的信息，一直显示上一分钟抓取了0个网页的信息。刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成，但是水平有限研究源码未果。经过不停的google终于发现一个有价值的信息，是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.
利用预测分析技术来进行辅助医疗蓝儿唯美医疗
2014年，克利夫兰诊所（Cleveland Clinic）想要更有效地控制其手术中心做膝关节置换手术的费用。整个系统每年大约进行2600例此类手术，所以，即使降低很少一部分成本，都可以为诊所和病人节约大量的资金。为了找到适合的解决方案，供应商将视野投向了预测分析技术和工具，但其分析团队还必须花时间向医生解释基于数据的治疗方案意味着什么。克利夫兰诊所负责企业信息管理和分析的医疗
java 线程(一)：基础篇 DavidIsOK java 多线程线程
&nbs
Tomcat服务器框架之Servlet开发分析 aijuans servlet
最近使用Tomcat做web服务器，使用Servlet技术做开发时，对Tomcat的框架的简易分析：疑问：为什么我们在继承HttpServlet类之后，覆盖doGet(HttpServletRequest req, HttpServetResponse rep)方法后，该方法会自动被Tomcat服务器调用，doGet方法的参数有谁传递过来？怎样传递？分析之我见： doGet方法的
揭秘玖富的粉丝营销之谜与小米粉丝社区类似 aoyouzi 揭秘玖富的粉丝营销之谜
玖富旗下悟空理财凭借着一个微信公众号上线当天成交量即破百万，第七天成交量单日破了1000万;第23天时，累计成交量超1个亿……至今成立不到10个月，粉丝已经超过500万，月交易额突破10亿，而玖富平台目前的总用户数也已经超过了1800万，位居P2P平台第一位。很多互联网金融创业者慕名前来学习效仿，但是却鲜有成功者，玖富的粉丝营销对外至今仍然是个谜。　　近日，一直坚持微信粉丝营销
Java web的会话跟踪技术百合不是茶 url会话 Cookie会话 Seession会话 Java Web 隐藏域会话
会话跟踪主要是用在用户页面点击不同的页面时,需要用到的技术点会话:多次请求与响应的过程 1,url地址传递参数,实现页面跟踪技术格式:传一个参数的 url?名=值传两个参数的 url?名=值 &名=值关键代码
web.xml之Servlet配置 bijian1013 java web.xml Servlet配置
定义： <servlet> <servlet-name>myservlet</servlet-name> <servlet-class>com.myapp.controller.MyFirstServlet</servlet-class> <init-param> <param-name>
利用svnsync实现SVN同步备份 sunjing SVN 同步 E000022 svnsync 镜像
1. 在备份SVN服务器上建立版本库 svnadmin create test 2. 创建pre-revprop-change文件 cd test/hooks/ cp pre-revprop-change.tmpl pre-revprop-change 3. 修改pre-revprop-
【分布式数据一致性三】MongoDB读写一致性 bit1129 mongodb
本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括：数据一致性概述与CAP 最终一致性(Eventually Consistency) 网络分裂(Network Partition)问题多数据中心(Multi Data Center) 多个写者(Multi Writer)最终一致性一致性图表(Consistency Chart) 数据
Anychart图表组件-Flash图转IMG普通图的方法白糖_ Flash
问题背景：项目使用的是Anychart图表组件，渲染出来的图是Flash的，往往一个页面有时候会有多个flash图，而需求是让我们做一个打印预览和打印功能，让多个Flash图在一个页面上打印出来。那么我们打印预览的思路是获取页面的body元素，然后在打印预览界面通过$("body").append(html)的形式显示预览效果，结果让人大跌眼镜：Flash是
Window 80端口被占用 WHY? bozch 端口占用 window
平时在启动一些可能使用80端口软件的时候，会提示80端口已经被其他软件占用，那一般又会有那些软件占用这些端口呢？下面坐下总结： 1、web服务器是最经常见的占用80端口的，例如：tomcat , apache , IIS , Php等等； 2
编程之美-数组的最大值和最小值-分治法（两种形式） bylijinnan 编程之美
import java.util.Arrays; public class MinMaxInArray { /** * 编程之美数组的最大值和最小值分治法 * 两种形式 */ public static void main(String[] args) { int[] t={11,23,34,4,6,7,8,1,2,23}; int[]
Perl正则表达式 chenbowen00 正则表达式 perl
首先我们应该知道 Perl 程序中，正则表达式有三种存在形式，他们分别是：匹配：m/<regexp>;/ （还可以简写为 /<regexp>;/ ，略去 m）替换：s/<pattern>;/<replacement>;/ 转化：tr/<pattern>;/<replacemnt>;
[宇宙与天文]行星议会是否具有本行星大气层以外的权力呢? comsci
举个例子: 地球,地球上由200多个国家选举出一个代表地球联合体的议会,那么现在地球联合体遇到一个问题,地球这颗星球上面的矿产资源快要采掘完了....那么地球议会全体投票,一致通过一项带有法律性质的议案,既批准地球上的国家用各种技术手段在地球以外开采矿产资源和其它资源........ &
Oracle Profile 使用详解 daizj oracle profile 资源限制
Oracle Profile 使用详解转一、目的： Oracle系统中的profile可以用来对用户所能使用的数据库资源进行限制，使用Create Profile命令创建一个Profile，用它来实现对数据库资源的限制使用，如果把该profile分配给用户，则该用户所能使用的数据库资源都在该profile的限制之内。二、条件：创建profile必须要有CREATE PROFIL
How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis dengkane elasticsearch Lucene
This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not
循环小示例，菲波拉契序列，循环解一元二次方程以及switch示例程序 dcj3sjt126com c 算法
# include <stdio.h> int main(void) { int n; int i; int f1, f2, f3; f1 = 1; f2 = 1; printf("请输入您需要求的想的序列："); scanf("%d", &n); for (i=3; i<n; i
macbook的lamp环境 dcj3sjt126com lamp
sudo vim /etc/apache2/httpd.conf /Library/WebServer/Documents 是默认的网站根目录重启Mac上的Apache服务这个命令很早以前就查过了，但是每次使用的时候还是要在网上查：停止服务：sudo /usr/sbin/apachectl stop 开启服务：s
java ArrayList源码下 shuizhaosi888 ArrayList源码
版本 jdk-7u71-windows-x64 JavaSE7 ArrayList源码上：http://flyouwith.iteye.com/blog/2166890 /** * 从这个列表中移除所有c中包含元素 */ public boolean removeAll(Collection<?> c) {
Spring Security（08）——intercept-url配置 234390216 Spring Security intercept-url 访问权限访问协议请求方法
intercept-url配置目录 1.1 指定拦截的url 1.2 指定访问权限 1.3 指定访问协议 1.4 指定请求方法 1.1 &n
Linux环境下的oracle安装 jayung oracle
linux系统下的oracle安装本文档是Linux(redhat6.x、centos6.x、redhat7.x) 64位操作系统安装Oracle 11g(Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production)，本文基于各种网络资料精心整理而成，共享给有需要的朋友。如有问题可联系：QQ：52-7
hotspot虚拟机 leichenlei java HotSpot jvm 虚拟机文档
JVM参数 http://docs.oracle.com/javase/6/docs/technotes/guides/vm/index.html JVM工具 http://docs.oracle.com/javase/6/docs/technotes/tools/index.html JVM垃圾回收 http://www.oracle.com
读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” noaighost Web node.js
读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” 眼里的Node.JS 初初接触node是一年前的事，那时候年少不更事。还在纠结什么语言可以编写出牛逼的程序，想必每个码农都会经历这个月经性的问题：微信用什么语言写的？facebook为什么推荐系统这么智能，用什么语言写的？dota2的外挂这么牛逼，用什么语言写的？……用什么语言写这句话，困扰人也是阻碍
快速开发Android应用 rensanning android
Android应用开发过程中，经常会遇到很多常见的类似问题，解决这些问题需要花时间，其实很多问题已经有了成熟的解决方案，比如很多第三方的开源lib，参考 Android Libraries 和 Android UI/UX Libraries。编码越少，Bug越少，效率自然会高。但可能由于根本没听说过、听说过但没用过、特殊原因不能用、自己已经有了解决方案等等原因，这些成熟的解决
理解Java中的弱引用 tomcat_oracle java 工作面试
　不久之前，我面试了一些求职Java高级开发工程师的应聘者。我常常会面试他们说，“你能给我介绍一些Java中得弱引用吗？”，如果面试者这样说，“嗯，是不是垃圾回收有关的？”，我就会基本满意了，我并不期待回答是一篇诘究本末的论文描述。　　然而事与愿违，我很吃惊的发现，在将近20多个有着平均5年开发经验和高学历背景的应聘者中，居然只有两个人知道弱引用的存在，但是在这两个人之中只有一个人真正了
标签输出html标签" target="_blank">关于标签输出html标签 xshdch jsp
http://back-888888.iteye.com/blog/1181202 关于<c:out value=""/>标签的使用，其中有一个属性是escapeXml默认是true(将html标签当做转移字符，直接显示不在浏览器上面进行解析)，当设置escapeXml属性值为false的时候就是不过滤xml，这样就能在浏览器上解析html标签， &nb