hongguoya
hongguoya

论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer

系列文章目录

提示：这是第一篇，以后再添加

FLAT: Chinese NER Using Flat-Lattice Transformer

  • 系列文章目录
  • 前言
  • 一、基础概念
  • 二、本文

前言

本论文相关工作被ACL2020会议接收。 近年来，将词典信息加入模型被证明对中文命名实体识别任务很有效。但是结合词典的方法通常会使输入变为一个动态的结构，模型需要在运行时动态改别结构来表征输入，导致无法有效利用GPU的并行计算，运行速度缓慢。因此提出了FLAT模型，在Transformer的基础上，采用一个特殊的位置编码表征输入结构，而不需要在运行时改变结构来表征输入。实验结果显示我们的模型在识别实体的正确率以及运行速度上均有良好的表现。

一、基础概念

命名实体识别 Named Entity Recognition (NER) ：

  • 从句子中抽取出一些具有特定含义的实体：组织名，地名，人名等，给定正确的分类。
  • 目前NER一般被当作是一个序列标注任务：即在一个句子中的实体信息，会被转化成一个特定的标注序列
  • 序列标注问题的数据标注方式主要有：BIO和BIOES。
    其中：
    B，即Begin，表示开始
    I，即Intermediate，表示中间
    E，即End，表示结尾
    S，即Single，表示单个字符
    O，即Other，表示其他，用于标记无关字符
    如：小明在北京大学的燕园看了中国男篮的一场比赛
    [B-PER ，E-PER，O, B-ORG，I-ORG，I-ORG，E-ORG，O，B-LOC，E-LOC，O，O，B-ORG，I-ORG，I-ORG，E-ORG，O，O，O，O]
    模型训练完成后，模型根据输入的句子来输出对应的标签序列
    将标签序列转化为对应的实体信息，用于后续的性能测评与应用
  • ＮＥＲ是ＮＬＰ中一个比较基础的上游任务，对很多任务来说都是很关键的：①提升信息检索的质量：在百度搜索“新垣结衣”，百度会将其识别为人名，从数据库中找出她的信息　②帮助抽取知识图谱的三元组（两个实体以及他们之间的关系，如：我居住在厦门。我和厦门的关系就是居住）。过程是：先ＮＥＲ，找出其中含有的实体，关系抽取确定各个实体之间的关系
  • 深度学习框架下的NER模型
    标签解码器
    上下文编码器（建模词在句子中的语义）
    输入表示层（将构成句子的离散记号映射到一个连续空间里）
  • 常见的输入表示层
    Word Embedding：直接找到词的向量表示
    Glove／Ｗｏｒｄ２Ｖｅｃ／Ｒａｎｄｏｍ　Ｉｎｉｔ
    Character Embedding：编码字符序列得到词在ｃｈａｒ－ｌｅｖｅｌ表示
    ＲＮＮ／ＣＮＮ／Ｔｒａｎｓｆｏｒｍｅｒ　ｂａｓｅｄ　ｃｈａｒ－ｌｅｖｅｌ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ
    Pretrained Contextual Embedding：预训练好的语言模型：生成的表示携带了上下文信息，能根据不同的语境为同一个词生成不同的表示，在一定程度上承担了上下文编码器的工作
  • 常见的上下文编码器模型：①ＲＮＮ：循环神经网络，较好地建模词之间的依赖，且性能稳定，但由于其循环结构，导致运行速度慢　②CNN：卷积神经网络，在句子级别上并行运行，速度快，但由于局部建模的特性，故难以建立长距离的依赖　③Transformer　Encoder：计算简单且并行，速度快，能直接建立长距离依赖，但由于本身的某些特性，在小数据集上表现差
  • 常用的标签解码器：①MLP　＋　Ｓｏｆｔｍａｘ：在得到每个词的表示后，直接用一个线性层得到改词所对应的各个标签的分数　②条件随机场：Conditional　Random　Field（ＣＲＦ），可以建模标签序列内部的依赖，如Ｂ－ＰＥＲ后不能接Ｉ－ＯＲＧ，从而避免发生错误转移
  • 中文NER: 由于中英文的不同特性:英文有空格,基本单元是词,中文的基本单元是字,意义更不明显,故在进行中文NER时,会先考虑怎么断句(怎么分词),再考虑句子的意思
  • 对一个没有提供额外分词信NER只能基于字符来做,但又会失去词的信息
  • 中文NER的关键问题:如何在不分词的情况下向字符级别的序列中加入词信息
  • 词典匹配:Lexicon matching,近年来中文NER paper大都采用词典匹配的方式向字符级别的句子中加入词信息:即将一个句子与一个词典进行匹配(词典是包含很多词的列表);每匹配到一个词就为这个词生成新结点;链接入边和出边;为每个词生成新的向量表示,将其和字向量一起送给上下文编码器

二、本文

  • 用Transformer来编码Lattice,优势:①能直接建模任意两个结点间的依赖,每个字/词都能接收到所有字/词的信息 ②计算过程是静态的,不论输入的lattice结构怎么变,我们的计算过程不变,使运行效率高
  • 之前的研究表明位置信息很重要
  • Transformer用123等数字序列来代表每个字在句子中的位置,这种用在序列上的位置编码方式很难直接迁移到lattice
  • 本文提出了一种新的lattice位置编码方式,①给每个字一个位置标签 ②给每个词两个位置标签,头是词的第一个字的位置标签,尾是词的最后一个字的位置标签
  • 整体构架:①用头尾信息计算每两个结点间的四个相对距离 ②用多层全连接对四个相对距离的表示进行融合 ③用相对位置编码的方式将融合后的信息给self-attention -->可以得到两个结点的相对位置关系
  • 论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer_第1张图片

论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer_第2张图片
在这里插入图片描述
在这里插入图片描述

  • 数据集
    论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer_第3张图片

  • 性能
    论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer_第4张图片

  • 速度
    论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer_第5张图片
    基于图网络的模型跑得快
    FLAT跑得比其他结合词典的模型快
    FLAT从Batch并行化中获得的加速比高

  • 本文贡献:①基于Transformer设计了一种巧妙position encoding来融合Lattice结构，可以无损的引入词汇信息。②基于Transformer融合了词汇信息的动态结构，支持并行化计算，可以大幅提升推断速度。

参考:
知乎读论文
FLAT：中文NER屠榜之作！
论文下载

你可能感兴趣的:(NER)

  • pyhanlp最全安装和使用教程 Cachel wood 自然语言处理nlp分类数据挖掘人工智能pythonpandaspyhanlpnlp
    文章目录pyhanlp介绍pyhanlp安装分词关键词提取文本摘要依存句法分析短语提取NER中国人名识别音译名识别简繁转换拼音转换pyhanlp可视化pyhanlp介绍HanLP是一个由中国开发者何晗(hankcs)于2014年开发的自然语言处理库，自发布之后，HanLP不断更新迭代，进行了许多新功能和性能的优化，Github上Star数量已超过3w，其在主流自然语言工具包中非常受欢迎。HanLP
  • 利用PaddleNLP进行文本数据脱敏 weixin_37763484 python数据挖掘深度学习数据挖掘自然语言处理深度学习paddle
    最近在脱敏一些客服数据，同事用正则进行了一些处理，但是感觉针对人名、数量等信息还是无法处理，例如“北方种植了很多李子树”，李子树有可能被识别为人名，又如“美国采购坦克1005台，价值4500万比索”，如果之前的正则中没有“台”和“比索”两个词汇，就无法识别。如果在脱敏过程中忽略了人名、数量等信息，可能造成严重后果。因此尝试使用了paddlenlp中的taskflow进行处理。主要思路就是利用ner
  • 【ChatIE】论文解读：Zero-Shot Information Extraction via Chatting with ChatGPT Bigcrab__ 神经网络Tensorflowchatgpt人工智能深度学习
    文章目录介绍ChatIEEntity-RelationTripleExtration(RE)NamedEntityRecognition(NER)EventExtraction(EE)实验结果结论论文：Zero-ShotInformationExtractionviaChattingwithChatGPT作者：XiangWei,XingyuCui,NingCheng,XiaobinWang,Xin
  • python - OSError：错误没有名为 [‘pytorch_model.bin‘ Wwwilling pythonpytorch开发语言
    python-OSError：错误没有名为[‘pytorch_model.bin’]自己训练的模型存储好了以后model=MT5ForConditionalGeneration.from_pretrained(“ner/best”)之前还可以跑现在报错错误没有名为[‘pytorch_model.bin’]还原了一下condaenv把四版变成三版了所以如果遇到类似问题要倒过来恢复成功
  • 2022-03-19 跨象乘云
    自然语言处理实验演示-09.命名实体识别（NamedEntityRecognition(NER)）命名实体识别（NamedEntityRecognition，简称：NER），又称作专名识别，是指识别文本中具有特定意义的实体，主要包括：人名、地名、机构名、专有名词等。简单而言就是识别自然文本中的实体指称的边界和类别。Chunking是把单词组合成分块(chunk)的过程，可以用来查找名词组和动词组，
  • 文本信息抽取模型介绍——实体抽取方法：NER模型（下） 合合技术团队 【通用文本信息抽取技术白皮书】ocr人工智能
    3.1.4常用的实体抽取模型LatticeLSTM新加坡科技设计大学的研究者2018年在论文《ChineseNERUsingLatticeLSTM》中提出了新型中文命名实体地识别方法LatticeLSTM。作为信息抽取的一项基本任务，命名实体识别（NER）近年来一直受到研究人员的关注。该任务一直被作为序列标注问题来解决，其中实体边界和类别标签被联合预测。英文NER目前的最高水准是使用LSTM-CR
  • 3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】 深度之眼 深度学习干货人工智能干货人工智能3D高斯神经辐射场
    CV玩家们，知道3D高斯吗？对，就是计算机视觉最近的新宠，在几个月内席卷三维视觉和SLAM领域的3D高斯。不太了解也没关系，我今天就来和同学们一起聊聊这个话题。3DGaussianSplatting（3DGS）是用于实时辐射场渲染的3D高斯分布描述的一种光栅化技术，具有高质量和实时渲染的能力。如果说NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态，那么3D高斯则是在NeR
  • 命名实体识别（NER）评测 乔咏田
    简介命名实体识别评测方式分为两种，一是通用的基于token标签进行直接评测，二是考虑实体边界+实体类型的评测。标签评测不考虑实体类型与实体边界，直接进行评测。实体边界+实体类型A、完全匹配1、实体边界与实体类型都匹配正确；2、预测出的实体在测试集中不存在；3、测试集中的实体，没有被预测出来；B、部分匹配（重叠）4、实体边界正确，类型不正确；5、边界错误（边界重叠）；6、边界错误，实体类型也错误评估
  • NER zelda2333
    基操：超详细保姆级讲解&提供代码：基于深度学习的命名实体识别与关系抽取值得一看的命名实体识别的总结：中文命名实体识别总结师兄给的教程：GithubChineseNER针对教程讲解的文章：用深度学习做命名实体识别(附代码)
  • Python-Flair 实现英文命名实体识别(NER) 小小晓晓阳 NLPpython开发语言nlpNER
    一、什么是Flair库？Flair是由ZalandoResearch开发的一个简单的自然语言处理（NLP）库。Flair的框架直接构建在PyTorch上，PyTorch是最好的深度学习框架之一。ZalandoResearch团队还为以下NLP任务发布了几个预先训练的模型：1.名称-实体识别（NER）：它可以识别单词是代表文本中的人，位置还是名称。2.词性标注（PoS）：将给定文本中的所有单词标记为
  • 【NeRF和NLP】一些观察感悟，碎碎念 Deno_V 人工智能
    NeRF的paper，有几个感想：NeRF读的时候感觉和diffusion思路特别像，训练目标是一个很小很小的子步骤，大大简化了训练难度NeRF建模的是“真实”世界，其用模型隐含的存储了真实世界的体素（场）模型，而模型输出二维图片的方法本质上和模型所建模的内容无关（采用的是体素渲染的方式）。【对比大语言模型】大语言模型也是隐藏的建模了人类知识，但是大语言的模型输出并没有和模型的内容独立开来。NeR
  • bert+crf可以做NER，那么为什么还有bert+bi-lstm+crf ? Maann NLPbertlstm深度学习
    1.关于BERT做NER要不要加CRF层？关于BERT做NER，最简单的方式就是序列标注方法，以BERT得到token的embedding，后接softmax直接输出预测token的标签。其实这种方案做NER也不错，为什么有些人会采用CRF替代softmax，softmax比较简单就是基于tokenembedding进行标签概率计算。而CRF的原理上理解是，CRF是全局无向转移概率图，能有效考虑词
  • NLP任务之Named Entity Recognition sunshine2853 自然语言处理人工智能深度学习
    深度学习的实现方法：双向长短期记忆网络（BiLSTM）:BiLSTM是一种循环神经网络（RNN）的变体，能够捕捉序列数据中的长期依赖关系。在NER任务中，BiLSTM能有效地处理文本序列，捕捉前后文本的依赖关系。条件随机场（CRF）:CRF经常与BiLSTM结合使用，形成BiLSTM-CRF模型。CRF层能够在序列标注任务中提供额外的约束，帮助模型更准确地预测实体标签。变压器（Transforme
  • CRF条件随机场学习记录 V丶Chao 深度学习安全研究-威胁情报学习
    阅读建议仔细阅读书[1]对应的序列标注章节，理解该方法面向的问题以及相关背景，然后理解基础的概念。引言威胁情报挖掘的相关论文中，均涉及到两部分任务：命名实体识别（NamedEntityRecognition，NER）和关系抽取，大多数网安实现NER的方法，采用比较多的方法包含：BiLstm+CRF或者Bert+CRF。其中条件随机场（conditionalrandomfields,CRF），这个模
  • 基于对比学习的信息抽取 wang2008start 对比学习信息抽取自然语言处理
    LabelRefinementviaContrastiveLearningforDistantly-SupervisedNamedEntityRecognitionNAACL2022；做的远程监督NER，通过知识库构建伪标签，通过对比学习构建负样本，负样本是entity的多余部分或其他不相关部分。即对entity的start和end上面做负样本的构造和生成RCL:RelationContrasti
  • kashgari的Python项目-NLP框架(实体识别（NER）、词性标注（PoS）和文本分类任务) javastart 自然语言pythonkeras深度学习
    简单而强大的NLP框架，在5分钟内为命名实体识别（NER）、词性标注（PoS）和文本分类任务构建最新模型喀什是：人性化。喀什噶尔的代码是直截了当的，有很好的文档和测试，这使得它非常容易理解和修改。功能强大且简单。喀什允许您将最先进的自然语言处理（nlp）模型应用于文本，如命名实体识别（ner）、词性标注（pos）和分类。keras基础。Kashgare直接构建在Keras上，使您可以轻松地训练模型
  • CVPR 2023: DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields 结构化文摘 人工智能深度学习计算机视觉数据挖掘
    我们使用以下6个分类标准来解释本文的研究主题：1.神经表示:隐式:这种表示使用神经网络直接将空间中的3D点映射到其颜色和密度。网络充当“黑盒”函数，其内部工作原理无法直接解释。示例包括NeRF、MPR-NeRF和Plenoxels。显式:这种表示将每个体素或顶点的颜色和密度信息存储在3D网格或网格中。这使场景几何更加明确易懂，但也需要大量内存，并且渲染起来可能很耗费计算资源。示例包括SDF-NeR
  • BERT-文本分类&NER poins bert分类人工智能
    BERT文本分类训练样本训练数据：18W条评估数据：1W条测试数据：1W条体验2D巅峰倚天屠龙记十大创新概览860年铁树开花形状似玉米芯(组图)5同步A股首秀：港股缩量回调2中青宝sg现场抓拍兔子舞热辣表演8锌价难续去年辉煌02岁男童爬窗台不慎7楼坠下获救(图)5布拉特：放球员一条生路吧FIFA能消化俱乐部的攻击7金科西府名墅天成1状元心经：考前一周重点是回顾和整理3训练代码https://git
  • 2021-03-01 ner最新进展 你若安好_4a49
    2021.3.11.ACL2020|TriggerNER：高效命名实体识别框架摘要：本文由南加州大学和亚马逊联合发布，文章题目为《TriggerNER:LearningwithEntityTriggersasExplanationsforNamedEntityRecognition》，已经被ACL2020录用。文章针对命名实体识别中存在的需要大量耗时耗力的人工标注工作现状提出了方法TriggerN
  • 中文自然语言处理（NLP）中的命名实体识别（NER）任务中，加入注意力（attention）机制 sagima_sdu 自然语言处理人工智能
    在中文自然语言处理（NLP）中的命名实体识别（NER）任务中，加入注意力（attention）机制可以极大地提升模型的性能。注意力机制可以帮助模型更好地捕捉序列中的关键信息和上下文依赖关系，从而提高对命名实体的识别准确度。下面是一些关于注意力机制的具体作用和不同类型的概述：注意力机制的作用：捕捉长距离依赖：注意力机制可以帮助模型更好地处理长距离的依赖关系，这在处理长句子时尤为重要。关注关键信息：通
  • 中文自然语言处理（NLP）的命名实体识别（NER）任务常见序列标注方法 sagima_sdu 自然语言处理人工智能
    中文NLP的NER任务中的数据集序列标注方法，主要有以下几种常用的标注方案：BIO标注法（Begin-Inside-Outside）：B（Begin）表示实体的开始部分。I（Inside）表示实体的中间部分。O（Outside）表示非实体部分。例如，“北京是中国的首都”，如果要标注“北京”为地名，会标为“B-地名I-地名OOOOO”。BIOES标注法（Begin-Inside-Outside-En
  • NLP NER 任务中的精确度（Precision）、召回率（Recall）和F1值 sagima_sdu 自然语言处理人工智能
    在自然语言处理（NLP）中的命名实体识别（NER）任务中，精确度（Precision）、召回率（Recall）和F1值是评估模型性能的关键指标。这些指标帮助我们了解模型在识别正确实体方面的效率和准确性。精确度（Precision）：精确度是指模型正确识别的命名实体数与模型总共识别出的命名实体数（包括正确和错误的）的比例。精确度越高，意味着模型在它识别为实体的结果中有更高的准确性。公式表示为：[Pr
  • IDCNN（迭代扩张卷积神经网络）在NLP-NER任务中的应用 sagima_sdu cnn自然语言处理人工智能
    IDCNN（迭代扩张卷积神经网络）在NLP-NER任务中的应用IDCNN（IteratedDilatedConvolutionalNeuralNetwork）是一种特别设计的卷积神经网络（CNN），用于处理自然语言处理（NLP）中的序列标注问题，例如命名实体识别（NER）。IDCNN的关键特点是使用了扩张卷积（DilatedConvolution），这是一种可以增加感受野（即网络可以观察到的输入序
  • 使用YEDDA标注得到BIO或者BMES格式的数据集 sagima_sdu nlp自然语言处理目标跟踪
    YEDDA是一个文本标注工具，专门用于快速有效地进行文本标注，尤其适用于命名实体识别（NER）任务。这个工具主要的特点和优势包括：快速标注：YEDDA提供了一种高效的方式来进行文本标注。它允许用户通过预设的快捷键快速为文本中的实体分配标签，这大大加速了标注过程。支持多种标注模式：该工具支持常见的序列标注模式，如BIO、BIOES等，使其适用于多种不同的NER任务。可定制性：用户可以根据自己的需求自
  • NLP学习（1） Tang_Genie
    一NER任务的认识参考：https://www.6aiq.com/article/15938787526711.Overiew/Introduction文本数据结构化是NLP最有价值的任务。一个句子中，命名实体更受到人们的关注。中文分词任务关注句子中的词汇之间的边界，词性标注关注这些被分出边界的词在词法上的类型。而命名实体识别关注的是命名实体的边界。它的粒度通常比中文分词要粗——是多个单词构成的复
  • Bert模型的基本原理与Fine-tuning zhong_ddbb 深度学习自然语言处理推荐系统自然语言处理BERThilberttransform
    文章目录基本原理BERT的输入Fine-tuning（微调）BERT用于sequence的分类任务BERT用于问答任务BERT用于NER（实体命名识别）本文主要讲解Bert模型的基本原理与Fine-tuning。基本原理BERT是一种预训练语言模型，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类
  • NLP（五）命名实体识别（NER） TFATS 算法nlppythonnlp
    本文将会简单介绍自然语言处理（NLP）中的命名实体识别（NER）。一，什么是命名实体识别1，命名实体识别简介  命名实体识别（NamedEntityRecognition，简称NER）是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机
  • NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑） Eric_1694
    课程名称：NLP高手之路101课（模型、算法、论文、源码、案例+1年答疑）课程关键词：NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transferlearning、ConversationalAI、Classifiers、Policies、DialogueManagement、NER、Pre-training、Fine-tuning、DIET、TED、Simple
  • 【大语言模型NER处理-进行标注生成】 天池小天 语言模型人工智能自然语言处理
    Qwen进行NER识别目录Qwen进行NER识别前言一、QWEN_NER1.引入库2.封装主函数相似度处理实际匹配标签(例子)获取结果总结前言chatgpt出来的时候就想过将其利用在信息抽取方面，后续也发现了不少基于这种大语言模型的信息抽取的论文，比如之前收集过的：：https://github.com/cocacola-lab/GPT4IEhttps://github.com/RidongHan
  • 一个便于标注序列标注任务数据（NLP任务）的工具 dengxc
    日常的工作可能不是那么一帆风顺，有的时候需要苦逼的自己去标注数据（没错就是我。。哈哈）。标注工作听起来很容易，但是一般的分类的任务还好说，几个分类就设几个文件夹，但是对于NLP的序列标注任务可能就没有那么方便了~本文章分享了一个笔者自己调整后的使用于序列标注任务的工具【NER_label_dxc】。欢迎大家来使用~~~本工具也是踩在巨人的肩膀上的~首先要感谢的就是巨人们的工作。本工具的框架基本上是
  • 多线程编程之卫生间 周凡杨 java并发卫生间线程厕所
    如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
  • How to Install GUI to Centos Minimal sunjing linuxInstallDesktopGUI
    http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html   I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
  • Shell 函数 daizj shell函数
    Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
  • Linux服务器新手操作之一 周凡杨 Linux 简单 操作
    1.whoami      当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。      此时可以使用whoami命令。      [ecuser@HA5-DZ05 ~]$ whoami       e
  • 浅谈Socket通信（一） 朱辉辉33 socket
    在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。    首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包    ServerSock
  • 关于框架的简单认识 西蜀石兰 框架
    入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。 前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。 后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。 都说学前端的要知道三大框架，目前node.
  • You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
    You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids  ) values('0ac91f167f754c8cbac00e9e3dc372
  • MySQL5.6的my.ini配置 aigo mysql
    注意：以下配置的服务器硬件是：8核16G内存    [client]   port=3306   [mysql]   default-character-set=utf8     [mysqld]   port=3306   basedir=D:/mysql-5.6.21-win
  • mysql 全文模糊查找 便捷解决方案 alxw4616 mysql
    mysql 全文模糊查找 便捷解决方案 2013/6/14 by 半仙 [email protected] 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
  • 自定义数据结构 链表(单项 ,双向,环形) 百合不是茶 单项链表双向链表
         链表与动态数组的实现方式差不多,    数组适合快速删除某个元素    链表则可以快速的保存数组并且可以是不连续的       单项链表;数据从第一个指向最后一个   实现代码:        //定义动态链表 clas
  • threadLocal实例 bijian1013 javathreadjava多线程threadLocal
    实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
  • activemq安全设置—设置admin的用户名和密码 bijian1013 javaactivemq
            ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
  • 【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
    本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。   范型内容 范型集合类 范型类
  • 【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
    在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*5
  • Nginx 官方一个配置实例 ronin47 nginx 配置实例
    user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
  • java-15.输入一颗二元查找树，将该树转换为它的镜像， 即在转换后的二元查找树中，左子树的结点都大于右子树的结点。 用递归和循环 bylijinnan java
    //use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
  • 返回null还是empty bylijinnan javaapachespring编程
    第一个问题，函数是应当返回null还是长度为0的数组（或集合）？ 第二个问题，函数输入参数不当时，是异常还是返回null？ 先看第一个问题 有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》） 理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
  • [科技与项目]工作流厂商的战略机遇期 comsci 工作流
          在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。         在微软，甲骨文，谷歌，IBM,SONY
  • 过度设计-举例 cuityang 过度设计
    过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。 未来的事情，比如 访问量，比如数据库的容量，比如是否需要改成分布式  都是无法预料的 再举一个例子，对闰年的判断逻辑： 　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if (   ($Year%4==0  &am
  • java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
    记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
  • 网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
      协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。 　　两类服务： 　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
  • mac中用命令行运行mysql dcj3sjt126com mysqllinuxmac
    参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html  感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
  • MongDB查询（1）——基本查询[五] eksliang mongodbmongodb 查询mongodb find
    MongDB查询 转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....}  参数含义： query:查询参数 fie
  • base64，加密解密 经融加密，对接 y806839048 经融加密对接
    String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
  • JavaWeb之JSP概述 ihuning javaweb
      什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。   JSP起源    在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。  如果使用Servl
  • apple watch 指南 啸笑天 apple
    1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina） 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
  • java经典的基础题目 macroli java编程
    1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
  • 你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象regex
    var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
  • [一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hivehive分析表hive统计信息hive Statistics
    关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建
  • Spring Boot 1.2.5 发布 wiselyman spring boot
        Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。   这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。   官方建议所有的Spring Boot用户升级这个版本。   项目首页 | 源
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他