Lexer

Go 译文之词法分析与解析 Part Three

这篇文章主要是关于INI解释器的parser实现，它会从上一节中Lexer中接收Token解析，最终返回给使用者具有实际意义的结构体。读了这个系列的文
波罗学·2019-08-01 00:00

drds expect id or * after '.'. lexer state

drds插入数据报如下错误Errorcause:expectidor*after'.'.lexerstate根据日志把日志中的sql放到客服端入库也不行，看了一下sql字段有一个高亮原来是mysql的关键字，后面加上引号``后就可以了，建议大家不要使用关键字作为表字段，即便加``
Green_1001·2019-01-21 16:31

第三章-词法分析

Lexer表示词法分析器，而实现这个接口的Scanner与DocCommentScanner可以将输入的ASCII字符流与Unicode转义字符转换为合法的Token流。
归去来兮辞·2018-09-24 13:00

关于词法分析和语法分析

由于我对scala较为熟悉，所以自此开始着手进行lexer和parser的编写。抛弃那些专业术语，从业余的角度来讲，要完成对源码的解析和分割，着色和打印，需要解决以下几个问题。
JAVAInMyHeart·2018-07-16 13:39

ScintillaNET Lua 代码折叠

github上有Cpp的示例代码，但是把Lexer改成LUA后没有效果，折腾了好久终于发现问题首先需要把代码折叠的关键词设置到Keywords0里面_editor.SetKeywords(0,"andbreakdoelseelseifendforfunctionifinlocalnilnotorrepeatreturnthenuntilwhile
秋月夜汐·2018-04-26 18:18

百度 自然语言处理API

接口名称描述lexer分词,词性标注depParser句子结构分析wordEmbedding转换为词向量dnnlm语法分析,看是否符合语言表达习惯wordSimEmbedding词语相似度simnet文本相似度
Claroja·2018-04-18 16:39

llvm样例parser解析

tutorial中这个Parser主要分为三个部分,lexer
vincent_xyb·2018-04-01 00:00

如何用c++做一个编译器(一)

Lexer.hLexer.cpp1.Lexer:词法分析器构造：通过文件名来构造功能：使用fstream读取一个文件，并进行词法分析，getToken()接口为语法分析顺序提供单词成员hashMap：是利用链表法解决冲突的哈希表
Mr_W1997·2017-10-01 08:41

Angularjs 1.3 中的$parse实例代码

关于内置方法的，核心有两块：Lexer和Parser。其中大家对$parse可能更了解一点。
无码帝·2017-09-14 09:26

数据库中间件 Sharding-JDBC 源码分析 —— SQL 解析（一）之语法解析

1.概述2.Lexer词法解析器3.Token词法标记3.2.1Liter
芋艿V·2017-07-24 00:06

oracle 全文检索创建脚本示例

--创建全文索引grantexecuteonctx_ddltousername;--使用其他帐号对username授权execctx_ddl.create_preference('my_lexer','
程序员一一涤生·2016-07-29 17:00

简单词法分析器java版本

用于输出error.txtWord为关键字定义，将关键字信息保存在Word中，用于对单词的验证Lexer为词法分析核心类，包含对源程序的分析函数，供外部调用Error.java错误提示类/***错误信息
ja_rome·2016-05-31 20:44

前端必读：浏览器内部工作原理 （重点了解浏览器Lexer，）

浏览器可以被认为是使用最广泛的软件，本文将介绍浏览器的工作原理，我们将看到，从你在地址栏输入google.com到你看到google主页过程中都发生了什么。将讨论的浏览器今天，有五种主流浏览器——IE、Firefox、Safari、Chrome及Opera。本文将基于一些开源浏览器的例子——Firefox、Chrome及Safari，Safari是部分开源的。根据W3C（WorldWideWebC
Htecne·2016-05-24 21:48

atitit.词法分析原理 词法分析器 (Lexer)

atitit.词法分析原理 词法分析器(Lexer) 1.词法分析（英语：lexicalanalysis）12.
attilax·2016-04-23 01:00

Atitit.sql ast 表达式 语法树 语法 解析原理与实现 java php c#.net js python

SQL语句解析的思路和过程32.1. lexer作为一个工具，完成了对SQL字符串的切割，将语句转化成一个tokens数组。32.2. 
attilax·2016-02-16 01:00

Atitit.sql ast 表达式 语法树 语法 解析原理与实现 java php c#.net js python

SQL语句解析的思路和过程32.1. lexer作为一个工具，完成了对SQL字符串的切割，将语句转化成一个tokens数组。32.2. 
attilaxAti·2016-02-16 01:00

学习 Python 源码(五) 解析器

因此让我们自己来学习吧.大致上来讲, Python语言执行程序的过程分为几个步骤:  1.从文件或控制台获取输入,在词法器(lexer)中分解为一个一个的符号(token)
刘军兴·2016-01-04 14:00

oracle 全文索引

--ctx_ddl.drop_preference('cnlex');    --ctx_ddl.create_preference('cnlex','CHINESE_LEXER
·2015-11-13 05:28

automake&autoconf生成makefile

~~~~~~~~~~~ 题目要求 ~~~~~~~~~~~ 一个项目由一个lex文件, 一个c文件构成, 其中文件lexer.l 代码如下 %{ int fee_count = 0;
·2015-11-13 04:19

全文索引--自定义chinese_lexer词典

全文索引它的数据字典本来就是自己加密过的数据格式，只有翻译过来了，才可以修改。这样修改后再生成它自己的数据格式文件，覆盖掉原来的，就会将新添加的关键词加入进去了！！ 以下操作是在Oracle服务器安装的计算机上 1、C:\app\shiying10hao\product\12.1.0\dbhome_1\ctx\data\zhlx C:\Users\fengjun>ctxlc -zht -
·2015-11-12 10:09

Lexer and parser generators (ocamllex, ocamlyacc)

Chapter 12 Lexer and parser generators (ocamllex, ocamlyacc) This chapter describes two program generators
·2015-11-11 13:28

【java】【HtmlParser】HtmlParser使用

这个类有下面几个构造函数： public Parser (); public Parser (Lexer lexer, ParserFeedback fb); public Parser (URLConnection
·2015-11-07 15:06

程序中，调用Bison和Flex结合的小例子（类似完成语法树）

调用Bison和Flex结合的小例子 要做出存储语法树结构的全局变量： 1 [root@lex ~]# cd /soft/total 2 [root@lex total]# ls 3 lexer.l
·2015-10-31 09:50

Oracle全文索引总结

       设置词法分析器(lexer) 保证登录用户具有和CTXSYS用户相应的权权限和CTXAPP角色，或者直接用CTXSYS用户登录
·2015-10-31 09:47

htmlparser学习(原创)

getClass());  根据传入的class所在包的路径创建一个preferences prefs.flush();  保存到文件 项目中字符串拼接多采用StringBuilder Lexer
·2015-10-30 14:57

如何写一个解释器(1):编译原理

一个解释器通常可以分为一下几个阶段： 词法分析(Lexer) 语法分析(Parser, BNF, CFG, AST) 语义分析(AST的处理， annotated AST) 目标语言生成
·2015-10-30 14:32

一个简单词法分析器的实现代码（java实现）

.*; import lexer.*; public class Main { public static void main(String[] args) throws IOException { Lexer
·2015-10-30 13:00

Oracle 全文索引相关命令

ctxsys account unlock; --授权给对应用户 grant execute on ctx_ddl to yw; --用yw用户登录 --创建分词,分词名为my_lexer
·2015-10-27 16:01

Oracle全文索引设置步骤

对于utf8字符集的数据库有一个新的汉语分析器chinese_lexer，效率有了很大改善。现将验证并整理过的如何进行oracle全文索引设置的文档发给大家，适用于8i、9i各平台版本。 　　
·2015-10-23 09:22

DRG-11446 droldUS.dat not installed

index index_globaldoc1 on globaldoc1(text) indextype is ctxsys.context   2  parameters ('lexer
·2015-10-23 08:20

Antlr与Regex

Antlr内部分为词法（Lexer）和语法（Parser），在Antlr中，变量第一个字符大写表示词法，变量第一个字符小写表示语法。
·2015-10-21 12:58

illustrate how to implement a lisp interpreter

阅读更多illustratehowtoimplementalispinterpreter,seepic1.lexer:lexerreadandtranslatetheinputstring"(+12)"
gyc567·2015-09-12 22:00

oracle-全文索引的学习与应用

1.sysdba用户授权grantctxapptoxmaricallplat;grantctx_ddlexecuteonxmaircallplat;2.选择分析器basic_lexer:针对英语分词器chinese_vgram_lexer
zcz123·2015-08-10 15:00

JParsec中如何在parser规则里引用lexer规则

Sprache的思想跟《MonadicParserCombinators》这篇论文里的提到的设计方法如出一辙，是不区分lexer和parser的。但是JParsec区分。如果在
yangdong·2015-07-15 15:00

maximo 配置数据库的时候提示首选项不存在 preference does not exist: global_lexer

maximo配置数据库的时候提示首选项不存在preferencedoesnotexist:global_lexer问题;在修改字段长度的时候报错:首选项不存在:处理方法:1   修改的字段的文本搜索类型改为非
牧枫·2015-05-29 13:00

最简单的lex的例子

词法分析程序（lexer），或成为扫描程序）。​lex使用的标记描述称为正则表达式。yacc采用简明的语法描述并产生在一个能分析语法的C例程。即分析程序。yacc分析
陈洪波·2015-05-19 19:00

htmlparser 乱码总结2

   packageorg.htmlparser.lexer;    importjava.io.ByteArrayInputStream;    importjava.io.IOException;    
miketom155·2015-05-06 15:00

hmtl 乱码总结

 改写源码：   packageorg.htmlparser.lexer;    importjava.io.*;    importjava.lang.reflect.InvocationTargetException
miketom155·2015-05-06 15:00

最简单的lex的例子

词法分析程序（lexer），或成为扫描程序）。​lex使用的标记描述称为正则表达式。yacc采用简明的语法描述并产生在一个能分析语法的C例程。即分析程序。yacc分析
hongbochen1223·2015-05-05 10:00

oracle全文索引的创建和使用

即通过Oracle专利的词法分析器(lexer),将文章中所有的表意单元（Oracle称为term）找出来，记录在一组以dr$开头的表中，同时记下该term出现的位置、次数、hash值等信息。
xiaoxin·2015-04-03 17:00

oracle全文索引之LEXER_2_CHINESE_LEXER

介绍完Oracle全文索引的BASIC_LEXER属性，这篇介绍Oracle中文语法属性CHINESE_LEXER和CHINESE_VGRAM_LEXER。
xiaoxin·2015-04-03 17:00

[置顶] 深入研究Clang（六） Clang Lexer代码阅读笔记之Preprocesser

作者：史宁宁（snsn1984）clang/include/clang/Lex/Preprocesser.h这个文件是包含clang::Preprocesser类的定义的头文件。它是类C语言（C、C++、ObjectC）的预处理的头文件。也就是说，类C语言的预处理都会用到此处的代码。00082///\briefContextinwhichmacronameisused. 00083enumMacr
snsn1984·2014-12-01 17:00

[置顶] 深入研究Clang（五） Clang Lexer代码阅读笔记之Lexer

作者：史宁宁（snsn1984）Clang的Lexer（词法分析器）的源码的主要位置如下：clang/lib/Lex   这里是主要的Lexer的代码；clang/include/clang/Lex  
snsn1984·2014-11-20 14:00

全文索引--自定义chinese_lexer词典

本文来详解一下如何自定义chinese_lexer此法分析器的词典 初始化数据 createtabletest2(str1varchar2(2000),str2varchar2(2000)); insertintotest2
renfengjun·2014-10-19 20:00

全文索引--两种中文词法分析器比较(chinese_vgram_lexer chinese_lexer)

首先让我们进行一个关于中文词法分析器的比较，测试过程如下：建表createtabletest(strvarchar2(100)); createtabletest1(strvarchar2(100));插入数据insertintotestvalues(‘中华人员共和国’); insertintotest1values(‘中华人员共和国’);创建两个关于中文的分析器execctx_ddl.cre
renfengjun·2014-10-19 19:00

ACdream 1232 SGU 215 PL/Cool 手写了一个语法分析引擎

词法分析器Lexer将字符串解析为词法单元。词法单元Token，储存词法单元的属性和值。语法分析器Parser，读取词法单元，构建语法树。表达式结点Expr。define操作用并查集搞。
cyendra·2014-10-05 17:00

C语言词法分析器

软件首页：http://www.oschina.net/p/lexer项目主页：http://git.oschina.net/ki
Kinegratii·2014-09-28 16:00

Oracle 中文分词CHINESE_VGRAM_LEXER与CHINESE_LEXER比较

准备工作： CREATE  TABLEissues(    ID        NUMBER,    summary      VARCHAR(120),    description  CLOB,    author    VARCHAR(80),    ot_versionVARCHAR(10) ); INSERTINTOissues     VALUES(1,'Jane','Textdoes
liqfyiyi·2014-05-06 11:00

The lexer hack

ThelexerhackFromWikipedia,thefreeencyclopediaIn computerprogramming, thelexerhack (asopposedto"alexerhack")describesacommonsolutiontotheproblemsin parsing ANSIC,duetothereference lexicalgrammar beingc
snsn1984·2014-02-24 16:00

oracle10g全文索引 简化操作版(完全操作版附后)

grantexecuteonctx_ddltoXXXX.第二步：创建分析器sql>connXXXX/密码sql>beginctx_ddl.create_preference('XXXX_CHINESE_LEXER
·2014-02-14 09:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他