bert4keras

[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）

这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。
Eastmount·2024-03-06 13:07

transformer t5代码解读4(主要内容bert4keras实现t5模型)

继续解读t5代码之中源码的内容回到t5的整体结构之中T5CrossAttention网络层结构的调用t5的Encoder和Decoder内容比对bert4keras调用t5模型之中的encoder部分和
唐僧爱吃唐僧肉·2023-11-04 23:12

【t5 pytorch版源码学习】t5-pegasus-pytorch源码学习

bert4keras版：t5-pegasuspytorch版：t5-pegasus-pytorch本次主要学习pytorch版的代码解读。
辰阳星宇·2023-11-04 23:06

AttributeError: module ‘tensorflow._api.v1.compat.v2‘ has no attribute ‘__internal__‘ 完美解决

在使用bert4keras时候出现，出现keras问题，首先安装tensorflow1.15版本，然后出现标题的问题，通过下面步骤，完美解决！
君臣Andy·2023-09-28 07:25

中文分句的解决方案

诸神缄默不语-个人CSDN博文目录文章目录1.手写规则，通过标点符号分句2.引号内算一句话3.spacy包1.手写规则，通过标点符号分句我的写法参考自https://github.com/bojone/bert4keras
诸神缄默不语·2023-08-20 00:08

语言模型主流

词向量模型bert4keras字级bert4keras文档中心bert4keras/examplesatmaster·bojone/bert4keras·GitHubmirrors/bojone/bert4keras
tikatika·2023-06-09 20:57

如何利用gradio部署基于bert4keras的小说随机生成模型

from__future__importprint_functionimportosos.environ['TF_KERAS']='1'#必须使用tf.kerasimportglobimportnumpyasnpfrombert4keras.backendimportkeras,Kfromkeras.backendimportset_sessionfrombert4keras.layersimpo
路人与大师·2023-04-14 06:02

AttributeError: ‘tuple‘ object has no attribute ‘layer‘问题解决

问题描述安装keras_bert、tensorflow、keras后，本来程序运行好好的，训练了两个模型也一切正常，随后由于Bert英文分词时，keras_bert不满足要求，尝试了transformers和bert4keras
不撸先疯。·2023-04-11 22:46

NLP实战：使用Bert4Keras工具包+Colab实现命名实体识别NER任务

问题：1，为什么要用BERT，什么是bert4keras工具包？BERT最近几年大火，因为提供了高效的预训练方法。许多NLP任务上取得了非常好的效果。但是现在的BERT并不是很好使用，就算是想要做一
dengxc·2023-03-26 20:05

万能的Seq2Seq：基于Seq2Seq的阅读理解问答

作者丨苏剑林单位丨追一科技研究方向丨NLP，神经网络个人主页丨kexue.fm今天给bert4keras[1]新增加了一个例子：阅读理解式问答（task_reading_comprehension.py
PaperWeekly·2023-02-22 07:41

[深度学习] 自然语言处理 --- Bert开发实战 (Transformers）

tf2.0的bert项目还有：我的博客里有介绍使用方法[深度学习]自然语言处理---基于KerasBert使用（上）keras-bert（Star:1.4k）支持tf2，但它只支持bert一种预训练模型bert4keras
WayneZ~·2023-02-07 09:28

bert4keras bert模型微调再训练保存；ckpt模型结构读取tensorboard展示

1、bert4kerasbert模型微调再训练保存参考：https://github.com/bojone/oppo-text-match/issues/5##build_transformer_model为自定义bert模型层，keras.models.Model为创建整体keras模型bert=build_transformer_model(config_path,checkpoint_pat
loong_XL·2023-01-14 08:33

bert4keras预训练的一些问题总结

1.近日在使用bert4keras，在原有的Roberta训练领域内的roberta的时候遇到了一些问题，在此记录一下，便于日后的翻阅。
光头小黑·2023-01-14 08:03

使用bert4keras中的bert模型，完成关系抽取任务

参考来源：这里预训练模型中的文件分析bert_config.jsonbert_model.ckpt.metabert_model.ckpt.data-00000-of-00001bert_model.ckpt.indexvocab.txtbert_config.json是BERT在训练时可选调整参数bert_model.ckpt开头的文件是负责模型变量载入的使用bert，其实是使用几个checkp
世界划水锦标赛冠军·2023-01-14 08:00

使用bert4keras进行关系抽取的代码

三元组抽取任务，基于“半指针-半标注”结构文章介绍：https://kexue.fm/archives/7161数据集：http://ai.baidu.com/broad/download?dataset=sked最优f1=0.82198换用RoBERTaLarge可以达到f1=0.829+说明：由于使用了EMA，需要跑足够多的步数(5000步以上）才生效，如果你的数据总量比较少，那么请务必跑足够
世界划水锦标赛冠军·2023-01-14 08:00

bert4keras模型转onnx

bert4keras模型转onnxhttps://kexue.fm/archives/8454#!
hailongzhang26·2023-01-14 08:57

[bert4keras].weights权重文件转换成.ckpt格式，便于build_transformer_model方法加载

方法步骤：建立同样的模型bert=build_transformer_model(config_path,checkpoint_path,model='roformer',application='unilm',with_pool='linear',with_mlm='linear',dropout_rate=0.2,ignore_invalid_weights=True,return_keras
xxyAI·2023-01-14 08:53

简洁优美的深度学习包-bert4keras

新手友好bert4keras在鹅厂实习阶段，follow苏神（科学空间）的博客，启发了idea，成功改进了线上的一款模型。
一只用R的浣熊·2023-01-10 10:28

bert4keras 测试代码可用性: 提取特征

bert4keras#!-*-coding:utf-8-*-#测试代码可用性:提取特征frombert4keras.backendimportkerasfrombert4keras.modelsimportbuild_transformer_modelfrombert4keras.tokenizersimportTokenizerimportnumpyasnpconfig_path='/root/
和你在一起^_^·2023-01-10 10:57

读源码之SimBertv2-stage1

第一部分引入库部分本代码采用的是苏老师写的bert4keras，即使用keras实现bert，包含层、模型、优化器、分词器等bert4keras最好在tensorflow<=2.2以及keras<=2.3.1
nlp菜菜·2023-01-10 10:27

【NLP】BERT代码实现--Bert4keras源码及矩阵计算解析

bert4keras源码及矩阵计算前言源码重要性Bert4keras框架Transformer类算法实现（以Bert为例）前言bert4keras是苏剑林通过keras封装Bert，可以更快速、更友好的使用
卓师叔·2023-01-10 10:55

bert4keras使用中的一些问题

bert4keras.__version__=0.10.0如何定位tokenizer后的实体位置？frombert4keras.tokenizersimportTokenizerdict_path='D:/Ai/model/electra-small/vocab.txt'tokenizer=Tokenizer(dict_path,do_lower_case=True)token_ids,segme
HGlyh·2023-01-10 10:55

keras_bert与bert4keras的使用

keras_bert是Cyberzhg封装的Keras版Bert，可以直接调用官方发布的预训练权重。pipinstallkeras_bertgithub：https://github.com/CyberZHG/keras-bertbert4keras是苏剑林参考keras-bert重新编写的keras版bert，可适配albert快速安装：pipinstallgit+https://www.git
Mark_Aussie·2023-01-10 10:55

安装bert4keras时要注意的问题

问题就出现在这里，安装bert4keras的时候，它会自动重新安装keras
星迹_·2023-01-10 10:24

bert4keras加载BERT模型并获取文本字向量、句向量CLS

bert4keras加载BERT模型并获取文本字向量、句向量CLS环境依赖tensorflow2.3+bert4keras开源BERT模型下载BERT模型https://github.com/ymcui
Dusk2090·2023-01-08 00:08

基于Prompt的MLM文本分类 bert4keras实现

本文主要介绍使用Prompt的MLM文本分类bert4keras的代码实现，用以丰富bert4keras框架的例子关于prompt的原理的文章网上有很多优秀的文章可以自行百度。
HGlyh·2023-01-07 09:10

利用bert4keras实现多任务学习

本文给出一个使用bert4keras实现多任务学习的例子多任务学习广义的讲，只要有多个loss就算Multi-taskLearning。
HGlyh·2023-01-07 09:39

TensorFlow2（版本2.5.0）学习笔记（含keras_bert、W2V）

运行环境：二、tf定义变量与简单操作【基于tf2做数据处理——Tokenizer】1、使用TF2实现token2id、padding2、基于gensim（版本：3.8.3）3、基于keras_bert、bert4keras
lucky_chaichai·2022-12-30 01:28

bert4keras快速使用以及对抗训练

文章目录1.bert4keras快速上手2.对抗训练1.bert4keras快速上手下面是一个调用bertbase模型来编码句子的简单例子：frombert4keras.modelsimportbuild_transformer_modelfrombert4keras.tokenizersimportTokenizerimportnumpyasnpconfig_path='/root/kg/ber
路啦路·2022-12-11 08:49

bert4torch快速上手

背景之前一篇参考bert4keras的pytorch实现介绍了bert4torch的主要功能和特性，简而言之就是一款用pytorch来复现bert4keras的简洁训练框架。
Bo仔很忙·2022-12-08 11:41

广告行业中那些趣事系列57：从理论到实战一网打尽Transformer中的位置编码

本篇从理论到实践介绍了Transformer中的位置编码，包括训练式位置编码、三角函数式位置编码和相对位置编码，同时基于开源项目bert4keras源码实践了各种位置编码。
数据拾光者·2022-12-08 11:34

GlobalPointer NER实体提取

参考：https://www.kexue.fm/archives/8373https://github.com/bojone/CLUE-bert4keras（cluener.py）bert4keras>
loong_XL·2022-12-08 10:27

GPLinker：基于GlobalPointer的事件联合抽取

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络大约两年前，笔者在百度的“2020语言与智能技术竞赛”中首次接触到了事件抽取任务，并在文章《bert4keras在手，baseline
PaperWeekly·2022-12-08 10:54

bert4torch（参考bert4keras的pytorch实现）

背景本人经常会阅读苏神的科学空间网站，里面有很多对前言paper浅显易懂的解释，以及很多苏神自己的创新实践；并且基于bert4keras框架都有了相应的代码实现。
Bo仔很忙·2022-12-04 23:05

天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现

天池有些长期比赛可以练习玩玩（还可以继续提交），于是试了下简单的新闻文本分类任务，Top1的解决方案思路是”预训练+fgm+交叉验证模型融合“，代码是基于bert4keras的，本人基于bert4torch
Bo仔很忙·2022-12-03 14:37

统一NER模型【W2NER】的中文效果测试（含代码）

一、背景之前自己写了个简单的开源训练框架Bo仔很忙：bert4torch（参考bert4keras的pytorch实现），张罗着给框架不断增加示例，看到了W2NER，于是参考源代码迁移到bert4torch
Bo仔很忙·2022-12-03 14:37

bert4torch又双叒叕更新啦！新功能浅析~

不了解bert4torch可以通过前述两篇文章来浅尝一下~bert4torch（参考bert4keras的pytorch实现）15赞同·9评论文章bert4torch快速上手16赞同·3评论文章二、主要功能复述核心功能
Bo仔很忙·2022-12-03 14:37

电商搜索场景结构化匹配 使用命名实体识别（NER）+类目预测（意图识别）+bert4keras实现k-bert

上一篇的文章中电商搜索使用BM25算法召回+其他匹配特征主要讲了BM25算法的召回以及一些特征的融入，本篇继续进行剩余特征如核心词匹配，同义词匹配，上下位词，query类目与商品title类目匹配以及商品的业态等特征整体结构图如下：示例：乐事薯片黄瓜分词：乐事薯片黄瓜词性：品牌，商品核心词，口位词这里面补充一下：一.分词的话你可以参照知乎上面的分词或者命名实体识别融合词典二.词性匹配要注意词性消歧
地主家的小兵将·2022-12-03 05:06

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

预训练模型加自己语料再训练pre-train参考：https://github.com/zhusleep/pytorch_chinese_lm_pretrainhttps://github.com/bojone/bert4keras
loong_XL·2022-12-02 16:08

NLP-bert4keras文本分类

bert4keras+textCNN实现文本分类前言一、dataprocess二、model三、train四、predict前言【写这个是为了做笔记，如果有写错的地方，请一定告诉我，感谢】利用bert4keras
今儿学了嘛您nei·2022-11-30 22:41

BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）

TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB2）**https://github.com/bojone/bert4keras
loong_XL·2022-11-29 13:40

使用bert4keras加载预训练模型出现DataLossError

tensorflow.python.framework.errors_impl.DataLossError:Unabletoopentablefile./data/LOGO_3_gram_2_layer_8_heads_256_dim_weights.hdf5:Dataloss:notansstable(badmagicnumber):perhapsyourfileisinadifferentfi
GaryinDeep·2022-11-25 04:58

bert4keras、transformers 加载预训练bert模型、句向量cls，字向量提取；tokenizer使用

1、bert4keras分词器Tokenizerfrombert4keras.modelsimportbuild_transformer_modelfrombert4keras.tokenizersimportTokenizerimportnumpyasnpconfig_path
loong_XL·2022-11-24 12:50

文本摘要生成任务

1.代码讲解2.uniflm原理讲解3.beamsearch原理讲解1.代码讲解首先安装bert4keras==0.2.0!
frank_zhaojianbo·2022-11-21 05:53

中文文本纠错模型bert4keras

中文文本纠错模型这里提供三种文本纠错模型的实现bert语言模型+字音字形相似度correction_basic.py缺点:不能解决多字,少字问题MLMcorrection_mlm.py利用bert的MLM训练机制实现纠错功能输入:[CLS]错误句子[SEP][MASK][MASK]…[MASK][SEP]输出:正确句子seq2seqcorrection_seq2seq.py使用文本生成的方式生成正
Py_to_Java2021·2022-11-19 15:44

Bert4torch 快速入门实战教程非常详细

本人经常会阅读苏神的科学空间网站，里面有很多对前言paper浅显易懂的解释，以及很多苏神自己的创新实践；并且基于bert4keras框架都有了相应的代码实现。
数学是算法的灵魂·2022-08-09 07:01

“万物皆可Seq2Seq” | 使用 bert4keras 在中文语境下运行Google Multilingual T5(mT5)

今年出了中文版我还是不会用，这里用的是苏总的bert4keras去跑mT5，一些对于T5的理解会慢慢加上，前面先以跑通为主。
律政先锋张益达·2021-01-05 16:36

task_seq2seq_autotitle_csl代码解读

task_seq2seq_autotitle_csl.py代码解读此文档是对bert4keras工具中seq2seq任务的示例代码的一个解读，尽可能看的细致是为了以后修改起来更加顺手。
gaojiaming24·2020-08-04 06:51

基于albert模型的邮件分类

https://github.com/brightmart/albert_zhhttps://github.com/bojone/bert4keras运行环境安装keraspipinstallkeras
huangcy_0518·2020-08-04 03:50

bert4keras在手，baseline我有(附百度比赛Baseline代码)

每个赛道中，主办方都给出了基于PaddlePaddle的baseline模型，这里笔者也基于bert4keras给出其中三个赛道的个人baseline。
Congqing He·2020-07-02 02:22
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他