PyTorch中的LSTM-CRF 用于序列标记的双向LSTM-CRF的最小PyTorch(1.7.1)实现。 支持的功能: CUDA的小批量培训 嵌入层中的查找,CNN,RNN和/或自我关注 分层递归编码(HRE) 条件随机场(CRF)的PyTorch实现 CRF损失的矢量化计算 矢量化维特比解码 用法 培训数据的格式应如下: token/tag token/tag token/tag ... token/tag token/tag token/tag ... ... 有关更多详细信息,请参见每个子目录中的README.md。 准备数据: python3 prepare.py training_data 训练: python3 train.py model char_to_idx word_to_idx tag_to_idx training_data.csv (v
2021-11-23 17:30:40 18KB crf pytorch sequence-labeling lstm-crf
1
背景介绍 建了仓库,地址在这里: 点star不迷路,相关文章在github上更新的会更交替一点QAQ 之前做过调整的命名体识别,项目背景实际上也很简单,就是我要做一个关键词匹配的功能,第一步我需要挖掘关键词。 ,明星领域,财经领域等等吧,这些领域的文本很有特色,一般人名/地名/公司名称/书名/电影名称都可以很好的表示文本关键信息。 在这种项目背景之下,很自然的就会想到使用命名体识别。我把在做这个项目的过程中,积累的一些资料汇总了一下,希望对大家有所帮助。 关于命名体识别,这是一个很大的领域,要做好,有很多工作要做。标题完全是为了能增加曝光,自己还是知道只是一个小学生,我会把自己看过的有用的东西都列出来,给大家提供一些先验信息。 之后看到的关于nert的文章会在此基础继续更新(最近存了好多新文章还没看/苦逼码农/ QAQ),不过建议大家star一下Github,不迷路,我给自己的计划是精读一
2021-11-20 14:11:54 4KB 系统开源
1
命名实体识别是自然语言处理的一项关键技术. 基于深度学习的方法已被广泛应用到中文实体识别研究中. 大多数深度学习模型的预处理主要注重词和字符的特征抽取, 却忽略词上下文的语义信息, 使其无法表征一词多义, 因而实体识别性能有待进一步提高. 为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.
1
NER-Sequence-labeling--Textcnn-bilstm-crf-pytorch pytorch用Textcnn-bilstm-crf模型实现命名实体识别 数据处理 数据处理文件是'data_preprocess.py' 模型和训练过程 模型和训练过程都在同一个文件中‘cnn-bilistm-crf.py’ 预测 预测文件为‘predict.py’   数据 数据存在data文件夹中
2021-11-05 14:04:29 16KB Python
1
裁判文书中的命名实体识别是自动化审判的关键一步,如何能够有效的分辨出案件的关键命名实体是本文的研究重点.因此本文针对财产纠纷审判案件,提出了一种基于SVM-BiLSTM-CRF的神经网络模型.首先利用SVM筛选出包含关键命名实体的句子,然后将正确包含此类实体的句子转化为字符级向量作为输入,构建适合财产纠纷裁判文书命名实体识别的BiLSTM-CRF深层神经网络模型.通过构建训练数据进行验证和对比,该模型比其他相关模型表现出更高的召回率和准确率.
2021-10-31 16:58:52 1.1MB 命名实体识别 SVM BiLSTM CRF
1
BERT-BiLSTM-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码' 中文文档请查看 如果对您有帮助,麻烦点个star,谢谢~~ Welcome to star this repository! The Chinese training data($PATH/NERdata/) come from: The CoNLL-2003 data($PATH/NERdata/ori/) come from: The evaluation codes come from: Try to implement NER work based on google'
2021-10-17 21:06:39 482KB crf named-entity-recognition ner bert
1
BI-LSTM-CRF模型的PyTorch实现。 特征: 与相比,执行了以下改进: 全面支持小批量计算 完全矢量化的实现。 特别是,删除了“得分句”算法中的所有循环,从而极大地提高了训练效果 支持CUDA 用于非常简单的API START / STOP标签会自动添加到CRF中 包含一个内部线性层,该线性层可从要素空间转换为标签空间 专门用于NLP序列标记任务 轻松训练自己的序列标记模型 麻省理工学院执照 安装 依存关系 的Python 3 安装$ pip install bi-lstm-crf 训练 语料库 以指定的准备语料库 也有一个示例语料库 训练 $ python -m bi_lstm_crf corpus_dir --model_dir " model_xxx " 更多 训练曲线 import pandas as pd import matplotlib . pyplot
2021-10-09 14:34:48 16KB nlp crf pytorch ner
1
MedicalNER:使用Flask和Docker作为Web App部署PyTorch NER模型 一个漂亮且可自定义的Web应用程序,可轻松部署您的深度学习(DL)模型 注意 此仓库用于部署任何类型的ML或DL模型,而不仅仅是NER模型。 使用演示 克隆仓库 $ git clone https://github.com/SuperBruceJia/pytorch-flask-deploy-webapp.git 运行以下说明 1)。 构建Docker映像 $ docker build -t ner-model . 2)。 为上面的图像制作并运行一个容器 $ docker run -e LANG
2021-09-07 15:23:55 7.11MB python docker dockerfile deep-learning
1
基于知识图谱的医疗诊断知识问答系统 环境 python 3.7 tensorflow 1.14.0 keras 2.2.0 bert4keras 0.10.0 gensim 3.8.3 pyahocorasick 1.4.0 后期计划 系列视频持续更新中……,后期代码也将一并上传 本项目系列视频大纲如下,最后可能会有细微差别,影响不大
2021-09-05 17:11:25 7.89MB Python
1
参加了天池的一个pdf简历信息提取的比赛,这里进行回顾、整理和分享 赛题要求从pdf简历中提取出信息,可能会让人觉得,籍贯等。这里搭建了一个BiLSTM-CRF模型,从PDF简历中提取出想要的信息。 模型的线上得分是0.727,排名 21/1200+
2021-07-04 17:03:33 50.71MB BiLSTM-CRF 天池