这是Trigram语言模型的实现。 用法： （先决条件：您需要在计算机上安装python版本3才能运行此程序） 将corpus.zip解压缩（使用“在此处提取”）到项目结构的根目录。 使用python3执行main.py。 （例如：python /main.py） 请按照控制台上的说明进行操作。

1 Billion Word Language Model Benchmark. The purpose of the project is to make available a standard training and test setup for language modeling experiments. PART 2

半监督序列学习 此回购记录了重现论文给出的结果的实验​​。 简而言之，我们在未标记的文本数据上对序列自动编码器或语言模型进行预训练，然后使用标记的文本数据对使用预训练权重初始化的基于RNN的序列分类器进行微调，与随机初始化的权重相比，分类精度更高。 资料准备 IMDB数据集 我们为此实验使用。 下载并解压缩，导航至目录aclImdb/train ，该目录aclImdb/train中包含带aclImdb/train/pos的正（ aclImdb/train/pos ）和带标签的负性（ aclImdb/train/neg ）以及未标签的评论（ aclImdb/train/unsup ）。 然后cd进入每个子目录并运行 for f in *.txt; do (cat "${f}"; echo) >> pos.txt; done for f in *.txt; do (cat "${f}"; ec

ALBERT-蒙古语 这个 repo 提供了在蒙古语文本语料库上训练的预训练 ALBERT 模型（BERT 的“A Lite”版本）和 SentencePiece 模型（无监督文本分词器和去分词器）。 内容： 用法 您可以使用库在 PyTorch 和 TensorFlow2.0 中使用 。 import torch from transformers import AlbertTokenizer , AlbertForMaskedLM tokenizer = AlbertTokenizer . from_pretrained ( 'bayartsogt/albert-mongolian' ) model = AlbertForMaskedLM . from_pretrained ( 'bayartsogt/albert-mongolian' ) 教程 [Colab]在 Colab

语言模型和自动人格预测 该存储库包含论文“ 代码，该论文发表在2020年IEEE国际数据挖掘大会上。 这是一组用tensorflow + pytorch编写的实验，旨在探索Essays数据集（使用Big-五个人格标记的特征）和Kaggle MBTI数据集上使用语言模型进行自动人格检测。 安装 通过以下方式从GitLab提取此存储库： git clone git@gitlab.com:ml-automated-personality-detection/personality.git 有关可通过以下方式安装的相关软件包的列表，请参见requirements.txt： pip -r requirements.txt 用法 首先运行LM提取器代码，该代码将数据集通过语言模型传递，并将（所有图层的）嵌入存储在pickle文件中。 创建此“新数据集”可为我们节省大量计算时间，并允许有效搜索超

DeepSpeech剧本 使用DeepSpeech训练语音识别模型的速成班。 快速链接 从这里开始。 本部分将设定您对DeepSpeech手册可以实现的目标的期望，以及开始训练自己的语音识别模型所需的先决条件。 了解了DeepSpeech Playbook可以实现的功能后，本节将概述DeepSpeech本身，其组成部分以及它与您过去使用过的其他语音识别引擎的不同之处。 之前，你可以训练一个模型，你需要收集和格式化数据的语料库。 本节概述了DeepSpeech所需的数据格式，并逐步介绍了从Common Voice准备数据集的示例。 如果您正在训练使用与英语不同的字母（例如带有变音符号的语言）的模型，那么您将需要修改alphabet.txt文件。 了解得分手的工作，以及如何建立自己的得分手。 了解DeepSpeech的声学模型和语言模型之间的差异，以及它们如何组合以提供端到端语音识别。 本节

1 Billion Word Language Model Benchmark. The purpose of the project is to make available a standard training and test setup for language modeling experiments.

MacBERT：重新审视中文自然语言处理的预训练模型（EMNLP的发现）

NeZha_Chinese_PyTorch pytorch版NEZHA，适配transformers 论文下载地址: 运行脚本依赖模块 如果需要运行该案例脚本，需要安装以下模块： 模型权重下载 官方提供的Tensorflow版本权重下载地址： 已经转化为PyTorch版本权重下载地址如下： nezha-cn-base 提取码: hckq nezha-large-zh 提取码: qks2 nezha-base-wwm 提取码: ysg3 nezha-large-wwm 提取码: 8dig 说明：若加载的模型权重是从下列百度网盘下载的PyTorch模型权重，则需要保证torch版本>=1.6.0 运行 执行命令: sh scripts/run_task_text_classification_chnsenti.sh 长文本 长文本可以通过设置config.max_position_em

凯拉斯·伯特 [| ] 实现。 可以加载官方的预训练模型以进行特征提取和预测。 安装 pip install keras-bert 用法 使用热身 下载预先训练的检查点 提取功能 外部链接 Kashgari是可用于文本标签和文本分类的生产就绪NLP转移学习框架 凯拉斯·阿尔伯特 加载官方预训练模型 在特征提取演示中，您应该能够获得与官方模型chinese_L-12_H-768_A-12相同的提取结果。 并且在预测演示中，可以预测句子中丢失的单词。 在TPU上运行 提取演示演示了如何转换为在TPU上运行的模型。 分类演示显示了如何将模型应用于简单的分类任务。 分词器 Tokenizer类用于拆分文本并生成索引： from keras_bert import Tokenizer token_dict = { '[CLS]' : 0 , '[SEP]' : 1