BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。Sentence-BERT(SBERT)网络利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。这样SBERT可以完成某些新的特定任务，例如相似度对比、聚类、基于语义的信息检索。

句子分类 该项目的目标是根据类型对句子进行分类： 陈述（陈述句） 问题（疑问句） 感叹号（感叹句） 命令（命令句） 以上每个广泛的句子类别都可以扩展，并且可以进行更深入的介绍。 这些网络和脚本的设计方式应该可以扩展，以对其他句子类型进行分类（如果提供了数据）。 它是为在应用开发的，并在上随附了有关构建实用/应用的神经网络的。 请随意添加PR，以自由更新，改进和使用！ 安装 如果您有GPU，请安装CUDA和CuDNN（在您选择的系统上） 安装要求（在python 3上，python 2.x无效） pip3 install -r requirements.txt --user 执行： 预训练模型： python3 sentence_cnn_save.py models/cnn 要建立自己的模型： python3 sentence_cnn_save.py models/

huggingface下载速度慢，遇到sentence-transformers模型下载失败还是尽量使用进行本地下载改路径的方式。

C&C解码：用于统计机器翻译解码的多层句子压缩-组合框架，巢文涵，，在本文中，我们提出了一种新颖的框架以提高统计机器翻译的解码性能，该方法在机器翻译过程中添加了两个额外的步骤。首先，将源文

基于HuggingFace 哈工大hfl/chinese-bert-wwm-ext预训练模型微调的中文句子分类模型

孪生LSTM网络(Siamese-LSTM) 本项目是基于孪生LSTM网络+注意力机制+曼哈顿距离(Manhattan distance)实现的句对相似度计算。 中文训练数据为蚂蚁金服句对数据，约4万组，正负样本比例1:3.6；英文训练数据来自Kaggle上的Quora句对数据，约40万组，正负样本比例1:1.7。新增一组翻译数据：使用Google Translator将Quora数据翻译成中文。 资料 参考文献 中国大陆可能无法访问《How to predict...Manhattan LSTM》一文，请直接查看本项目中附件之参考博客 其它数据 英文词向量： 英文词向量： 中文词向量： 工程参考 Original author's GitHub 一些网络设计思路 使用 训练 $ python3 train.py $ type cn for Chinese Data or en for

计算非连通多边形的面积和面积，输出其面积和形心坐标

句子相似度 仅内置库的句子相似度。 构建Docker映像 sh build.sh 在本地运行容器 sh run.sh 测试一些cURL请求 测试一些请求。 一个例子是req.ipynb

句子相似度算法 1. 基于bm25的句子相似度算法 准确率很低 2. 基于hownet的句子相似度算法 在，准确率很低 3. 基于词向量余弦距离的句子相似度算法 基于gensim的n_similarity函数实现、自己实现 4. 基于word2vec+LSTM的句子相似度算法 准确率: 93% 5. mpcnn 别人实现的两个基于论文《Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks》的句子相似度算法

按键文字 想法是建立一个将关键字作为输入并生成句子作为输出的模型。 模型： 已经建立了两个模型： 使用T5的基本大小= 850 MB可以在这里找到： : 使用T5，小尺寸= 230 MB，可以在这里找到： : 用法： from transformers import AutoTokenizer , AutoModelWithLMHead tokenizer = AutoTokenizer . from_pretrained ( "gagan3012/keytotext-small" ) model = AutoModelWithLMHead . from_pretrained ( "gagan3012/keytotext-small" ) 这使用了我构建的自定义流式compopnet： pip install streamlit-tags 也可以在上找到安装 演示： 例