建立实验环境 1个安装python（2.7） 2安装点： 2.1下载pip 2.2解压缩后，安装指令python setup.py install 2.3 pip升级python -m pip install --upgrade pip 2.4 pip安装扩展包pip install jieba（这里以jieba包为例），如果速度较慢，可转换内部的阿里源，即pip install jieba -i --trusted-host mirrors.aliyun.com 3安装pycharm 4使用GitHub获取代码 4.1安装git 4.2登陆自己的GitHub账号，找到自己的项目，（别人的需要先fork过来，也可以直接git clone xxx，或者直接下载zip包放进pycharm） 4.3：pycharm，首先设置git的位置及github账号，点击Test都通过后继续，依次在菜单栏上单击，从版本控制GitHub上进行VCS检出，登陆自己的账号后选择相应的项目，得到代码。 4.4（更新fork的项目到最新的版本）同步叉子 5 ipython协同开发环境 5.

基于词向量和cnn的恶意邮件检测防钓鱼

本资源属于代码类，是一些nlp工具的使用 nlp 工具 word2vec nltk textblob crf++ （1）机器人 （2）中文翻译，及繁体转简体 （3）关键词提取，主题提取，摘要提取 （4）命名体识别 （5）分词 （6）情感分析，正负类分析 （7）近义词，同义词，句子相似性 （8）聚类，监督，无监督 （9）词性标注 （10）词向量提取

torchtext的使用总结，并结合Pytorch实现LSTM 版本说明 PyTorch版本：0.4.1 火炬文字：0.2.3 python：3.6 文件说明 Test-Dataset.ipynb Test-Dataset.py使用torchtext进行文本预处理的笔记本和py版。 Test-Dataset2.ipynb使用Keras和PyTorch进行数据集进行文本预处理。 Language-Model.ipynb使用gensim加载预训练的词向量，并使用PyTorch实现语言模型。 使用说明 分别提供了笔记本版本和标准py文件版本。 从零开始逐步实现了torchtext文本预处理，

文本建模，此项中的模型GLove, word2vec, 在文本分类实用重要的作用

短文本聚类在数据挖掘中发挥着重要的作用,传统的短文本聚类模型存在维度高、数据稀疏和缺乏语义信息等问题,针对互联网短文本特征稀疏、语义存在奇异性和动态性而导致的短文本聚类性能较差的问题,提出了一种基于特征词向量的文本表示和基于特征词移动距离的短文本聚类算法。首先使用Skip-gram模型(Continuous Skip-gram Model)在大规模语料中训练得到表示特征词语义的词向量;然后利用欧式距离计算特征词相似度,引入EMD(Earth Mover's Distance)来计算短文本间的相似度;最后将其应用到Kmeans聚类算法中实现短文本聚类。在3个数据集上进行的评测结果表明,效果优于传统的聚类算法。

词向量表示学习 02

Word2Vec 采用Word2Vec训练词向量，数据集：STS

自然语言处理第二次作业： data文件夹中存储语料（中文语料以及英文语料由老师提供，另一份为中文停用词语料） output文件夹中存储输出的词向量文件 script文件夹中为CBOW的脚本，同时处理中文语料与英文语料 运行步骤：在脚本中确定训练中文或者是英语后，直接运行即可

Glove词向量，内有分别有50、100、200、300维