自然语言处理

课程大纲

• 第1章自然语言处理
•     第1节 自然语言处理基础知识
•     第2节 自然语言处理的应用
•     第3节 自然语言处理相关模块
•     第4节 文本预处理

• 第2章词向量
•     第1节 同义词词典
•     第2节 基于计数的词向量
•     第3节 CBOW和Skip-Gram网络
•     第4节 训练词向量
•     第5节 加载Golve
•     第6节 词向量的可视化

• 第3章卷积神经网络
•     第1节 语义理解
•     第2节 卷积神经网络
•     第3节 数据处理
•     第4节 CNN文本情感分析

• 第4章循环神经网络RNN
•     第1节 概率和语言模型
•     第2节 RNN
•     第3节 时序数据处理
•     第4节 RNN文本情感分析

• 第5章带有门的的RNN
•     第1节 RNN存在的问题
•     第2节 LSTM和GRU
•     第3节 双向RNN
•     第4节 LSTM文本情感分析

• 第6章Seq2Seq模型
•     第1节 编码-解码架构
•     第2节 数据处理
•     第3节 编码器的实现
•     第4节 解码器的实现
•     第5节 组装Seq2Seq网络
•     第6节 使用Seq2Seq网络
•     第7节 注意力机制

• 第7章基于预训练网络模型
•     第1节 Self-Attention
•     第2节 Bert详细介绍
•     第3节 基于Bert的文本情感分析
•     第4节 Transformer架构

实验列表

• 实验名称词向量训练
• 实验描述神经网络在处理文本时，需要将文本转换成向量的形式。这种向量可以是词袋模型、也可以是OneHot编码，或者词向量。相比之下词向量是一个更优的选择。为了更好地使用词向量，会将词向量嵌入到Embedding层，本次实验将完成词向量的训练以及嵌入操作。

• 实验名称情感分析
• 实验描述文本分类是自然语言处理的一大基本任务，文本分类可以应用到文本情感分析上。而文本分类实现方式有很多种，可以用全连接、CNN、RNN等。本实验使用CNN作为分类网络，实现文本情感分析。

• 实验名称机器翻译
• 实验描述机器翻译是自然语言处理的一大任务，现在传统的机器翻译已经被基于深度学习的机器翻译取代。机器翻译可以简化成序列到序列的问题，在自然语言处理中有一类专门处理序列到序列的模型叫做seq2seq模型。本实验使用RNN作为网络基础，实现seq2seq网络模型，完成机器翻译任务。

• 实验名称Bert情感分析
• 实验描述Bert作为一个大型的预训练模型，可以迁移到许多其它任务上。文本分类、文本生成等。本实验使用Google预训练的Bert模型，对文本分类任务进行微调，实现文本情感分析。