详解预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理... -凯发k8官方网

nlp近几年非常火，且发展特别快。像bert、gpt-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。为了迎合大家学习的需求，我们这次重磅推出了《自然语言处理终身升级版》。

课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。

重点：课程会不断更新，比如一篇新的有趣的论文出现在arxiv，我们会在1个月之内提供技术的讲解和实战。我相信这个课程将是你在nlp领域中的终身伴侣。

01 课程大纲

第一部分：机器学习基础篇

第一章：自然语言处理概述

• 自然语言处理的现状与前景

• 自然语言处理应用

• 自然语言处理经典任务

 

第二章：数据结构与算法基础

• 时间复杂度、空间复杂度

• 动态规划

• 贪心算法

• 各种排序算法

第三章：分类与逻辑回归

• 逻辑回归

• 最大似然估计

• 优化与梯度下降法

• 随机梯度下降法

第四章：模型泛化与调参

• 理解过拟合、防止过拟合

• l1与l2正则

• 交叉验证

• 正则与map估计

第二部分：文本处理篇

第五章：文本预处理与表示

• 各类分词算法

• 词的标准化

• 拼写纠错、停用词

• 独热编码表示

• tf-idf与相似度

• 分布式表示与词向量

• 词向量可视化与评估

第六章：词向量技术

• 独热编码的优缺点

• 分布式表示的优点

• 静态词向量与动态词向量

• skipgram与cbow

• skipgram详解

• negative  sampling

第七章：语言模型

• 语言模型的作用

• 马尔科夫假设

• unigram, bigram, ngram模型

• 语言模型的评估

• 语言模型的平滑技术

第三部分：序列模型篇

第八章：隐马尔科夫模型

• hmm的应用

• hmm的inference

• 维特比算法

• 前向、后向算法

• hmm的参数估计详解

第九章：线性条件随机场

• 有向图与无向图

• 生成模型与判别模型

• 从hmm与memm

• memm中的标签偏置

• log-linear模型介绍

• 从log-linear到linearcrf

• linearcrf的参数估计

 

第四部分：深度学习与预训练篇

第十章：深度学习基础

• 理解神经网络

• 各种常见的激活函数

• 反向传播算法

• 浅层模型与深度模型对比

• 深度学习中的层次表示

• 深度学习中的过拟合

第十一章：rnn与lstm

• 从hmm到rnn模型

• rnn中的梯度问题

• 梯度消失与lstm

• lstm到gru

• 双向lstm

• 双向深度lstm

第十二章：seq2seq模型与注意力机制

• seq2seq模型

• greedy decoding

• beam search

• 长依赖所存在的问题

• 注意力机制的实现

第十三章：动态词向量与elmo技术

• 基于上下文的词向量技术

• 图像识别中的层次表示

• 文本领域中的层次表示

• elmo模型

• elmo的预训练与测试

• elmo的优缺点

第十四章：自注意力机制与transformer

• lstm模型的缺点

• transformer概述

• 理解自注意力机制

• 位置信息的编码

• 理解encoder和decoder区别

• 理解transformer的训练与预测

• transformer的缺点

第十五章：bert与albert

• 自编码介绍

• transformer encoder

• masked语言模型

• bert模型

• bert的不同训练方式

• albert 
  

第十六章：bert的其他变种

• roberta模型

• spanbert模型

• finbert模型

• 引入先验知识

• k-bert

• kg-bert

第十七章：gpt与xlnet

• transformer encoder回顾

• gpt-1, gpt-2,  gpt-3

• elmo的缺点

• 语言模型下同时考虑上下文

• permutation lm

• 双流自注意力机制

第五部分：信息抽取与知识图谱篇

 

第十八章：命名识别与实体消歧

• 信息抽取的应用和关键技术

• 命名实体识别

• ner识别常用技术

• 实体统一技术

• 实体消歧技术

• 指代消解

第十九章：关系抽取

• 关系抽取的应用

• 基于规则的方法

• 基于监督学习的方法

• bootstrap方法

• distant supervision方法

第二十章：句法分析

• 句法分析的应用

• cfg介绍

• 从cfg到pcfg

• 评估语法树

• 寻找最好的语法树

• cky算法

第二十一章：依存文法分析

• 从语法分析到依存文法分析

• 依存文法分析的应用

• 基于图算法的依存文法分析

• 基于transition-based的依存文法分析

• 依存文法的应用案例

第二十二章：知识图谱

• 知识图谱的重要性

• 知识图谱中的实体与关系

• 非结构化数据与构造知识图谱

• 知识图谱设计

• 图算法的应用

第六部分：模型压缩与图神经网络篇

第二十三章：模型的压缩

• 模型压缩重要性

• 常见的模型压缩总览

• 基于矩阵分解的压缩技术

• 基于蒸馏的压缩技术

• 基于贝叶斯模型的压缩技术

• 模型的量化

第二十四章：基于图的学习

• 图的表示

• 图与知识图谱

• 关于图的常见算法

• deepwalk和node2vec

• transe图嵌入算法

• dsne图嵌入算法

第二十五章：图神经网络

• 卷积神经网络回顾

• 在图中设计卷积操作

• 图中的信息传递

• 图卷积神经网络

• 图卷积神经网络的经典应用

第二十六章：graphsage与gat

• 从gcn到graphsage

• 注意力机制回归

• gat模型详解

• gat与gcn比较

• 对于异构数据的处理

第二十七章：图神经网络的其他应用

• node classification

• graph classification

• link prediction

• 社区挖掘

• 推荐系统

• 图神经网络的未来发展

课程其他的细节可以联系课程顾问来获取

添加课程顾问微信

报名、课程咨询

????????????

02 课程中的部分案例

1. 实现一个拼写纠错器

2. 从零实现word2vec词向量

3. 利用skipgram做推荐

4. 从零实现hmm模型

5. 基于linear-crf的词性分类器实现

6. 从零实现深度学习反向传播算法

7. 实现ai程序帮助写程序

8. 实现ai程序帮助写文章

9. 基于transformer的机器翻译

10. 基于kg-bert的知识图谱学习

11. 基于知识图谱的风控系统

12. 基于知识图谱的个性化教学

13. 利用蒸馏算法压缩transformer

14. 利用gcn实现社交推荐

15. 基于gat的虚假新闻检测

（剩下20 个案例被折叠，完整请咨询...）

03 课程中的部分项目作业

        

1. 豆瓣电影评分预测

    涉及到的知识点：

• 中文分词技术

• 独热编码、tf-idf

• 分布式表示与word2vec

• bert向量、句子向量

2. 智能客服问答系统

    涉及到的知识点：

• 问答系统搭建流程

• 文本的向量化表示

• fasttext

• 倒排表

• 问答系统中的召回、排序

3. 基于linear-crf的医疗实体识别

    涉及到的知识点：

• 命名实体识别

• 特征工程

• 评估标准

• 过拟合

4. 基于闲聊的对话系统搭建

    涉及到的知识点：

• 常见的对话系统技术

• 闲聊型对话系统框架

• 数据的处理技术

• bert的使用

• transformer的使用

5. 搭建基于医疗知识图谱的问答系统

    涉及到的知识点：

• 医疗专业词汇的使用

• 获取问句的意图

• 问句的解释、提取关键实体

• 转化为查询语句

6. 搭建基于医疗知识图谱的问答系统

    涉及到的知识点：

• 文本摘要生成介绍

• 关键词提取技术

• 图神经网络的摘要生成

• 基于生成式的摘要提取技术

• 文本摘要质量的评估

04 课程中带读的部分论文

主题	论文名称
机器学习	xgboost: a scalable tree boosting system
机器学习	regularization and variable selection via the elastic net
词向量	evaluation methods for unsupervised word embeddings
词向量	evaluation methods for unsupervised word embeddings
词向量	glove: global vectors for word representation
词向量	deep contexualized word representations
词向量	attention is all you need
词向量	bert: pretraining of deep bidirectional transformers for language understanding
词向量	xlnet: generalized autoregressive pretraining for language understanding
词向量	kg-bert: bert for knowledge graph completion
词向量	language models are few-shot learners
图学习	semi-supervised classification with graph convolutional networks
图学习	graph attention networks
图学习	graphsage: inductive representation learning on large graphs
图学习	node2vec: scalable feature learning for networks
被折叠	其他数十篇文章......

05 课程适合谁？

大学生

• 理工科相关专业的本科/硕士/博士生，毕业后想从事nlp工作的人

• 希望能够深入ai领域，为科研或者出国做准备

• 希望系统性学习nlp领域的知识
  

在职人士

• 目前从事it相关的工作，今后想做跟nlp相关的项目

• 目前从事ai相关的工作，希望与时俱进，加深对技术的理解

• 希望能够及时掌握前沿技术

06 报名须知

1、本课程为收费教学。

2、本期仅招收剩余名额有限。

3、品质保障！正式开课后7天内，无条件全额退款。

4、学习本课程需要具备一定的机器学习基础。

●●●

课程其他的细节可以联系课程顾问来获取

添加课程顾问微信

报名、课程咨询

????????????

总结

以上是凯发k8官方网为你收集整理的详解预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得凯发k8官方网网站内容还不错，欢迎将凯发k8官方网推荐给好友。