注意力机制
- 随机线索 query
- 每个输入是一个值 value和不随意线索 key 的对
- 通过注意力池化层来有偏向性的选择某些输入
Tip
没有注意力机制：
- 读完整篇文章，形成整体影响，然后再去看问题
缺陷：
- 信息过载
- 效率低下
有注意力机制：
- 先看问题，带着问题(Query)去找答案
- 特别关注包含Key的句子，忽略不相关的部分
- 判断哪些句子与Key最相关
- 把这些重点句子的信息(Value)整合起来，得到一个精确的答案
3个关键概念
Query
- 当前模型正在处理的状态或信息（问题）
- 我应该关注输入的哪个部分
Key
- 输入序列每个元素的标签，用来与Query匹配（索引）
- 这个输入部分是什么
Value
- 输入序列每个元素的实际内容或特征表示
- 如果我关注这个部分，我应该提取什么信息
Tip
用你的问题Query，去和文章中每句话的标签Key进行匹配，看看哪个最相关，哪个Key的匹配度高，就说明他对应的信息更重要，我们就给他更高的关注度，然后把这些重要的信息整合起来，形成最终的答案
将一个Query和一系列"Key-Value"映射到一个输出的过程