Attention-based Hierarchical Deep Reinforcement Learning for Lane Change Behaviors in Autonomous Driving(2019CVPR)

Chen, Yilun, et al. “Attention-Based Hierarchical Deep Reinforcement Learning for Lane Change Behaviors in Autonomous Driving.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2019.

只看了文中关于attention部分的内容，其中将attention分为了两个部分：temporal attention和spatial attention 。期待这篇文章后续作者能将代码开源，现在没有代码，不过中间参考的三篇论文都是可以找到代码的

• Temporal attention

  • learns to weight the importance of previous frames

  • 文中提到说从单独的一帧照片不能得到足够的环境信息来得到驾驶行为。

    变道时周车速度是一个重要因素，这时的驾驶行为是一个POMDP.

    本文种利用的是LSTM作为基础的RNN网络来对时间维度的信息进行处理

  • 改变T来该改变模型考虑的历史时间序列

  • 参考文献

    • Recurrent neural network regularization （LSTM）

• Spatial attention

  • learns the importance of different locations in the image
  • 现在研究又分为两种models
    • hard attention
    • soft attention，本文使用该种模型
  • 参考文献
    • Deep attention recurrent q-network （soft attention）
    • Show, attend and tell: Neural image caption generation with visual attention. (提出两种models)