主页

  想法渐渐成熟

  下个脚步我懂 怎么做

  新鲜的念头冲击着我

  平衡快失控

  张开手 起飞

  让年轻无极限

  挑战一切

  飞越更多空间才能体验

  不害怕改变

  不一定往前追

  停住时间 享受这一分钟

  我深深的体会

几个月前偶然看到ChiyuanZhang的博客，惊喜地发现他竟然也是孙燕姿的歌迷，不但每年的年终总结都用燕姿的歌做题目，而且坚持了十多年——实在太酷了。恰好燕姿的这首《年轻无极限》很符合我过去一年的状态，于是今年的年终总结就借鉴下这一形式。

2019年过得不算精彩，但我的内心却很充实。如果说以前都是被生活推着向前走，那么过去的一年里我第一次试着体会了把握自己生活的感觉。

沿着注意力机制的发展脉络，选取了三篇论文作一总结

​​这个问题来自于一位正在学习汉语的朋友前几天发来的一封信中。 看似很普通的问题，但用极其标准的书面语问出来，让我不由得多思考了一会儿，颇有思考“人生的意义是什么”的那股端正劲儿。总觉得答案显而易见，似乎只要在记忆中检索就行，但却怎么也得不到一个满意的答案。

CS231n看过已有半年之久，当时花费不少时间在iPad上手写了大量笔记。昨日读论文时翻看笔记复习了优化方法这一部分，突然觉得差不多也该整理整理这些笔记了。一方面是因为这门课的质量确实高，另一方面也希望通过整理笔记的过程把这些知识再温习一遍。本文对神经网络中常见的优化方法做一梳理。

对VAE的理解一直都很模糊。由于打算用GAN来做实验，作为基础，有必要彻底把VAE弄懂。 回过头又把CS231n关于VAE的部分来回看了好几遍，说真的，Serena Yeung讲得比Justin小哥差太多了，实在没法理解。 所幸在网上找到了一篇博文，清晰明了。 博文里已经讲得很清楚了，我在此用自己的理解做一总结。

我在夏季学期选修了《统计机器学习理论》，虽然课程只上了短短一周，但却令我耳目一新，越上越觉得有趣，捧起Vapnik那本《统计学习理论的本质》也看得津津有味。课程最后要求就自己感兴趣的部分写一份调研报告，在查阅资料的过程中偶然发现了Caltech的一门课：Learning From Data，前7课讲的恰好是统计学习理论。老爷子讲得很生动形象，强烈推荐。在此对这部分课程做一梳理总结。

欧拉___Orz

还在用高斯消元法解线性方程组？