0%

Attention的本质可以看做加权求和。

Attention 的 N 种类型

image-20200705230846450

Attention 有很多种不同的类型:Soft Attention、Hard Attention、静态 Attention、动态 Attention、Self Attention 等等。上图为各种Attention的分类,下面是这些不同的 Attention 的解释。

由于这篇文章《Attention 用于 NLP 的一些小结》已经总结的很好的,下面就直接引用了:

本节从计算区域、所用信息、结构层次和模型等方面对 Attention 的形式进行归类。

Read more »

论文

[Paper] [Code] [20XX]

自动勾线-线稿

  1. Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup [Paper] [Code] [Blog] [2015]

    • 早稻田大学15年经典论文。

    • 粗糙手稿映射到精描线稿。

    • 使用的是自建数据集,给定精致线稿让画师去照着描粗稿,这样避免了从线稿描到精稿时候添加和大改了很多线条。数据集没有开源……不过似乎作者给了训练好的权重。

      Read more »

模式官方介绍

正片叠底

查看每个通道中的颜色信息,并将基色与混合色进行正片叠底。结果色总是较暗的颜色。任何颜色与黑色正片叠底产生黑色。任何颜色与白色正片叠底保持不变。当您用黑色或白色以外的颜色绘画时,绘画工具绘制的连续描边产生逐渐变暗的颜色。这与使用多个标记笔在图像上绘图的效果相似。

image-20200519225738854

如图,重点是分通道,所有的模式混合都是基于通道的。即红色的底色,往上加蓝色和绿色结果都是黑色。因为RGB通道相互间的暗色都是黑色。当然,它们与黑色叠加也是黑色的。

Read more »

选项研究

由于多次搜索和研究画笔设置和笔刷的制作方法,但均感觉网上所讲一知半解居多,这次特意找时间全部整理了一遍。难理解的、可能并不常用的放在前面着重讲,容易理解的、常用的则放在后面。

杂色(Noise)

为个别画笔笔尖增加额外的随机性。当应用于柔画笔笔尖(包含灰度值的画笔笔尖)时,此选项最有效。

Read more »

管理好自己手中的论文,不让他们被吞噬与“Download”文件夹的茫茫文件海洋中已非易事,而能在需要时迅速定位,能在Windows的Desktop与便携的MacBook上无缝对接论文库则需要相对精细化的管理。然而,很多时候并不适合展开自己的笔记本电脑来“郑重”地阅读一篇论文,在一些相对零碎的时间里随手抽出包中的iPad,读读前面顺手存下的论文,则可大大增加自己的学术幸福感。

Read more »

知乎上的本文链接:Link

首先吐槽一下知乎的编辑器。虽然个人博客上的不少内容都曾有想过搬到知乎一份,但是知乎的编辑器真的是令人绝望式的难用。尽管现在可以使用文件导入功能导入md文件和Word文档,且能支持一些简单的Markdown语法,但每种途径都有着无法避免的缺点,从结果上来说则是只能被迫接受或是不完美的格式亦或是大量手动且重复的图片上传。

口说无凭,这里放一下几种方法的对比图来详述一下问题所在:

Read more »

Docker Images and Containers

  • 清除所有已经停止的container:docker container prune -f 。其中 -f 表示不弹出确认提示。也可使用docker rm $(docker ps -a -q)来清理。其中,docker rm代表删除container,而docker rmi则是删除image。

  • 如果你需要实例化一个只用一次的container,那么使用docker run --rm参数,结束后会自动删除。

    Read more »

硬盘相关

  1. df命令
    df:检查linux服务器的文件系统的磁盘空间占用情况。它只会显示已经挂载的磁盘信息!

    df -h, 即 --human-readble:以1024的倍数的方式显示大小。(e.g., 1023M)

    df -T:查看所有磁盘的文件系统类型(type)

    Read more »

Pandas原生支持resample功能,前提是目标DataFrame需要有一个index的column。假设我们现在在对一个取样率为30Hz的DataFrame做操作,并想将它变resample为16Hz。

首先我们要建立一个timestamp的列,这个名字随意,然后它是以秒为单位的该帧的时间,如3.25,14.33。然后我们将其转换为datatime格式,单位为s。

Read more »

This blog comes from an answer from How to put the legend out of the plot. Reprint it here for note. Original author keeps all the right.

Placing the legend (bbox_to_anchor)

A legend is positioned inside the bounding box of the axes using the loc argument to plt.legend.
E.g. loc="upper right" places the legend in the upper right corner of the bounding box, which by default extents from (0,0) to (1,1) in axes coordinates (or in bounding box notation (x0,y0, width, height)=(0,0,1,1)).

Read more »