Posts

Trick：Hard Task 思路来源于 Meta-Tranfer-Learning，基本思路是在 Meta-Learning 的每一次 Meta-Test 的时候，会从预训练错误率比较高的 Task 中再次采样，增加那些 task 的训练次数。也就是难题多做的策略。 基本思路 对比 Adaboost 这样的思路其实和 AdaBoost 的想法是有一定的异曲同工之妙的，或者说其实就是 AdaBoost 的思路： Adaboost 参考笔记 ，从该笔记中我们可以看到，AdaBoost 的基本思路如下： Boosting 算法的工作机制是首先从训练集用初始权重训练出一个弱学习器 1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器 1 学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器 2 中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器 2.，如此重复进行，直到弱学习器数达到事先指定的数目 T，最终将这 T 个弱学习器通过集合策略进行整合，得到最终的强学习器. 和 Meta-Transfer-Learning 对比一下，我们可以发现，这个方法实际上就是讲 Transfer Learning 的与训练网络当成弱学习器 1，然后通过弱学习器 1 的训练样本权重，来增大 Hard-Task 的配比（也就是增加任务的权重）完全一致。 具体实现 实现上主要是，样本 sample 的过程，就是如何在进行参数选择后和原本的 Dataloader，结合起来。在这里我们主要参考 MTL 中的方法，进行网络的构建处理。 第一部分：sampler 构建，为了后续 Dataloader 中进行数据的采样，需要构建一个这样的 sampler，关键在于 index 的对应关系，以及最后输出的是 index 的集合。 python import torch import numpy as np # 注意的点，我们需要确定我们 batch 数目，cls 数目和每次每个 cls 选出多少个数据 per # 紧接着定义一个 sample，sample 输出的是对应原 dataset 中的数据的 index， class CatagoriesSampler(): def __init__(self, label, n_batch, n_cls, n_per): self.n_batch = n_batch self.n_cls = n_cls self.n_per = n_per label = np.array(label) # 根据不同的 label 输入情况，我们可可能需要找到每个 label 对应的样本的 index，将其整合在一起。如下（option） self.m_idx = [] for i in range(max(label)+1): idx = np.argwhere(label==i).reshape(-1) idx = torch.from_numpy(idx) self.m_idx.append(idx) def __len__(self): # 要注意一下这里数据的长度是根据我们要输出的 batch 数目决定的 return self.n_batch def __iter__(self): # 直接定义每次采样的时候的 batch 输出 for i_batch in range(self.n_batch): batch = [] classes = torch.randperm(len(self.m_idx))[:self.n_cls] for c in classes: # 随机选择出的类标签 l = self.m_idx[c] # 随机选择样本 random_pos = torch.randperm(len(l))[:self.n_per] batch.append(l[random_pos]) # stack t and reshape 的作用👇 # stack 变成 n_cls * n_per , t 转置，reshape（-1）变成行向量 batch = torch.stack(batch).t().reshape(-1) yield batch 第二部分：直接调用部分 ...

How to Train Really Large Models on Many GPUs? (lilianweng.github.io) 对于浮点运算，模型参数的存储和中间计算输出（梯度和优化器状态）的存储的在 GPU 内存上的大量需求使得我们需要并行化，下面我们参考一些常用的并行化范式： 数据并行策略： 在 Multi-GPUs 上 Duplicate 模型，然后分别 feed 数据，进行运算，每个 batch 同步或者异步的进行多卡间的梯度传递和模型同步。 同步可能会导致每个 batch 需要停止训练，异步则是可能会使用陈旧的梯度进行一段时间的训练，增加了计算时间。 而在 PT1.5 以来，使用一种中间的方式：每隔 x 次迭代，进行多卡间的全局同步梯度一次，使用这种梯度积累的策略，根据计算图来进行计算和通信调度的优化，提高吞吐量。 模型并行范式： 是为了解决单模型过大无法存储在单一的 Node 上的问题，但是这样会有 GPU 间的顺序依赖，虽然减少了内存的占用和计算量，但是这种 IO 的需求导致计算资源的利用率严重不足。 在这种 pipeline 中，就存在利用率的 bubble，也就是空白的部分 Pipeline 并行策略： 混合模型和数据并行的策略，来减少低效时间的泡沫，也就是，将一个 batch 切分成多个小 batch，然后分发到每个 node 上，减少相应的等待时间，只要我们对计算量和运行速度有合理的把握，就能极大的降低这个 inefficient time bubbles. 多个 mini-batch 的梯度聚集起来最后同步更新. 最有情况下甚至可以忽略气泡的开销 $$ 1- \frac{2md}{(2m+2(d-1))d} = \frac{d-1}{m+d-1} $$ m 个 mini-batch 和 d 个分布, bubble 的比例将如上述所示 ...

@Author： MSRA Zhenda Xie @Source：Arxiv ， Code TBP ，Blog_CVer @Read：AikenHong 2021.11.22 “What I cannot create, I do not understand.” — Richard Feynman Intro & Simple Conclusion Conclusion 继 MAE 和 iBoT 之后，MSRA 也提出了一个图像掩码建模的新框架，SimMIM，该方法简化了最近这些提出的方法，不需要特殊设计，作者也验证了不需要那些特殊设计就已经能让模型展现出优秀的学习能力 采用中等大小的掩码块（32），对输入图像进行随机掩码，能使其成为强大的代理任务（pretext task） 直接回归预测原始像素的 RGB 值的效果并不比复杂设计的 Patch 分类方法差 Projector Head 可以是轻量的 Linear Layer，效果并不一定比 MLP（多层）的差 Motivation 通过这种 MIM 方法可以实现在大量无标注的数据上得到一个表征能力 up 的通用特征模型，这种方式的 backbone 可以广泛的应用到图像上的各种子任务中（按照 NLP）的经验来说，而为了类似的方式在图像上的大放异彩，我们首先需要分析 Vision 和 Language 的不同 图像有更强的局部关系：相互靠近的像素是高度相关和近似的，我们可以通过简单的 copy padding 复制一部分缺失 视觉信号是原始，低层次的，而文本分词是高级概念：对低层次信号的预测是否对高层次的视觉识别任务有用呢？ 视觉信号是连续的，而文本的分词是离散的： 如何基于分类的掩码语言建模方法来处理连续的视觉信号 Theoretical Design 掩码选择：同样的掩码的策略还是基于 Patch 进行的，对于掩码的设计来说，太大的掩码快或者太密集的掩码快，可能会导致找不到附近的像素来预测，实验证明 32 是一个具有竞争力的 size，和文本任务的信息冗余程度不同也带来了覆盖比的选择，NLP 通常是 0.15，而在 V 中，32size 可以支持 0.1-0.7 的覆盖率。 任务选择：使用原始像素的回归任务，因为回归任务和具有有序性的视觉信号的连续性很好的吻合。 预测头选择：使用轻量的预测头如（linear），迁移性能与繁琐的预测头相似或者略好，同时训练上更加的块。虽然较大的头或更高的分辨率通常会导致更强的生成能力，但这种更强的能力不一定有利于下游的微调任务。 ...

@aikenhong 2021 References For Transformer: NLP The Transformer Family (lilianweng.github.io) VIT Transformer 眼中世界 VS CNN 眼中世界 李沐 NLP Transformer 论文精读 Suveys cver1 ， cver2 ，cver3 This blog will divided into several part : lil’s blog, the survey for ViT, we using those article to help us understand the transformer. 综述我们以最新的一篇为准进行阅读，其他的可能后续进行查缺补漏把，如无必要，勿增烦恼。 Intro 导言 主要参考文章 2 来进行我们简单的导入 基本问题 Transformer 原本是 NLP 中的重要模型, 作为 LSTM 的后继者, 用于处理 Seq2Seq 的数据类型和情景, 若是要将 Transformer 运用到 Vision 的领域中, 首要的问题就是如何: 将 Image 作为序列化的 Token 输入 Transform 中 , 而达成这个目的主要有三种典型的方法: 像素点作为 token, 使用 VAE 离散化图片作为 token 再输入 ViT: 将图片切为一个个 Patch 在经过线性的 projector 之后组成一个 embedding 表示进行交互 ...

@Read: AikenHong 2021 @Author: https://arxiv.org/abs/2111.07832 @解读：Machine Heart 基本思想 基于 NLP 中的 MLM(Masked Language Model) 的核心训练目标: 也就是遮住文本的一部分, 然后通过模型去预测和补全, 这一过程是模型学到泛化的特征, 使用这种方法来进行大规模的与训练范式. 在基本的思想上和 MAE 采用的是一样的设计, 但是本文中坐着认为 visual tokenizer 的设计才是其中的关键. 不同于 NLP 中 tokenization 通过离线的词频分析即可将语料编码为含高语义的分词，图像 patch 是连续分布的且存在大量冗余的底层细节信息。而作者认为一个能够提取图像 patch 中高层语义的 tokenizer 可帮助模型避免学习到冗余的这些细节信息。作者认为视觉的 tokenizer 应该具备两个属性：（a）具备完整表征连续图像内容的能力；(b) 像 NLP 中的 tokenizer 一样具备高层语义。 文中对 tokenizer 的设计为一个知识蒸馏的过程: 文中使用这种在线 tokenizer 同时来监督这样的 MIM 过程, 也就是两部分协同学习, 能够较好的保证语义的同时并将图像内容转化为连续的特征分布, 具体的, tokenizer 和目标网络狗狗想网络结构, 有移动平均来得到实际的 tokenizer. ...

@Author：Facebook AI Research-Kaiming He Kaiming-MAE Conclusion 总而言之这是一种大模型的训练方法, 通过在少量数据的基础上实现大模型的训练. 整体的架构上是参考了 NLP 中的 AutoEncoder 机制，将原图切分 patch，用 mask 掩盖原图，通过少量可见的 Patch 进行 Encoder 后和 Mask 融合，再通过非对称的 Decoder 进行 pixel 的还原。 这种设计的有点在于 mask 的 scala 是可变的，同时这种 mask 能减少我们训练过程中对显存和计算复杂度的损耗，同时问题本身是一个比较复杂的问题，得以训练复杂的大模型，这种方式最终呈现的效果就是训练的效率高且效益好。 体现了自监督学习在这方面的优越性，同时这种方法得以实现也是由于 ViT 模型对于 CNN 模型的取代，才使得这种序列化切块的方式容易实现和验证。 这种方式在最终体现了自监督学习对于有监督与训练的优越性，使用这种方式能够更好的得到一个模型的通用表征。 在这里论文中也说明了和 NLP 的不同点以及这样的模型对于 decoder 的要求实际上是比 NLP 更高的 experiment Masking：对于输入的图像进行均匀的切分并均匀的随机采样 MAE encoder: 简单的 ViT 模型，对输入图像进行编码后和 Mask 进行混合得到一个完整的令牌集合，从而确保 Decode 能够得到对应的位置信息。 MAE decoder：轻量级的架构，可以独立于编码器进行设计，我们使用更窄更浅的网络，计算量比编码器 10% 更小，这样能够更快的进行训练。解码器的最后一层是先行投影，输出的数量 == 补丁中像素值的数量，最后会 resize 层原图的维度。

@AikenHong2021 OWL 分析现有的 OWL 特点，和当前自己的研究做一个区分，也汲取一下别人的研究的要点， Reference arxiv @ self-supervised feature improve open-world learning arxiv @ open-world semi-supervised learning arxiv @ open-world learning without labels arxiv @ unseen class discovery in open-world classification arxiv @ Open-World Active Learning with Stacking Ensemble for Self-Driving Cars www @ open-world learning and application to product classification cvpr @ open world composition zero-shot learning cvpr @ Towards Open World Object Detection [cvpr](Large-Scale Long-Tailed Recognition in an Open World (thecvf.com) ) @ Large-Scale Long-Tailed Recognition in an Open World Conclusion Papers Mulit Open world Learning Definition ...

个人的《Python Cookbook》 && 《Fluent Python》阅读笔记。 数据模型（Python 结构的通用范式） （Magic method）dunder method：Python 特有的双下划线方法，这些方法能够支持 Python 进行特殊的调用，实现通用方法在新定义的数据结构上的使用，比如最典型的: __len__() 后可以支持 len()，获得结构的长度 __getitem__() 后可以支持 data[index] 来获取相应的元素，切片，等等数组的操作； python # 也可以支持类似如下的一些操作 # 从数据结构中随机选出一个 items from random import choice choice(datas) # 也可以支持迭代方法和反迭代方法 for data in datas: ... for data in reversed(datas): ... # 也可以支持 sort 函数 到这里也就说明了，只要我们在数据结构（class）中定义了相应的 dunder method，该 class 就能支持相应的一系列操作，getitems 就可以类比为列表，相应的操作都能够在 python 解释器下自动的赋予支持。 还有一些好用但不常用的方法： __contain__实现的是 in ，当没有实现 contain 的方法的时候会按照顺序在 list 中进行搜索 __abs__ __repr__实现的是输出的 format 设置，也就是 print 的时候的输出形式 __eq__ 实现的是 == 命令，同时 in 调用的是__eq__ 下面附上一张特殊方法表： 基本命名规范 相关的文件和函数等命名规则。 ...

编辑相关设置 自定义分词机制 当我们选择变量的时候，往往希望双击能够选中整个文本，但是由于分词机制，例如 pre-word 双击的话会被 - 划分为两个单词，这种时候可能不是我们希望的，VsCode 支持我们自定义这些分隔符，我们可以将其 - 从设置中删除即可 终端部分的输出双击复制 json "terminal.integrated.copyOnSelection": true 禁止通过拖放来移动选择内容 json "editor.dragAndDrop": false Launch 文件配置 配置 Launch.json 能够帮助我们更好的进行 debug 的操作，有一些比较特别的文件名和相关编码。 ...

this is the Note record the vimtutor (the basic usage of vim.) @Aiken 2021 write some word and we can use shift+a to insert in the end. the doc with Chinese delete command skip words and lines undo and resume replace and change location and file status search command find the matched parentheses 找到对应的括号 substitute command 替换命令 EXECUTE AN ECTERNAL COMMAND THE OPEN COMMAND COPY AND PASTE SET OPTION KEYSHORT delete command Most of the command can use NUM to repeat it. d num command means delete num times with args below: c means del and change mode to insert: ...