Posts

@Aiken 2021 this file is use to record how to config out vim’ by spacevim. I’ll write this doc with three Parts: Install and envs, Plugins(including the LSP), KeyShort Attention: we have much to do if we want to install some other plugins. maybe it not a good way to set the vim. INSTALL SPACEVIM AND CONFIG IT INSTALL LANGs’ COCNVIM KEYSHORT and special USAGE SPLIT WINDOWS and CHECKOUT Plugins INSTALL SPACEVIM AND CONFIG IT Install: SpaceVim via the offical websize: ...

@ Article: ICML from Microsoft & Huazhong Keda @ Code: Github @ Noteby: Aikenhong @ Time: 20210914 Abstrast and Intro in the session we will using describe the main idea of this article. 这篇文章的重点在于Soft Teacher，也就是用pseudo label做为弱标注，逐步提高伪标签的可靠性。 不同于多阶段的方法，端到端的方法再训练中逐步的提升伪标签的质量从而再去benifit目标检测的质量。 这样E2E的框架主要依赖于两部分技术: soft teacher: 每个未标记边界框的分类损失由教师网络产生的分类分数进行加权 box jitter 窗口抖动: 选择可靠的伪框来学习框回归 在目标检测上获得SOTA的效果; Multi-Stage 在半监督的情况下，关注的主要是基于伪标签的方法，是目前的SOTA，以往的方法采用多阶段的方式。 使用标记数据训练初始检测器 未标记数据的伪标记，同时基于伪标签进行重新训练 局限：初始少量标注的局限，初始的检测器的伪标签质量 End to End Soft Teacher基本思路：对未标记的图像进行标记，然后通过标记的几个伪标签训练检测器. 具体而言： 采样标注和未标注图片形成Batch 双模型：检测（student）、标记（teacher） EMA：T模型是S模型的EMA 这种方式避免了多阶段方案实现上的复杂，同时实现了飞轮效应==S、T相互加强; 此外Soft Teacher直接对学生模型生成的所有候选框进行评估，而不是使用伪框来为这些候选框进行分类回归。 这样能使用更多的直接监督信息 具体而言： 使用高阈值来分割前景，确保不会错误的将背景分类成前景，确保正伪标签的高精度； 使用可靠性度量来加权背景候选的损失； 教师模型产生的检测分数可以很好的作为可靠性度量 Box Jitter为了更可靠的训练学生网络的本地分支，指的是： 我们对前景框候选进行多次抖动 根据教师模型的位置分支对这些候选进行回归 将回归框的方差作为可靠性度量 可靠性高的用来训练 Related works Semi-Supervised Learning in Image Classification & object detection ...

@Aikenhong 2021 Vim is a important consistant for editing file in shell. It’s Hightly Customized for Everyone, In this part I’ll Show my personal Vim comfigurations And I’ll Discuss about the diff between Spacevim & Neovim. Give a conclusion in advance: Recommand Config the Vim for Yourself You only need to config once, then you should save it in the cloud. You will Know all the Keyshot you setting up, and you can customize it as you want. ...

该配置笔记于 20230521 重新整理。默认的 Vimrc 位置为 /usr/share/vim/vimrc，也可以在 vim 界面使用 :echo $MYVIMRC 查看当前的配置文件，默认使用的配置文件地址为 ~/.vimrc 参考文献地址：Good VimRC | Backspace | AutoCmd | VIM配置入门 配置文件地址：AikenDotfile ，本文这里只介绍部分配置，一些过于常见的配置等等这里就不再介绍，在 dotfile 中对每行配置均有的细致的注释。 基于 VimScript） 该 blog 主要记录基础 vim 的配置文件编写，旨在使用基础 vim 的时候也能有一个较好的代码编辑体验，同时提供部分 keymap 集成一些简单的功能，方便文档编写时候的格式转换等。这个配置文件在后续配置 nvim 的时候部分配置也会沿用。 Vim 的基础配置 自动检测文件修改，以及对多个文件的 workspace 自动切换 vim " >>0-1 state detection. set autoread " when file change outside, we will know set autochdir " change workspace when we swtich file, when we open multi-file in one session. 鼠标和剪切板功能 设置 vim 对鼠标的支持，支持鼠标选择等 ...

StyleGAN V1 @AikenHong 2020 10.8 《A Style-Based Generator Architecture for Generative Adversarial Networks》 Related Work： 继承的文献工作： ProGAN 参考解读： 《其中子链接值得一看》 （包括源码解析啥的）（甚至还有GAN的笔记） 《StyleGan源码解析和拓展应用》 《秃头生成器1》 《秃头生成器2》 NO.3 Contribution（Problem）： 解纠缠：Mapping Network Noise Generator AdaIN before all conv Structure： ...

@AikenHong 20200726 基于YOLO v4 掌握一些CV方面训练的Trick，同时针对Typora的使用进行一个熟悉掌握。GITHUB CODE 一些相关的参考资料 ⚡️https://zhuanlan.zhihu.com/p/150127712 ⚡ 机器之心YOLOv4 ⚡️https://www.zhihu.com/question/390191723/answer/1177584901 本文中一些其他的收获 • 其他可替代的Object Detection的SOTA算法有哪些 • BoS，BoF方法 • 简直是一个Tricks的综述 Abstract 本文对近期再CNN上的一些Feature方法进行了尝试组合，并实现了新的SOTA，其实就是一些通用的Trick的组合尝试，包括 • 加权残差连接（WRC） • Cross-Stage-Partial-connection，CSP • Cross mini-Batch Normalization，CmBN • 自对抗训练（Self-adversarial-training，SAT） • Mish 激活（Mish-activation） • Mosaic 数据增强 • DropBlock 正则化 • CIoU 损失 基于该文章我们可以了解一下这些方法的主要思路和后续的应用价值。YOLOv4 更快，更准确，只需要比较小的计算需求即可 ...

@Aiken 2021 框架撞车系列，主要看看这一篇论文中怎么解决如下的问题👇，并从中借鉴和优化的我框架设计 思路分析 Motivation 模型实现的主要的两个TASK： Open Set Learning ： 在没有明确监督的时候，将尚未引入的目标类别识别为未知 Incremental Learning：类别增量学习 实现这两个问题的主要思路： 自动标注：借鉴RPN的class-agnostic，以及检测和分类的显著性指标的差异，找到并自动标注NewClass **对比聚类：**使用prototype feature来进行聚类，同时计算Distance损失 it seems like contain a unknown prototype. **energy based：**亥姆霍兹自由能公式？ ENERGY BASED Feature： $F$ , Label: $L$ , Energy: $E(F,l)$ 能量函数倾向于将已知的类别分类到低熵的分布上，然后我们可以根据特征在能量空间上的划分来区分新类和旧类。然后我们可以根据logits表达的softmax形式，找到输出和Gibbs distribution的相关性： $$ p(l \mid \boldsymbol{f})=\frac{\exp \left(\frac{g_{l}(\boldsymbol{f})}{T}\right)}{\sum_{i=1}^{\mathrm{C}} \exp \left(\frac{g_{i}(\boldsymbol{f})}{T}\right)}=\frac{\exp \left(-\frac{E(\boldsymbol{f}, l)}{T}\right)}{\exp \left(-\frac{E(\boldsymbol{f})}{T}\right)} $$ 通过这个相关性，我们对自由能进行一个定义，以logits的形式表达 ...

@Aiken 2020.9.16 对基本注意力机制的一些资料和理解做一些简单的汇总，着重分析基本思想原理，应用和实现（即 structure），还有一些Weakness和相应的解决方案。 1.TODO-List： 根据Lil’Log的Attention？Attention！进行初步的整理 各个分类的具体含义分开整理，理解一部分整理一部分，可能结合实际的应用去整理吧。 其中很重要的一点是数学分析的部分，需要对数学原理进行整理和领会。 What’s Attention In Deep Learning 在某种程度上，注意力是由我么如何关注视觉图像的不同区域或者我们如何关联同一个句子中的不同单词所启发的：针对于问题的不同，我们会对图像的某些具体的区域重视（某些区域在视觉中呈现高分辨率，而另一些则是低分辨率的情况），或者句子中的某些词重视的情况。 可以解释一个句子中紧密的上下文单词之间的关系，比如我们看到eating就会期待看到food，而color对于我们来说就没有那么重要。 ...

Tags: Paper URL1: https://arxiv.org/pdf/1905.11946.pdf URL2: https://arxiv.org/pdf/2104.00298.pdf 提出了一种模型缩放策略，如何更高效的平衡网络的深度、宽度、和图片分辨率 1. Efficient Net: Rethinking Model Scaling for Convolutional Neural Networks 2. EfficientNetV2: Smaller Models and Faster Training @Aiken H 2021 find detail to code his Efficient Net V1 除了提出了缩放策略以外，还使用神经架构搜索还建立了一个新的baseline network，得到了一系列模型。 平衡网络宽度、深度、分辨率至关重要，这种平衡可以通过简单的恒定比率缩放维度来实现，于是我们提出了一种简单有效的复合缩放方法。 复合缩放的物理意义：输入图像更大的话就需要更多层来增加感受野和更多通道，从而能在更大的图像上捕获更多细粒度的图案，而宽度和深度（对于表达能力来说很重要）之间也存在着一定的关系，“我们”是第一个对此进行了建模的。 从各个维度单独的进行缩放能发现都存在着增益瓶颈，如何去得到这么一个合适的等比缩放增益 Motivation and Method 一些直观上的motivation，以及假想 ...

@Aiken 2020 在使用Google Colab的时候会有一些常见的使用错误，然后我们记录一些常见的错误的解决方案，方便后续使用。 INDEX： 命令行参数的输入问题 tensorboard的执行方法 bash # 在colab中写的时候要把前面的符号也写上 %load_ext tensorboard %tensorboard --logdir './runs' command命令的使用：包括库安装和卸载之类的。 主要就是在命令前+！ bash !/opt/bin/nvidia-smi # 下面顺便解决了一下 # ImportError: cannot import name 'PILLOW_VERSION'(版本问题) !pip uninstall pillow !pip install pillow==5.2.0