[!summary]+
在搭建了 Immich 服务之后，考虑到数据本身的重要性，又对硬盘本身的寿命和各种数据安全的场景有所顾虑，对加密备份的需求就浮出水面了，希望能有一个备份的预案来对抗各种数据风险，因此有本篇文章，对各种备份工具做简单调研和选择。

👾Intro 调研对象介绍

👍出场选手介绍，节选来自以下网站的备份方案：awesome-sysadmin-backup

• kopia
• urBackUp
• restic
• rclone
• duplicity
• Duplicati
• Duplicacy
• 脚本实现简单的备份和上传：Crontab+自动 tar 加密+Webdav 接口进行上传

为了备份大量包含隐私的图像信息，这里最基础的需求有以下几点：加密，支持云端存储服务/Webdav，增量备份，免费；

额外如果能够支持以下的需求则额外加分：压缩，去重，平台一致性，用户界面友好（备份状态检查等）

🏓Compare 特性对比

@AikenHong 2022

[[Draft/IL 总结]]: Thx 2 wyz to provide some clus for learnning Incremental Learning.

In this Doc, we may add some related knowledge distill works which is used to design our Incremental Structure.
在这个文档中，我们可能还会添加一些知识蒸馏的相关工作的文献，这些实际上对于我的增量学习架构有一个比较大的启发

• DER
• SPPR 没有 get 到方法到底是怎么做的

Introduction 👿

在很多视觉应用中，需要在保留旧知识的基础上学习新知识，==举个例子==，理想的情况是，我们可以保留之前学习的参数，而不发生==灾难性遗忘==，或者我们基于之前的数据进行协同训练，灾难性遗忘是 IL 中最核心的问题。

Incremental 的基本过程可以表示如下_[4]：

我们将模型可以划分为以下的两个部分_[1]：backbone 和 classifier

从 LWF 中我们可以知道经典的 Paradigm，主要有下面的三种来对$\theta _S$ 和$\theta_o$来进行更新：

• 仅重新训练分类器：仅更新$\theta_o$
• 微调特征提取器，重新训练分类器
• 联合训练

基于蒸馏架构的方法

: hammer: 王耀智

Regularization 系列方法

这类方法旨在添加一些正则化损失来解决 catastrophic forgetting 的问题。

Weight Regularization

这类方法一般是对网络中每个参数的重要性进行评估，根据每个参数的重要性和梯度信息更新参数。

典型的文章为 EWC .

PS: 这类文章我也没有读过。

Data Regularization

这类方法专注于记住特征表示，通常是结合 Hinton 的知识蒸馏损失函数使得模型记住旧类别的知识，解决 catastrophic forgetting。

推荐以下几篇文章：

• LwF(Learning without forgetting)，这篇文章在我看来是增量学习的开山之作，第一次给增量学习找到了一个比较好的方向，也是第一次将知识蒸馏应用到增量学习上；
• PODNet CVPR2020 ，这篇文章最大的贡献在我看来是设计了一个全新的蒸馏损失函数，最终结果也是达到了当时的sota，甚至目前也是几个榜单的sota。

Rehearsal 系列方法

这类方法主要的想法是使用一些旧类别的数据，在新类别到来时使用新旧数据一起训练模型，根据旧类别数据的真假分为以下两种方法。

LT-Collections

@AikenHong 2021

Code of must of those methods
We will analysis those tricks on LT situation, and Analysis why it works.
在进行LT矫正的任务中，有几种常见的trick在各种模型中被使用，我们会对这几种不同的trick进行介绍和分析。

其实在数据量少这一方面LT和Few-Shot是有一定的OverLap的,可以参考以下那边的思路perhaps

Introduction

通常情况下这种严重的类别不平衡问题会使得模型严重过拟合于头部，而在尾部欠拟合

首先介绍 bag of tricks 这篇论文中总结了一些常用的Trick，并组合出了最佳的一套trick

经过该文实验总结，Trick组合应该是_[1]`：

• 在前几个epoch应用input mixup数据增强，然后后面fine-tuning;
• (基于CAM的)重采样来重新训练分类器;

实际上就是MixUp + Two-Stage的策略，后续对Mix-up这个策略带来的作用要进行补充了解一下

Rebalance

@aikenhong 2020
@h.aiken.970@gmail.com

另一个综述文章：https://zhuanlan.zhihu.com/p/61215293
对该文中一些内容有一些补充，可以看看

FSL简介：https://blog.csdn.net/xhw205/article/details/79491649

GCN用于FSL：https://blog.csdn.net/qq_36022260/article/details/93753532

Abstract

FSL的根本目的就是弥合人工智能和人类之间的鸿沟，从少量带有监督信息的示例中学习。像人类一样有很高的泛化能力。这也能解决在实际应用场景中，数据难以收集或者大型数据难以建立的情景。

FSL的核心问题是：经验风险最小化器不可靠；那么如何使用先验知识去解决这个问题？

三个主要的角度：

1. 数据：使用先验知识增强数据的监督经验
2. 模型：使用先验知识来降低假设空间
3. 算法：使用先验知识来改变搜索最佳假设（来进行搜索？)

现阶段针对FSL提出的一些相关的机器学习方法：
meta-learning; embedding learning; generative modeling etc.

本文的主要工作：

@AikenHong2021 OWL

分析现有的OWL特点，和当前自己的研究做一个区分，也汲取一下别人的研究的要点，

Reference

1. arxiv @ self-supervised feature improve open-world learning
2. arxiv @ open-world semi-supervised learning
3. arxiv @ open-world learning without labels
4. arxiv @ unseen class discovery in open-world classification
5. arxiv @ Open-World Active Learning with Stacking Ensemble for Self-Driving Cars
6. www @ open-world learning and application to product classification
7. cvpr @ open world composition zero-shot learning
8. cvpr @ Towards Open World Object Detection
9. cvpr](https://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_Large-Scale_Long-Tailed_Recognition_in_an_Open_World_CVPR_2019_paper.pdf)) @ Large-Scale Long-Tailed Recognition in an Open World

Conclusion

Papers

Mulit Open world Learning Definition

拒绝未见过的类的实例，逐步学习新的类扩展现有模型

:zap: Large-Scale Long-Tailed Recognition in an Open World

Large-Scale Long-Tailed Recognition in an Open World (liuziwei7.github.io)

DownSampling：Pooling的全面调研

@Aiken 2021 笔记摘录：

深度神经网络中的池化方法：全面调研（1989-2020） - 知乎 ；相同论文的简单中文Version

16页综述，共计67篇参考文献。网络千奇百怪，但基础元素却大致相同！本文全面调研了1989至2020年一些著名且有用的池化方法，并主要对20种池化方法进行了详细介绍（这些方法，你都知道么？） 注1：文末附【计算机视…

来自 https://zhuanlan.zhihu.com/p/341820742

原文：《Pooling Methods in Deep Neural Networks, a Review》

整合2

池化的根本目的（Motivation）

卷积神经网络是DNN的一种特殊类型，它由几个卷积层组成，每个卷积层后都有一个激活函数和一个池化层。

池化层是重要的层，它对来自上一层的特征图执行下采样，并生成具有简化分辨率的新feature maps 。该层极大地减小了输入的空间尺寸。 它有两个主要目的。 首先是减少参数或权重的数量，从而减少计算成本。 第二是控制网络的过拟合。

• 池化可以增加网络对于平移（旋转，伸缩）的不变性，提升网络的泛化能力。
• 增大感受野；
• 降低优化难度和参数数目，

理想的池化方法应仅提取有用的信息，并丢弃无关的细节。

特征不变性、特征降维、在一定程度上防止过拟合，更方便优化

疑似

1. M. Suwa, N. Sugie and K. Fujimora, “A Preliminary Note on Pattern Recognition of Human Emotional Expression”, Proc. Int’l Joint Conf. Pattern Recognition, pp. 408-410, 1978.

2. K. Scherer and P. Ekman, Handbook of Methods in Nonverbal Behavior Research., 1982.

3. J.M. Carroll and J. Russell, “Facial Expression in Hollywood’s Portrayal of Emotion”, J. Personality and Social Psychology, vol. 72, pp. 164-176, 1997.

4. Standardization and Assessment of College Students’ Facial Expression of Emotion.

   好像是评估表情标注的，

5. Universals and cultural differences in the judgments of facial expressions of emotion
   不同文化下的表情对应情感的认知

6. Classifying Emotion based on Facial Expression Analysis using Gabor Filter: A Basis for Adaptive Effective Teaching Strategy

确信

1. Facial Expression Analysis
   这篇的introduction里面有好几篇

2. Ekman P. Facial expression and emotion[J]. American psychologist, 1993, 48(4): 384.

3. Keltner D, Ekman P, Gonzaga G C, et al. Facial expression of emotion[J]. 2003.

   上面这两篇的引用里应该能找到特别多

4. Xu R, Chen J, Han J, et al. Towards emotion-sensitive learning cognitive state analysis of big data in education: deep learning-based facial expression analysis using ordinal information[J]. Computing, 2019: 1-16.

说明：重点针对超分辨率技术

备注：
超分辨率在人脸识别上的多，但是表情识别上的确实不多，不过很多都会引用一波

超分辨率在表情识别中的应用

1
2
3
4

KEY WORDs ：

1. ("super resolution" OR "image restore") AND ("facial expression recognition" OR "emotion recognition")   
2. ("super resolution") AND  ("expression recognition")   

1. < Robust Emotion Recognition from Low Quality and Low Bit Rate Video: A Deep Learning Approach >

   • 针对于低带宽传输的分辨率不足和比率低的应用场景
   • 基于facial expression recognition 的 emotion recognition
   • 在解码器进行视频下采样的时候，联合SR和识别

2. < Effective image super resolution via hierarchical convolutional neural network >

   • 通过层次卷积神经网络(HCNN)来实现有校的SR
   • 在facial expression recognition 中案例研究发现增强后的图像有助于提高识别性能

3. < Spatio-temporal Pain Recognition in CNN-Based Super-Resolved Facial Images >

   • 有点擦边吧，就是基于超分辨率算法的多分辨率图像，对面部进行识别从而判断疼痛程度
   • 也可能妹啥用，你可以考虑一下

4. < Low-resolution facial expression recognition: A filter learning perspective >

   • 摘要中没有明确的提到Super-Resolution，
   • 但是感觉低分辨率这个问题前缀，可能和SR有关系来着

5. < PKU_ICST at TRECVID 2019: Instance Search Task >

   • 好像是什么比赛，过程中有一部分是面部表情检测
   • 在识别之前采取了超分辨率的查询增强

6. < Facial Expression Restoration Based on Improved Graph Convolutional Networks >

   • 针对分辨率低和部分遮挡的面部表情识别
   • GAN IGCN RRMB 修复和超分辨率面部表情