经典深度学习与机器学习算法
文章的部分内容被密码保护： --- DON'T MODIFY THIS LINE --- LINK1 深度学习部分 DenseNet 任意的两层之间都存在直接的链接，每一层的输入都是前面的所有层的输出的并集，而该层学习的特征图也会是后面所有层的输入，DenseBlock中需要Feature_map保持一致； Block与Block之间的降采样则使用transition layer，使用BN，1*1的 conv，Pooling来降维 优缺点： 省参数，省计算 抗过拟合，泛化能力强 需要保存Feature占显存 EfficientNet 针对卷积神经网络的模型拓展，可以通过：1 增加网络规模可以、 增加模型宽度，增加模型深度，增加输入图像的分辨率，但是如何去人工调整这个比例和参数，比较麻烦， 实验发现ConvNet缩放过程中平衡网络宽度、深度、和分辨率的维度是很重要的 EfficientNet就是对这些的合理组合，复合型的模型扩展技术集合神经结构搜索技术获得 关键技术复合扩张技术 所以本文提出了复合扩张方法，这也是文章核心的地方， $$ \alpha,\beta,\gamma $$ 是我们需要求解的一组参数，如下图公式，带约束的最优参数求解。 $$ \alpha,\beta,\gamma $$ 分别衡量着depth, width和 resolution的比重，其中 $$ \beta,\gamma $$ 在约束上会有平方，是因为如果增加宽度或分辨率两倍，其计算量是增加四倍，但是增加深度两倍，其计算量只会增加两倍。 ...