总结深度学习技巧

总结深度学习技巧

　　总结是把一定阶段内的有关情况分析研究，做出有指导性的经验方法以及结论的书面材料，它可以促使我们思考，为此要我们写一份总结。那么如何把总结写出新花样呢？以下是小编帮大家整理的总结深度学习技巧，欢迎大家借鉴与参考，希望对大家有所帮助。

总结深度学习技巧1

　　正如我们所看到的，深层网络需要大量的数据。遗憾的是，对于许多新的应用程序来说，这些数据可能很难得到并且开销很大。如果我们希望模型表现良好，可能需要数万或数十万个新的训练样例来进行训练。如果数据集不易获取，则必须全部手动收集并标记。

　　这就是迁移学习的起点。通过迁移学习，我们不需要太多的数据！这个想法是从一个在数百万图像上训练过的网络开始的`，比如在ImageNet上预训练的ResNet。然后，我们将“重新调整ResNet模型，只重新训练最后几层。

　　我们将ResNet从数百万图像中学到的信息（图像特征）进行微调，以便将其应用于不同的任务。因为跨域的图像的特征信息经常是非常相似的所以这个方法是可行的，但是这些特征的分析根据应用而不同。

　　一个基本的迁移学习示例

总结深度学习技巧2

　　在很多情况下，都要处理不平衡的数据，特别是实际应用程序中。一个简单而实际的例子如下：训练您的深度网络以预测视频流中是否有人持有致命武器。但是在你的训练数据中，你只有50个拿着武器的人的视频和1000个没有武器的人的视频！如果你只是用这些数据来训练你的网络，那么你的模型肯定会非常偏向于预测没有人有武器！

　　你可以做用以下的方法来解决它：

　　·在损失函数中使用类权重。本质上就是，让实例不足的类在损失函数中获得较高的权重，因此任何对该类的错分都将导致损失函数中非常高的.错误。

　　·过度采样：重复一些实例较少的训练样例，有助于平衡分配。如果可用的数据很小，这个方法最好。

　　·欠采样：一些类的训练实例过多，可以简单地跳过一些实例。如果可用数据非常大，这个方法最好。

　　·为少数类增加数据。可以为少数类创建更多的训练实例！例如，在前面检测致命武器的例子中，你可以改变属于具有致命武器的类别的视频的颜色和光照等。

总结深度学习技巧3

　　多年来，已经开发了许多梯度下降优化算法，各有其优缺点。一些最流行的包括：·随机梯度下降（SGD）+动量方法· Adam · RMSprop · Adadelta RMSprop，Adadelta和Adam被认为是自适应优化算法，因为它们会自动更新学习速率。使用SGD时，您必须手动选择学习率和动量参数，通常会随着时间的推移而降低学习率。在实践中，自适应优化器倾向于比SGD更快地收敛，然而，他们的最终表现通常稍差。SGD通常会达到更好的最小值，从而获得更好的最终准确性，但这可能需要比某些优化程序长得多的时间。它也更依赖于强大的'初始化和学习速率衰减时间表，这在实践中可能非常困难。因此，如果你需要一些快速的结果，或者只是想测试一个新的技术，选择自适应优化器。我发现Adam很容易使用，因为它对你选择完美的学习率并不是很敏感。如果您想获得绝对最佳的最终表现，请使用SGD + Momentum，并使用学习率，衰减和动量值来最大化表现。两全其美的方法有木有！它最近的研究显示，你可以做到两全其美：高速训练顶尖的性能通过切换从Adam到SGD！这个想法是，训练的早期阶段实际上是SGD对参数调整和初始化非常敏感的时候。因此，我们可以通过使用Adam来启动我们的训练，这将使您节省相当长的时间，而不必担心初始化和参数调整。那么，一旦Adam运转起来，我们可以切换到SGD +动量优化，以达到最佳性能！

　　Adam vs SGD表现。由于鲁棒性和自适应学习速度，Adam在一开始表现更好，而SGD最终达到更好的全局最小值。

【总结深度学习技巧】相关文章：

粤语学习技巧08-04

各省中考状元学习技巧总结03-10

学习数学的小技巧08-08

学习粤语的发音技巧08-04

科目二的学习技巧07-30

中考英语学习技巧01-31

中考物理的学习技巧08-13

中考数学的学习技巧08-13

跟Google学习面试技巧08-01