基于深度迁移学习进行时间序列分类

  • 时间:
  • 浏览:2
  • 来源:大发5分3DAPP下载_大发5分3DAPP官方

选择合适的源领域:数据集间类似性

然而,与图像领域有较多的经典网络底部形态可选择不同,时间序列并越来越一六个多公认的经典网络架构。之前 ,作者为了保证迁移的效果后要太差,选择了之前 研究者提出的这种全卷积网络(FCN,Fully Convolutional Neural Network)。这种网络意味着着在之前 的研究中被证明具有较高的准确性和鲁棒性。

实验

然而,这种法子具有很大的局限性。类似,它越来越考虑到数据集外部不同维度之间的关联性。作者个人也承认这种法子欠缺好,之前 意味着着朋友的主要关注点是要怎样迁移,之前 ,并未在这种方面多做文章。

作者利用了 UCI 机器学习仓库中的 85 个时间序列分类数据集,构建了 7140 对迁移学习任务。为了进行越来越少量的实验,朋友用了来自英伟达的 80 个 GPU(只想说,有钱真好)。

度量时间序列类似性的原先 疑问图片是,要怎样度量不同维度的时间序列的类似性。作者提出把多维时间序列规约成每类由一维序列构成,之前 利用 DTW(Dynamic Time Warping)来度量一六个多时间序列的类似性。

网络的底部形态如下图所示。网络由 3 个卷积层、1 个全局池化层、和 1 个全连接层构成。使用全连接层的好处是,在进行不同输入长度序列的 fine-tune 时,需要再额外设计池内化层。

论文动机

论文法子

从深度网络这种来看,有研究者注意到了,针对时间序列数据,深度网络提取到的底部形态,与 CNN 一样,具有类似性和继承性。之前 ,作者的假设可是,哪些地方地方底部形态不可是针对某一数据集具有特异性,也后要 被用在别的相关数据集。这就保证了用深度网络进行时间序列迁移学习的有效性。

本文利用少量的时间序列进行了深度迁移学习分类的实验。用众多的实验结果证明了迁移学习对于时间序列分类的有效性。作者还提出了这种简单比较时间序列类似性从而选择源领域的法子。

与图像的区别可是,输入由图片添加了时间序列。注意到,图片往往具有一定的通道数(如常见的 R、G、B 三通道);时间序列有无通道:即不同维的时间序列数据。最简单的即是1维序列,后要 认为是 1 个通道。多维时间序列则后要 认为是多个通道。

原文发布时间为:2018-11-15

本文基本法子与在图像上进行深度迁移一致:先在一六个多源领域上进行 pre-train,之前 在目标领域上进行 fine-tune。

2. 同一六个多目标域,不同的源域,产生的迁移效果千差万别:总能找到一些领域,迁移效果比不迁移好;

之前 ,源领域和目标领域的网络相比,除最后一层外,一些都相同。当然,相同的要素,网络权重也相同。

3. 在选择正确的源域上,有时,随机选择的效果不有无比经过作者的法子计算出来的要差。这说明,计算领域类似性的法子还有待加强。

总结

实验非常充分,这里简要说一下要素结论:

本文作者:王晋东

在进行规约时,作者利用了之间研究者提出的 DTW Barycenter Averaging (DBA) [2] 法子进行了时间序列的规约。经过规约后,一六个多数据集便可度量类似性。

网络迁移适配

作者对整个网络有无目标领域上进行了fine-tune,而有无只fine-tune最后一层。意味着着以往的研究标明,在整个网络上进行 fine-tune,往往会比只 fine-tune 一些层效果好。

Fine-tune 的基本法子可是,不改变除 softmax 层以外的层的底部形态,只改变 softmax 层的构造。类似,预训练好的网络意味着着是一六个多分 5 类的网络,而目标领域则是一六个多 10 类的分类疑问图片。这之前 ,就需要改变预训练网络的 softmax 层,使之由原先 的 5 层变为 10 层,以适应目标领域的分类。

经过类似度计算,后要 针对 n 个数据集,得到一六个多 n×n 的类似性矩阵。此矩阵表示了不同数据集之间的类似度。类似度高的一六个多数据集,迁移效果最好。

1. 利用迁移往往效果比不迁移好,之前 ,几乎后要对原先 的网络产生负面作用;

在进行迁移学习前,一六个多重要的疑问图片可是:给定一六个多目标域,要怎样选择合适的源领域?意味着着选择的源域与目标域类似性过小,则很意味着着造成负迁移。

通常来说,用传统的机器学习法子(类似 KNN、DTW)进行时间序列分类能取得比较好的效果。之前 ,基于深度网络的时间序列分类往往在大数据集后要 够打败传统法子。个人面,深度网络需要依赖于少量的训练数据,之前 精度也无法超过传统机器学习法子。在这种清况 下,进行数据增强、派发更多的数据、实用集成学习模型,有无提高精度的法子。这其中,迁移学习也后要 被用在数据标注欠缺的清况 。