과연 나는 열심히 할까..?

Intorduction시계열 분석에서 convolution 을 사용하는 것은 효율성과 성능의 더 나은 균형을 제공하기 때문에 사소한 일이 아닙니다Transformerbased models and MLP-based modelsThanks to their global effective receptive fields (ERFs), they can better capture the long-term temporal (cross-time) dependency and thus outperform traditional TCNs by a significant margin. ERF를 높이는 것이 합성곱을 시계열 분석에 다시 적용하는 핵심입니다.그러나 기존 합성곱 기반 모델은 여전히 ERF가 제한적이어서 추가적인 성능 향..

🔹 Pretext Task란?Self-supervised learning에서,레이블 없이 모델이 의미 있는 표현(representation)을 학습할 수 있도록 설계된가짜(task-like) 학습 과제를 말해.Introduction표 형식 데이터에서 딥 네트워크의 성능을 향상시키려는 노력이 탄력을 받고 있음근본적인 과제는 범주형 및 숫자형 특징을 모두 포함하는 표 형식 데이터 세트의 고유한 이질성이러한 발전은 여러 표 형식 데이터 문제에서 향상된 성능을 가져왔지만, 주로 지도 학습 프레임워크 내에서 탐색되어 왔으며, 여전히 단순한 트리 기반 방법의 성능을 능가하지는 못했음본 연구에서는 트리 기반 방법을 근본적으로 적용할 수 없는 비지도 테이블형 딥러닝의 과제자동 인코딩 기반 자기 지도 학습(SSL)을 ..

Contrastive Learning에서 자주 등장하는 용어 정리용어 정의 설명Anchor기준 데이터 포인트기준이 되는 입력 샘플 xxPositive (Pos)Anchor와 의미적으로 유사한 샘플같은 클래스 or 변형된 버전 (ex. data augmentation)Negative (Neg)Anchor와 의미적으로 다른 샘플다른 클래스 or 무작위 샘플Positive Pair(Anchor, Positive) 쌍서로 가깝게 embedding해야 함Negative Pair(Anchor, Negative) 쌍서로 멀게 embedding해야 함Embedding입력을 벡터로 변환한 표현모델이 학습하는 표현 공간Projection Head학습용 표현으로 변환하는 작은 네트워크보통 MLP로 구성됨 (SimCLR 등에..

IntroductionRNN 기반 방법은 지나치게 긴 룩백 윈도우와 예측 기간을 다룰 때 장기 시계열 예측(LTSF) 영역에서 문제에 직면결과적으로 이 영역에서 지배력은 Transformer, MLP 및 CNN 접근 방식으로 옮겨갔습니다상당한 수의 반복적인 반복은 LTSF에서 RNN의 한계 뒤에 있는 근본적인 이유이러한 문제를 해결하기 위해 LTSF 작업에 대한 RNN의 반복 횟수를 줄이는 두 가지 새로운 전략인 세그먼트별 반복과 병렬 다단계 예측(PMF)을 제안 (Segment-wise Iterations and Parallel Multi-step Forecasting (PMF))이러한 전략을 결합한 RNN, 즉 SegRNN은 LTSF에 필요한 반복 횟수를 크게 줄여 예측 정확도와 추론 속도를 크게 향..

Introduction인코더-디코더 네트워크의 한 가지 문제점은 입력 시퀀스의 길이가 증가함에 따라 성능이 급격히 저하됨.시계열 분석에서는 일반적으로 long segment of the target series as well as driving series를 기반으로 예측을 수행해야 하므로 이는 문제가 될 수 있이 문제를 해결하기 위해 어텐션 기반 인코더-디코더 네트워크는 어텐션 메커니즘을 사용하여 모든 시간 단계에 걸쳐 은닉 상태의 일부를 선택어텐션 기반 인코더-디코더 네트워크와 계층적 어텐션 네트워크는 기계 번역, 이미지 캡션, 문서 분류에 효과적임이 입증되었지만, 시계열 예측에는 적합하지 않을 수 있음여러 개의 driving (exogenous) 시리즈가 있는 경우, 네트워크가 예측을 위해 관련 구..

Introductionwe introduce a novel end-to-end self-supervised ContrAstive Representation Learning approach for time series Anomaly detection (CARLA).our contrastive approach leverages existing generic knowledge about time series anomalies and injects various types of anomalies as negative samplesCARLA는 정상 동작을 학습할 뿐만 아니라 이상 현상을 나타내는 편차도 학습시간적으로 가까운 윈도우에 대해서는 유사한 표현을, 이상 현상에 대해서는 서로 다른 표현을 생성합니다.또한,..

IntroductionDifferent from other types of sequential data, such as language or video, time series is recorded continuously and each time point only saves some scalars하나의 단일 시간 지점은 일반적으로 분석에 충분한 의미적 정보를 제공할 수 없기 때문에 많은 작업이 시간적 변화에 초점을 맞추고 있으며, 이는 더 많은 정보를 제공하고 연속성, 주기성, 추세 등과 같은 시계열의 고유한 속성을 반영할 수 있습니다그러나 실제 시계열의 변화에는 항상 복잡한 시간적 패턴이 포함되며, 여러 변화(예: 상승, 하강, 변동 등)가 서로 섞이고 겹치므로 시간적 변화 모델링이 극도로 어렵습니다...