IMU 基於深度學習的動作識別流程

IMU 展示了一個基於深度學習的動作識別流程，特別是使用慣性感測器數據（慣性感測記錄）來識別人類動作（如走路、跑步、上下樓梯、坐下、躺下等）。以下是圖中各部分的說明：

1. 慣性感測記錄（頂部）：
   • 圖表的頂部顯示了一段多通道的慣性感測器數據（通常來自加速度計或陀螺儀），包括不同軸向（通常是X、Y、Z軸）的數據，表現為時間序列波形（紅、藍、綠等不同顏色代表不同軸）。
   • 這些數據記錄了人體動作隨時間的變化。
2. 分割（Segmentation）：
   • 左側部分標示為「SEGMENTATION」，表示將原始的慣性感測數據進行分段處理。
   • 數據被分割成多個較短的時間窗口（圖中每個小矩形代表一個時間窗口），以便後續的分析。
   • 分割的目的是將連續的數據分解為獨立的片段，通常基於固定時間窗口或動作事件（如步伐）。
3. 特徵提取（ConvNet）：
   • 分割後的數據片段被送入一個卷積神經網絡（ConvNet，Convolutional Neural Network）。
   • ConvNet 的作用是從每個數據片段中提取特徵，形成特徵向量（Feature Vector）。
   • 卷積層通過滑動窗口對數據進行卷積運算，提取局部特徵（如動作的頻率、幅度等），並通過池化層減少維度，生成更具代表性的特徵。
4. 序列建模（RNN-LSTM）：
   • 特徵向量被送入一個循環神經網絡（RNN），具體使用長短期記憶網絡（LSTM，Long Short-Term Memory）。
   • LSTM 適合處理時間序列數據，能捕捉動作片段之間的時序關係，記憶長期依賴信息。
   • 通過 LSTM 處理後，模型可以理解動作的連續性和上下文，例如區分「走路」和「跑步」的節奏差異。
5. 動作識別（右側）：
   • 最終，LSTM 的輸出用於分類，識別出具體的動作類型。
   • 圖中右側展示了一些動作的圖示，包括：
     • 走路（walking）
     • 跑步（running）
     • 上樓梯（climbing stairs）
     • 下樓梯（descending stairs）
     • 坐下（sitting）
     • 躺下（lying down）

---

流程總結

1. 數據採集：從慣性感測器收集多軸數據。
2. 數據分割：將連續數據分成小片段。
3. 特徵提取：用 ConvNet 提取每個片段的特徵，形成特徵向量。
4. 時序建模：用 RNN-LSTM 分析特徵向量的時序關係。
5. 動作分類：輸出最終的動作識別結果。

---

應用場景

這種方法常用於可穿戴設備（如智能手錶、手環）中的動作識別，能應用於健康監測（步數計算、運動模式識別）、老年人跌倒檢測、運動訓練分析等場景。