深度神經網路 (Deep Neural Networks, DNNs) for CNN, RNN

 在深度學習 (Deep Learning) 領域，深度神經網路 (Deep Neural Networks, DNNs) 是一個廣泛的術語，指的是具有多個隱藏層的神經網路。卷積神經網路 (Convolutional Neural Networks, CNNs) 和循環神經網路 (Recurrent Neural Networks, RNNs) 都是 DNNs 的特定架構，它們在設計上針對處理不同類型的數據和任務進行了優化。以下是對這三者的比對介紹：

1. 深度神經網路 (Deep Neural Networks, DNNs)

• 核心概念： DNNs 是由多個全連接層 (fully connected layers) 組成的神經網路。每個神經元都與前一層的所有神經元以及後一層的所有神經元相連接。這種架構旨在學習輸入數據中複雜的非線性關係。
• 架構：
  • 輸入層 (Input Layer): 接收原始輸入數據。
  • 隱藏層 (Hidden Layers): 包含多個全連接層，負責提取數據的抽象特徵。層數越多，網路的深度越深。
  • 輸出層 (Output Layer): 產生最終的預測結果，其形式取決於任務類型（例如，分類的機率分佈，回歸的單個數值）。
• 適用數據： 適用於各種結構化或非結構化的數據，例如表格數據、文本數據（在詞嵌入後）、圖像數據（在展平成向量後）等。
• 優點：
  • 能夠學習非常複雜的非線性關係。
  • 具有強大的表示學習能力。
  • 架構相對簡單直觀。
• 缺點：
  • 對於高維輸入（如圖像），參數數量龐大，容易過度擬合。
  • 沒有考慮數據中的空間或時間結構。
  • 對於序列數據的處理能力有限。

2. 卷積神經網路 (Convolutional Neural Networks, CNNs)

• 核心概念： CNNs 是一種專為處理具有網格狀結構 (grid-like structure) 的數據而設計的 DNN，例如圖像、音頻頻譜等。其核心思想是利用卷積層 (convolutional layers) 來自動學習空間層次的特徵表示。
• 架構：
  • 卷積層 (Convolutional Layers): 使用卷積核 (kernels/filters) 在輸入數據上滑動，提取局部特徵（例如邊緣、紋理、形狀）。
  • 池化層 (Pooling Layers): 降低特徵圖的空間維度，減少參數數量，並提高模型對平移、縮放和旋轉等變換的不變性。
  • 激活函數 (Activation Functions): 引入非線性，例如 ReLU。
  • 全連接層 (Fully Connected Layers): 在卷積和池化層之後，通常會接上全連接層用於最終的分類或回歸。
  • 輸出層 (Output Layer): 產生最終預測。
• 適用數據： 主要用於圖像處理（圖像分類、目標檢測、圖像分割）、影片分析、自然語言處理（文本分類，通過一維卷積）、音頻處理等。
• 優點：
  • 能夠有效地捕捉數據中的空間層次結構和局部模式。
  • 權重共享 (weight sharing) 大大減少了參數數量，降低了過度擬合的風險。
  • 平移不變性 (translation invariance) 使模型對目標在圖像中的位置變化不敏感（通過池化實現近似不變性）。
• 缺點：
  • 對於處理序列數據（時間依賴性強）不如 RNNs。
  • 對於非空間結構的數據，效果可能不如標準的 DNNs。
  • 對於物體的方向和精確空間關係的編碼可能不足。

3. 循環神經網路 (Recurrent Neural Networks, RNNs)

• 核心概念： RNNs 是一種專為處理序列數據 (sequential data) 而設計的 DNN，例如文本、語音、時間序列等。其核心特點是具有循環連接 (recurrent connections)，使得網路能夠保持記憶 (memory)，並利用先前的信息來處理當前的輸入。
• 架構：
  • 輸入層 (Input Layer): 接收序列中的每個元素。
  • 循環單元 (Recurrent Units): 核心組件，例如簡單的 RNN 單元、長短期記憶網路 (Long Short-Term Memory, LSTM) 單元、門控循環單元 (Gated Recurrent Unit, GRU)。這些單元具有內部狀態（記憶），能夠在時間步驟之間傳遞信息。
  • 輸出層 (Output Layer): 在每個時間步驟或在序列的末尾產生輸出。
• 適用數據： 主要用於自然語言處理（語言模型、文本生成、機器翻譯、情感分析）、語音識別、時間序列預測、影片分析（處理時間維度）等。
• 優點：
  • 能夠處理變長序列的輸入。
  • 可以捕捉序列數據中的時間依賴關係和上下文信息。
  • 對於具有時間順序的數據非常有效。
• 缺點：
  • 訓練複雜，容易出現梯度消失 (vanishing gradient) 和梯度爆炸 (exploding gradient) 問題（對於簡單的 RNN）。
  • 難以捕捉非常長的序列中的長期依賴關係（基本的 RNN）。LSTM 和 GRU 等變體在一定程度上緩解了這個問題。
  • 計算通常是序列化的，難以並行化。

總結比對：

特性	深度神經網路 (DNN)	卷積神經網路 (CNN)	循環神經網路 (RNN)
主要設計目標	學習複雜的非線性關係	處理網格狀結構數據的空間特徵	處理序列數據的時間依賴關係
核心層類型	全連接層	卷積層、池化層、全連接層	循環單元 (RNN, LSTM, GRU)
處理數據結構	向量化後的數據	圖像、音頻頻譜等網格數據	文本、語音、時間序列等序列數據
參數共享	無	卷積核權重共享	時間步之間權重共享
記憶機制	無	無	隱藏狀態 (記憶單元)
空間/時間依賴性	無特殊處理	有效捕捉空間局部依賴	有效捕捉時間序列依賴
主要應用	各種數據的分類和回歸	圖像識別、目標檢測、NLP	語言模型、機器翻譯、語音識別
優點	學習複雜關係，架構簡單	捕捉空間特徵，減少參數，平移不變性	處理變長序列，捕捉時間依賴
缺點	參數多，易過擬合，忽略結構	不擅長序列數據，方向信息不足	訓練複雜，梯度問題，長程依賴

在實際應用中，這三種網路架構也經常被混合使用，例如：

• CNN + RNN: 用 CNN 提取圖像或影片幀的空間特徵，然後用 RNN 處理時間序列的特徵，用於影片描述、動作識別等。
• RNN + CNN: 用 RNN 處理文本序列，然後用 CNN 提取文本的局部模式（例如 n-gram 特徵）。
• Transformer 網路： 一種新型的 DNN 架構，在自然語言處理等領域取得了巨大成功，它使用了自注意力機制來捕捉序列中的長程依賴，並在某些視覺任務中也展現出優越性能。Transformer 可以看作是一種更複雜的 DNN，它不完全屬於傳統的 CNN 或 RNN 範疇。

理解這三種基本 DNN 架構的特性和適用場景，對於選擇合適的模型來解決特定的人體活動辨識問題至關重要。

例如，處理 IMU 感測器的時間序列數據時，RNN 或結合 CNN 的方法通常更有效，因為它們能夠捕捉活動的時間動態特性。