Motivation：為什麼需要標記招式呢？

image from: http://www.pirategrayson.com/wp-content/uploads/2012/02/tag.png

我們嘗試用另一種描述表達招式
原因是

• 招式沒有正式名稱
• 影片未包含招式資訊
• 學習動作目的

為什麼是 Trick Labeling 而不是 Trick Recognition ????

直排輪是風格較自由的運動
並沒有明確的定義招式
所以產生了下面的狀況

1個招式 對應 N個名稱
1個名稱 對應 N個招式

造成我們沒辦法從字面上推論出確切招式看起來是如何

於是使用標籤來表達招式

標記直排輪半管比賽（ Inline Vert Contest）的招式屬性：

Spin: 任何轉體
Grind: 鞋身的特定部位組合與杆子（rail）碰觸
Hand: 招式進行時，手觸碰到板子或杆子（rail）
Grab: 任何招式在天空的時候，抱住鞋身的動作組合

Problem Description for "Inline vert" (半管直排輪)

資料前處理

找到比賽影片後使用 FFmpeg

將影片拆成連續的圖片
手動將比賽錄影中"完整招式"
→切成一段段的 Trainning Data

如何分割每一個招式（subshot）？

從平坦帶(谷底)到垂直帶回到平坦帶，招式會發生在這之間、（垂直帶附近）

note: FFmpeg 也可以把圖片組合回影片，用來觀察 Feature

Description

利用CV的方法，找出一個Model使得，解決以下問題：

輸入：一段切好的未知招式影片。
處理：一個可以判斷招式的 Model
輸出：此段影片作招式的 label

標籤種類

有沒有 grind trick (沿著半圓的邊界滑行)

Related Works

我們的研究，將考慮以下觀點嘗試解決

• Sports Video Analysis: Architecture
• Dominant Color
• Shot Classification
• Human Action Recognition

參考 Sports Video Analysis 領域的研究架構圖，用來畫出我們自己的研究架構圖

Dominant Color 對於是好用的特徵，半管每年（halfpipe）都是相同顏色

Shot Classification 是必要的，同一動作在不同視角的特徵不同，所以要使用不同的方法處理
比賽影片中最常見的兩種視角

左：地面攝影機　右：甲板攝影機

Human Action Recognition 在將來會用到，如果想要知道招式的確切名稱

Motion Vector Extraction

從影片中可以看到天空中出現很多不符合 Global Motion 的 Motion Vector

可能嘗試的方法

一些可能的方法:

invariant moment （現在不常使用)

motion vector (嘗試中)

optical flow

   效果較好

   無法偵測旋轉

HOG, pyramid HOG

HOF

 

HMM: 

   possible feature

      dominant color ratio

      motion intensity

   tools: 

      HTK, matlab

 

test Data