Скачать или смотреть DIY: CNTK+OpenCV C#: Hand Written OCR Image Semantic Segmentation Using Deep Learning

這個影像分割範例用C# 語言寫的，使用微軟CNTK程式庫來建置FCN U-Net深度神經網路(我知道Python裡的框架是遠遠較被廣泛使用的)，訓練資料使用知名的美國MNIST手寫文字資料庫。
在MNIST裡典型的標註答案是一張影像一個數字及一個答案位元，用來做影像分類識別；而不是用像素表示，故不能做影像像素分割。所以我用OpenCV寫程式將格式轉為像素標註，並且內部順便執行影像資料擴展(旋轉、縮放、平移、加雜訊，預防過擬合)。也將訓練資料擴充為一張影像裡有好幾個數字。
我沒寫影像標註用的操作介面工具程式，所以除了MNIST以外沒辦法用來訓練這個U-Net去跑別的影像。
影像分割模型在工業應用中常用於瑕疵檢測任務。


00:00 模型訓練
00:52 訓練完成，先用既有資料庫的影像來測試，故意隨機加入雜訊，還是可以辨識
01:10 說明辨識後，字顯示的顏色是什麼意思
01:29 比較大的字切割的沒有很好
01:34 小的字切割的很漂亮
02:16 測試沒學過的影像，自己寫字來測試，看模型能不能適應

This Image segmentation demo is written by C# language and Microsoft CNTK deep learning SDK to build a FCN U-Net model (I know the frameworks in Python is much more widely used), and the training set is the popular MNIST database.
The typical ground truth in MNIST dataset is one image one digit one answer for classification, not pixel-wised for image segmentation. So, I use OpenCV to transform the ground truth to pixel-wise and perform augmentation internally (scaling, rotation, displacement, noise, to prevent over fitting), and make the training set become one image with multiple digits.
I did not make an image labeling UI tool, so I can not train the U-Net to other image than MNIST.
Image segmentation model is usually used for defect inspection task in industrial application.



因為 Deep Learning 的網路資源已經很多，本系列只提供概念、觀念及教學，
重點是在呈現，有這樣的觀念及想法，其實要做到如此的效果是有機會的，
所以這裡沒有 Source Code 下載。