[iPhone] Core ML を UIImagePickerController 使って機械学習を試す

Photo by Franck V. on Unsplash
機械学習をCore MLを使うとiOSアプリで試すことができます。人工知能、AIや機械学習のそれ自体は難しいのですが、アプリに簡単に展開できるようにAppleも考えているのでしょう

Swift 5
Xcode 10.2.1

 

Core ML

 
Appleの解説にありますがCore MLは学習させたモデルをアプリで使えるようにするフレームワークで、あくまで学習モデルを利用するだけです。(学習をさせるものとしてはCreate MLがあります)

学習モデルはAppleのページに載っているものをそのまま使えます。また他のTensorflow等からCore MLに使えるように変換するとか、Create MLで学習させたモデルを使うことができます。

以前にUIImagePickerControllerを使ったカメラアプリを簡単に作ってみましたが、これにCore MLを使えるように設定していきます。

iOSでカメラを扱うにはUIImagePickerControllerがあります。撮影して、保存、アルバムで確認するアプリが作れます。 ...

 

 

Core ML Model

 
学習モデルは以下のページにあります。
Core ML Models – Apple Developer

この中のResnet50を使ってみます。この他のモデルもありますが、それぞれ学習方法が異なります。試しに使ってみるのも良いかと思います。

 

Core ML の実装

 
取得した学習モデルResnet50.mlmodelをプロジェクト内にAddしておきます。

実装手順としては以下のようになります。

学習モデルのからVNCoreMLModelのインスタンスを生成します。

このインスタンスから画像をクラス分けした結果を取得するリクエストを出します。

ハンドラを実行して予測結果を取得する

このようになります。

 

サンプルコード

 
カメラで写真を撮ってその画像を予測させる簡単なアプリです。

ViewController.swft

 
storyboardにUIImageView, Label, Buttonを配置します。Labelは複数行表示にしておきます。
それぞれを紐付けすると出来上がり
 

 
またAlbumを開いてアルバム内の写真を選択すると、同様に画像の予測をします。
 

着物が99%と出ましたが…
このモデルは物や動物のクラス分けがメインなのでしょうか

References:
機械学習 – Apple Developer
Core ML – Apple Developer