センサと深層学習で、紙の筆記をペン単体・低コスト・リアルタイムにデジタル化するスマートペンの開発に取り組んでいます。
ペン単体で実現する手書きデジタル化スマートペン
本研究で際立つ点は、慣性センサに3つの力センサを組み合わせた特許出願済みのスマートペンによって、手の動きと力の情報を同時に計測し、その時系列データを深層学習で解析して文字認識を行うところです。 これまでの方式では、画像処理や専用タブレットに依存する方式、あるいは慣性データのみで認識する方式が中心で、小さな文字では識別が難しい課題がありました。 そこで本手法では、力の情報を併用することで約99％の認識精度とリアルタイム動作の可能性を示し、ペン単体による手書きデジタル化に向けた基礎的な成果を得ています。
下図は、学習済みモデルをリアルタイムで動作させ、「hello world」を手書きしたときの認識結果を示しています。結果はほぼ文字を追従できた一方で、「o」が「c」と誤認識される場面もあり、リアルタイムで単語レベルまで安定して認識することが今後の目標であることを示唆しています。
