初心者でもYouTube風「テロップ」を簡単に。世界一やさしい動画編集アプリ誕生秘話

はじめての動画編集が「楽しめる」ように。

2020年5月にリリースされた動画編集アプリ「Telorain（てろれいん）」。

日常の風景やVlogなどのショートムービーをアップロードするだけで、YouTuber風の字幕をつけることができるすぐれものだ。

未踏事業で開発した、AIによりほぼ自動でプロクオリティのテロップを作れるiOSアプリ @telorainをローンチしました

雑に撮った日常やVlogなどのショートムービーにTV/YouTuber風の字幕を付けて楽しむことができます

紹介動画はtelorain(+AE)で作っています

▼無料DLhttps://t.co/jwunbgzZi4 pic.twitter.com/kwbV5CVvpA

— おおたお (@0MeO) May 12, 2020

リリース直後からTwitter上でシェアされ、話題に。なかでも、「楽しい」というコメントが目立つ。

開発したのは、筑波大学に通う大学院生の大峠和基さん(24歳)。2019年度の未踏事業に採択されたエンジニアで、スーパークリエータに認定されている。

「音声認識の技術だけでなく、『いかに楽しんでもらえるか』にこだわってUXを作り込んだので、そういったリアクションがもらえたのはすごくうれしかったです。じつは、ここにいき着くまでには曲がりくねった道を進んでいて。ユーザーヒアリングを重ねながら、軌道修正していきました」

プロダクト開発の中で、ぶつかったのは「楽しい体験」をつくる壁。突破口を見つけるまでの試行錯誤をお届けしたい。

やさしい動画編集ソフトが足りない

ーそもそもなぜ「テロップ」に注目したのでしょうか？

AIで自動的にテロップをつけられるアプリはすでにありますが、YouTuberやインフルエンサーなど動画編集に親しみのある人たちが使っている印象が強くて、初心者が普段使いしているものがありませんでした。

動画コンテンツが爆発的に伸び、動画編集がプロだけでなく多くの人にとって身近なものになっていく。そのなかで、初心者にとって使いやすい編集ソフトはニーズがあるのではないかと思いました。

実際に300人の大学生に動画利用についてヒアリングしたところ、「Instagramを使う70％の人は音声をミュート」にしていました。音を聞いて欲しい場合は、「音を出してください」とわざわざ書いているんです。テロップが瞬時につけられたら、利用してもらえるのではないかと考えました。

「かわいい音声認識のアルゴリズム」を構築

ー 開発にあたって、どんな点に苦労しましたか？

数ある音声技術のアルゴリズムのなかで、どれがユーザーにとって必要なのかを見極めるのに時間がかかりました。

もともとGoogleが発表した最新の音声技術の論文をもとにアルゴリズムを組んでいて。複数人の声を認識し色分けしてテロップを自動生成できるものだったんですけど、ユーザーヒアリングしてみると全然パッとしなかったんです...（苦笑）

ユーザーヒアリングを重ねると、そもそもユーザーが求めていたのは「複数人の声を識別すること」よりも、「キレイにかわいく文字を入れる」ことだったんです。

僕らが主に想定しているユーザーは、女子高生や大学生。単純に文字起こししたものを並べるだけでは「かわいい」ものにならないんです。

たとえば、改行の位置が変なところに入らないように気をつけるとか。「取材します」が、「取材をしま」の後に改行が入り、1段後ろに「す」だけ残ると気持ち悪いですよね。あとは、想定しているユーザーは雑音環境で動画を撮ることが多く既存の技術では声が拾えないことも課題でした。

調べてみると、僕達が求めているアルゴリズムの公開されている実装がなかったので。片っ端から論文を読み漁り、必要な部分を自分たちで開発していきました。類似サービスは外部のAPIに投げているだけなので、発話漏れがあったり、日本語がきれいに表示されない部分で苦戦されていると思います。

「便利」を追求したら、おもしろくなくなった

ーTwitterで「楽しい」「使いやすい」のコメントが多く見られてましたが、プロダクトUIではどんなことを意識されてましたか？

アプリのコンセプトとして、「snow」や「Instagram」のようにフィルターを変える感覚でテロップを変える。これが僕たち提供する新しいUXです。単純に文字起こしをするだけではなく、テロップの見た目を簡単に変えられる。類似アプリが出てきている中、一番大きな特徴かなと思っています。

まだまだ発展途上ですが、ここに行き着くまでには曲がりくねった道を進んできました。去年の9月からβ版のテストをはじめて約200人のユーザーにヒアリングをしてきたのですが、「日常的に使うイメージが沸かない」と言った反応が多かったんです。

ー最初のUIはどんなものだったのでしょうか。

最初は「AIによって完全自動でテロップが完成する」というコンセプトでアプリの開発をスタートしました。ですので、UIとしてもかなりシンプルな作りでした。

左：初期のUI 右：現在のUI

ユーザーはきっと編集作業を面倒くさがるだろうから、こっちで全部自動化しちゃおうって思ってたんですね。でもユーザーヒアリングをするなかで、意外とユーザーは「編集」という要素を楽しんでいるぞ！ということが分かってきました。たとえば大枠のテーマは自分で決めるけど、色やフォントは自分好みにしたい、とか。テロップをすべて自動で成形するAIも作ってはいましたが、全然おもしろくないんですよね。ユーザーにとっての「楽しみ」を奪っていたんだと思います。

落合さんから学んだ「社会実装」の大切さ

ー もともとは落合陽一さんの研究室の卒業生とのことですが、プロダクト開発において糧になっていることはありますか？

落合さんから学んだことは、「社会への問いかけ」の大切さです。

プログラムを書くことを「実装」すると言いますが、我々は社会に問いかけて、「社会実装」してかなければ意味がない、と。僕は元々エンジニアで、ずっと技術的な実装をしてきた人間だったので、社会へ問いかけることの意義を考えるようになった哲学は落合さんに大きく影響を受けたと思います。

今回リリースしたtelorainも技術が高いだけではきっと不十分なんです。ユーザーとして想定している女子高生や大学生に使ってもらうためにはなにが必要なのかを考えてきました。

また正しい問いかけをするためにも、リリースに当たってインフルエンサーの方々に拡散のお願いを一切しませんでした。もしここで反響がなければそれまでのアイデアだと思っていました。

幸いにも初動でバズったので、今後はユーザーが継続率高く使い続けるように開発を進めていきます。きちんとユーザーから来ている要望に答えて、女子高生にも届くようなマーケティングを打っていきたいと思っています。ゆくゆくは全人類がテロップをつけて動画を投稿してくれるようになったらいいなと思います。

写真提供: 森 篤史

取材 / 文 ＝ 野村愛