モルタルコのプログラマ日記

しばらく研究していたウェザタイの新CPUがなんとなくできた。ニューラルネットワークを使う方法をずっと研究してたんだけど、結局普通にモデル化した。ニューラルネットワークも、Seq2Seqでひらがな-ローマ字変換するところまでは作ったんだけど、そこからコストを反映させて学習させるのが難しいというか、普通にモデル化するのとあまり変わらない感じがして。

モデル化としては、1打鍵ごとに指の配置を決めてコストを計算して最適な指の動きをするようにしてみた。以下の動画のように、勝手にNNの代わりにXNを使うようになったり「ー」を間違えやすかったりでちょっと人間っぽくなってる気がする。もう少し高速化とチューニングすれば、もっと人と対戦してるような感じになるかも。ちなみにコスト計算は「タイピング Professional」の記事をだいぶ参考にさせてもらってます。

てことで、ウェザタイ3～ウェザタイ4で未だレガシーな実装が残っていた部分、文章自動生成とCPU戦をモダンにする目処が立った。これと配信等で分かったUIの問題点を直してバージョンアップって感じかな。

最後の結果表示、結構人間と似たグラフになっているのが面白い。

Weather Typing、ワード完全自動生成版をテスト公開。まだ精度が低かったのでしばらく公開するつもりはなかったんだけど、いろいろ工夫したらだいぶよくなって公開したくなってしまった。

この前動画を上げたときからの変更点：

日本語WordNetをコーパスにしたこと。この前はWikipediaをコーパスとして使ってたんだけど、だいぶ単語が特殊なのと文章が長くなってしまってあまり良くなかった。Wordnetは、例文が簡単で短文が多いので試してみたらずいぶんウェザタイっぽくなった。あとはライセンス的にWikimediaはCC-BY-SAでちょっと使いづらい。日本の著作権法上はディープラーニングの学習に使うならよさそうだけど。

あとは、ウェザタイっぽくなるように文章をできるだけ短く生成するようにしてみた。やり方はまだ秘密。「ゼロから作るDeep Learning 2」そのままではあるが、C#に移植して内部をちゃんと理解したのでこういう細かいところをいじったりできる。

前からウェザタイのワードを増やそうと思って、記号ワードとか数字ワードとか考えてたんだけど、なんか違うな、と思っていた。で、自動生成はそれっぽい。極端な話、5chコーパス使って5chぽいワードとか使ったら面白そう。

学習するアプリも公開すれば、例えば各自好きな小説を学習して、そのワードで対戦しあうこともできるわけで、それも面白そう。

英語もこの方式なら大量に文章が生成できるので、ついに海外に向けて公開してもよいかも。

昨日のブログ、TwitterにURLを載せたら直後に公式で触れられてしまい、アクセス数が爆発。アクセス負荷でdenasu.comが開けなくなるなんて初めてだ。あ、いや、「逆襲のもげぇたん」のときはもう一桁多かったか。

ロビーも大会中エラーでまくってたのだが、最後ブログにとどめをさされて落ちていた。後で見たらランキングもそこから落ちていた。

ウェブサイト負荷が大会中とかに起きたりすると大会運営できなくなってしまうわけで、かといってそのためにウェブサイトと対戦サーバを分けるのもサーバ代の無駄になりそうだし。スケールアップの手順でも確かめるか。

で、Windowsストアのアクセス数が更新されたので、ダウンロード数を集計。昨日の配信前後のウェザタイのダウンロード数がWindowsだけで約4000。最初にVectorのニュースに載ったときより多いかも。ちなみに昨日のブログのアクセス数が約2200。ウェザタイのページに至っては10000を超えていた。これがインフルエンサーの力。。

にじさんじ打鍵王を観戦。Weather Typingとしての経緯は以前の日記を参照。

その後、REALFORCE TYPING CHAMPIONSHIP（RTC）でお世話になっている東プレさんが協賛することになり、準優勝にはREALFORCEキーボードとREALFORCEマウスが付くことに。REALFORCE MOUSEは最近出たばかりなので、宣伝になるとよいですね。同時視聴3.8万くらいまでいって打鍵王がTwitterトレンドにも入ってたみたいだし。RTCの注目度も上がるといいな。

大会の内容について

前回の日記にも書いたとおり、参加者が分からないと面白さが半減する、と思って何人かのライバーの方が配信していたWeather Typing練習を見たりした。さすがに誰を応援する、とまではいかなかったけどそれでも面白さが増した気がする。

タイピング的には、200-600kpmくらいで差が大きかったけど、同じような速度でブロック組合せを作ってたのでそれほど一方的にならず、最終戦に向かってだんだん盛り上がっていてよかった。RTCはガチ対戦で魅せる感じだけど打鍵王はキャラクターで魅せる感じ。どちらもよい。

サーバ運営的に

抽選会が1万人以上の同時視聴になっていたのである程度予想してたけど、大会中にかなりの人がサーバに接続して対戦をしていた。だいたい常時40人以上がつないで、30人くらいが対戦していたのだが、大会の方はラグもなく、まずまず快適だった。CPUも4%くらいでメモリも全然余裕。このくらいは余裕で堪えられるってことか。ただ、ゾンビプレイヤーが結構発生していて、ずっとエラーが出続けていて怖かった。今もエラー出てるので、どこかのタイミングで再起動しないと。

あとは50分くらいのところで、サーバにつながらないトラブルがあり、後でログを確認したらサーバが落ちていた。1分で自動再起動されるのと運営さんが落ち着いて対処して頂けたので大きなトラブルにはならなかったけど。

Weather Typing的に

2年ほど前に、今回主催者の鈴木勝さんがタイピング対決～負けたら台詞読み～を配信していた。そのとき、これからはもっと配信向けに改善しないと、と思って以下改善した。

• 対戦できる最大人数の設定
• 観戦、ホスト観戦
• ラグ対策

概ねうまく働いていた気がする。ラグについてはさすがにVTuberの人はいい回戦を使っているからかも知れないけど、LAN対戦と遜色ないレベルで観戦できたように思う。

まだちょいちょい画面が変になるので直さないといけないかな。名前と☆が重なってたり。

あと今日のために急いでMacOS版を作って公開したけど、特定の環境で動かないとかがありそうかな。情報が欲しいところ。

ずいぶん前から研究していたワードの完全自動生成がだいぶ進んだ。

これで毎回全く別の文章が生成されるようになっている。今は7単語で切っているので文章が途中で切れている感じになってるし、いまいち面白いかは分からないけど。この後形態素分析入れて日本語の実験をするつもりだが、日本語だと面白くなるかなあ。

基本的には「ゼロから作るDeep Learning 2」のRNNLMなのだが、Xamarinで動かすためにC#で組み直した。パープレクシティ135なのでまだそこまで精度が高いわけではないが、これでも割とそれなりに見える。

4/4土曜日、Youtubeで「にじさんじ打鍵王」が開催される。にじさんじさん所属のVTuberがトーナメント形式で対戦するというもので、その抽選会が配信されたので見てみた。主催の鈴木勝さんは以前も何度かWeather Typingで配信をしていた方。

タイピング界隈でもにじさんじ内で大会してほしいという話題があったり（パソ活ラボ【にじさんじ杯】タイピング王決定戦をやったら面白いんじゃないかという話）。その辺りが関係しているのかは分からないけど、ちょっと前ににじさんじさんから配信に使わせて欲しいという依頼があったので是非、と。

で、タイピングの大会と言えばタイピング日本一を決めるREALFORCE TYPING CHAMPIONSHIPが有名。こちらは3年開催してようやく選手が知られてきて、タイパー界以外の人も見て楽しめるようになってきたかな、というところ。なんだけど、こういう形だと最初から視聴者が参加者を知っているのでその辺は有利だな、と思った。逆に言うと、私もにじさんじさんの動画を見ていかないと本当の意味で楽しめないってことか。1週間で。

日テレ「ヒルナンデス」で「REALFORCE TYPING CHAMPIONSHIP」3連続優勝者のmiriさんが出演されていた。アナウンサーの方とWeather Typing対決をされていたが、意外にも結構早かった。いっそこのままアナウンサー界でタイピングが流行らないかな。

最近いろいろウェザタイ関連のイベントがあるので、過去のイベントをまとめた。私宛に連絡が来ているものの中で、学校、団体、個人を省いた上で、載せても大丈夫そうなもののみ。こうしてみるといろいろありましたね。ちなみに雑誌系もリンクしようとしたらことごとくなくなってるのでやめた。

WT4.0.1 Windowsデスクトップ版をリリース。4.0で報告があったバグと、UWP版Mac版実装で気になった部分の修正。

日テレ「嵐にしやがれ」で「REALFORCE TYPING CHAMPIONSHIP」3連続優勝者のmiriさんが出演されていた。Weather Typingも少し出ると聞いていたが、タイピングの早さを示すのにRTC版の画面がちゃんと出ていてありがたい。

対決自体は音声認識だったが、ちゃんと作ったら面白いのかなあ。一応、Weather TytpingのWindowsストア版では、IMEを使った漢字変換込みのモードも作ってはある。確かIMEの学習をオフにできなくて、辞書が汚れるから公開版からは外してある。IMEを使ってるので音声認識もできるのだが、Windows10標準の音声認識ではテレビでやってたようにはキレイに認識できなかった。マイクの問題もあるかもだけど。

以下は割とちゃんと認識したときのスクリーンショット。コンスタントにこのくらい認識できればいいんだけど。

うまいこと音声認識ができるなら、音声入力を極めた人とキーボードを極めた人の本気対戦ができて面白い。音声入力の達人は、おそらく最低限音声認識ができるだけの音声を使いこなすはず。TASさんの手書き入力みたいに、ケプストラムだけを話すみたいな。楽しそう。

引き続きMacOS版のUIを見ているが、MacOSのUIの自由度が低すぎてどうにもならず。Xamarinはネイティブのコントロールを使うので、他のフレームワークに引っ越しするのは容易だと思うんだけど、Macみたいにネイティブコントロールの表現能力が低いとちょっと扱いづらくなるという特徴がある。UnityだとUIは独自描画なのでどのプラットフォームでも同じ動きになるけど、Unityがなくなったら引っ越しが難しい（使ったことないので分からないけど）。一長一短。

ボタンのボーダーを、マウスを重ねたときだけ白い四角にしたいのだが、調査の結果不可能。ボタン自体のボーダーは今となっては古くさい立体表現になっていて、Bezelをいろいろ変えても縁に合わない。Layerの色を変えるとボーダーっぽくなるのだが、マウスカーソルを重ねたときの動作を変えることができない。

テキストボックスの背景色を半透明の黒にしたかったのだが、Bezelの背景が真っ白で、半透明にならない。Bezelを消すと何故かテキストが上そろえになるし。半透明は諦めて背景を灰色にしてみたが、カレットの色が黒で固定されているので変えられない。変えるにはNSTextFieldのWindowのメソッドを呼ぶ必要があるが、Windowが設定された後に呼ばれるイベントがない。XamarinはNSFormsTextFieldという派生クラスをセットするが、Privateなので触れない。

WT4.0完了したけど何かやってないと暇なので、リリース当日からWindowsストア版やらMacOS版やらを考えている。どっちも結構直さないといけない。

MacOS版のXamarin Formsを4.2から4.4に変えてみたが、何故か「テキストボックスがあると画面遷移で落ちる問題」が4.3SR1で直っていた。バージョンアップで問題が増えるんじゃなくて減ることなんてあるのか。

クローズドベータで出た問題点も修正できたので、Weather Typing 4.0をリリース。WT3では、WT2にあった機能の実装と各プラットフォーム対応を優先させていてずっとUIに手を付けられなかった。そっちはようやく終わったので、UIを一新できた。多少は配信に堪えられる感じになったかな。

今回背景をちょっと変えてみた。天気の背景もいいんだけど、背景が暗い方がやっぱり見やすい。唯一の天気さが消えてタイトルと乖離してしまうが、もはや気にしても仕方がない。タイピングは天気のようなものだ、とかなんとかかんとかってことで。

あとは音だけど、カウントダウン音をいろいろ試してみたが、どれもしっくりこないのでとりあえず保留。

この後はどうしようかな。とりあえずWinストア版作って、MacOS版作ったら、ワード自動生成の研究に戻るか。その前にVectorも登録しないと。

追記。Windows 7はサポート範囲外にしたがたぶん動くはず。手元に環境がないので、何か問題があっても対応できない可能性が高い。実はWindows 8.1とかWindows 10 32bitとかもテストしきれないので試してはいない。こちらは環境はあるので問題への対応は可能。

Twitterで書いたとおり、WT4.0はテスト完了。あとはクローズドで試してもらったりWebサイト更新したりで来週中にリリース予定。

で、いい機会なのでウェザタイの指標を測ってみた。この辺の値を記録しておくと次のバージョンで便利なので。

全体規模

結局分かりやすいステップ数で考えると、もろもろ含めてウェザタイのソースは約10万行。

CLOCの結果。

クライアントがほぼC#/Xamarin Forms、入力やI/O周りでC/C++を少し利用。XMLはresxのことなので、若干自動生成分がある。ランキングやロビーのサーバがJava。Perl/PHPはランキング、ワードサーバに使ってたけど、今はほとんどJavaになっている。

こう見ると、20年とはいえなかなか1人で作る量ではない気がする。大手で作ろうとすると軽く1億円くらいかかるのかなあ。1億円売り上げるにはタイピング界の人口が・・・とか考えていくといつかのジェイブログさんの書き込みで「タイピング企画が通らない」と言っていたのもなんとなく分かりますね。

まあ、WTの場合、商用に比べてOSSとかフレームワーク使わずに一から作ってる部分が多いので、その分多くなってるかも。結局製品寿命が長いことを考えるとそうせざるをえなくて、20年前と変わってないのは結局Raw SocketとかDirect Inputとかそのくらいしかないような気はする。Xamarin Formsもいつまでメンテされるか分からないけど。

WT4.0の開発

WT4.0の開発はRTC 2019の後に始めたから、企画、設計、実装、テストで約2ヶ月。RTC 2019版からWT4.0の改造が約1万行だったから10％直したことになる。

レグレッションテストの全件数が576件で、うち自動テストが455件（約80%）。前回作ったAppiumによる自動UIテスト、やっぱりテスト効率がいい。今回かなり本体を修正したのでテストコードも結構直したけど、これがなかったらテストにあと1ヶ月くらいかかる気がする。テストコードは直し終えたので、Android版とか作るときは（理想的には）テスト実行するだけでいいし。

で、WT4.0開発でレグレッションテストした結果は不良32件。これが多いのか少ないのかは分からないけど、次回の参考にはなる。

WT4用に通信の改善を実装。せっかくなのでWTの通信処理を詳しく書いてみるか。ラグとか同着とかの理由を知りたい人もいるかもしれないし。

WT3までは、プレイヤ全員のメッセージが届いたら全員の入力を確定して、次のフレームのメッセージを送るという実装をしていた。以下の図は「ABCDEF」をAとBが打ち込んでいる例。自分のプレイヤが打った文字は遅延なく画面に反映し、他のプレイヤが打った文字はメッセージが届いてから画面に反映するので、AとBでは見ている画面が違う。ただし、内部的には自分と他のプレイヤのメッセージがそろったときに時間を進めるようにしているため、AとBの同期がとれている。ここで、いくつか問題がある。

1. Bの2フレーム目がAに届いたとき、一度に画面に描画するので3文字一度に消えてしまう。
2. フレーム間隔が一定にならず表示速度が安定しない
3. 同様に、1フレームで複数の文字を処理するので、遅延が大きいと同着が発生してしまう。
4. いろいろな状況によるが、遅延が少ない方が少しだけ有利になる。

WT初期は電話回線だったので通信対戦ができるだけでもよかったが、さすがに配信とかを考えるともう少しなんとかしたいよね、ってことで、WT4ではもう少し通信量を上げて対策をしてみる。下の図で、点線の矢印が新たに追加したもの。入力があったらとにかく相手に送りつけて画面に反映するようにした。ただし、あくまでも画面表示だけの変更で、内部処理は変えない。速度やワード取得の判定は今まで通り全員のメッセージを待つので、今までと変わらない。

上記の問題点では、1と2だけの対応になる。内部処理でローカルPC上の絶対時間を見て判定するようにすれば3と4も改善できるし、工夫次第で観戦モードではラグが発生しないようにもできそうなのだが、試した感じ、割とここまででも十分効果がありそうだったので、WT4ではひとまずここまで。

ちなみにこの辺り、約20年前に独力で実装した部分なので、今のネットゲームから見ると全然なってないんだろうな、と思って「オンラインゲームを支える技術（WEB+DB PRESS plus）」なんかを読んだりしてみたけど、割と合ってて安心した。

Weather Typing 4.0の開発。長いことプラットフォーム対応やテストプログラムとかやってたけど、一段落したので、ようやく見た目とか機能面に着手できるようになった。公開はもう少し先だけど開発は順調。次バージョンがどうなるか軽くメモ。

• UI。3.3以降、プラットフォーム共通化で変な見た目になっていたが、Windowsへのローカライズで少しはまともになる。ちなみにユーザの表示は、結局RTCの左右UIではなく今まで通りの上下UI。多少表示を整理して文字を大きくしたり。
• 機能追加。観戦機能、正確性ルールの追加、勝利数の表示、ワードスピードの表示、入力不能時間のルール化、ワードの追加と削除、はだいたい完成。
• 仕様変更。ルール周りはだいぶ変わる。考え方としては、ルール設定者が自分の得意なルールを決めて相手に押しつけるというもの。ワードもルール設定者が決めるようにし、交替で相手のワードを打つのは廃止。ルールを誰が決めるのかはとりあえずホストにしてるけど、まだ検討中。
• 不良修正は、RTCで出ていたものを中心に対策。

RTCで出ていた不良のメモ。

• 対戦開始時に打ち込めなくなる問題。前の対戦でシフトOnで終わると、次の対戦開始時にシフトOffになるのだが、次の対戦前にキーを8打鍵（on+offで16打鍵）以上してしまうと、キーバッファが溢れてシフトOffが消えてしまう。RTCの動画を見ると分かるけど、結構な選手がカウントダウン中などにエアプレイをしているのでバッファが溢れる。さらに、コンピュータワードでは後半にシフトを押すワードが出ることが多く、起きやすくなっていた。
• 対戦開始時にラグが出る問題。3、2、1、0のカウントを、1000ミリ秒Timerで実現しているが、タイマー起動のタイミングが微妙にずれるのが原因。タイマーのタイミングが 1001 2002 3003 4003 とかだと1000未満を切り捨ててちゃんと1234になるのだが、999 1998 2998 3998 4998 みたいに1秒未満になってしまうと、1000未満を切り捨ててて01234になって1秒増える。たまに1秒未満になるとカウントが3、1、0みたいにスキップすることもある。WT2は60FPSで処理していて、WT3でTimerに変えたことでバグっていた。
• 打鍵時にマウスカーソルがちらつく問題。よく分からないけど、ローマ字表示の上にレイヤーを付けたら起きなくなった。レイヤーはワードスピード表示のためでたまたまだけど、起きなくなったからまあいいか。

この辺りは今日RTCの動画見ながら原因調査したけど、推理力と観察力と地道な捜査が必要で、プログラマの能力はプログラムだけじゃなくてこういった能力が大事だというのを感じる。

で、あとは大会用にホスト兼観戦モードみたいなのを追加するのと、通信のラグ改善を入れたらテストして完成かな。さすがに2/16のWarriors of Typingには間に合わないか。

あ、あとカウントダウンの音か。一応書いておかないと怒られる。

WT RTC2019版の正確性の仕様についてメモ。

WT RTC2019 v06版では、正確性の仕様がWT本家およびRTC2018版と変わっている。WT本家では、画面表示時の正確性はC#のdouble-文字列変換で少数点1位まで表示したものに従う。四捨五入っぽいけど正確なところは不明。で、変換の詳細が分からないと95%未満で黄色い背景にすることは難しいので、RTC2019 v06では少数第1位で切り捨てることにした。結果、最大0.05%ほど正確性が下がる。例えば、最後のワード、最後の文字で、今1999打鍵105ミスだから、あと1文字はミス可能、全速力で打とう、といったギリギリの計算をしていると、106ミスで95%を割ってしまい、負けてしまうので注意が必要。

ちなみにWT本家への反映予定はない。入れるにしても過去との互換性等、いろいろ検討しないと。

既に各所で告知されている通り、12/1の「REALFORCE TYPING CHAMPIONSHIP 2019」のオフライントーナメントでWeather Typingが使われる。で、今日告知があったが、11/24に行われる「N高等学校 第2回 ネット運動会～esports Festival～」の競技の一つにWeather Typingが入った。RTC2019は現地参加予定、ネット運動会の方もネット配信あるので楽しみ。

両方とも事前に話を聞いていたが、日程かぶってなくてよかった。ていうか、日程かぶりを心配するほどWeather Typingが使われることにビックリだ。ゲームに詳しい人に聞く感じ、RTC2019会場の大型ビジョン（タイトーステーションのところ）はゲーマー界隈では知られているらしく、そこに映るのは結構スゴイらしいし、ネット運動会もFortniteと並んでいるのはスゴイことらしい。まあ、タイピングでe-sportsというのが（TODを除いて）商業ソフトにないだけではあるけど。

ちなみにRTC2019の方はOEM的に配信特化した版を提供している。運営の方にはWeather Typing本体にも配信用のデザインを反映させて欲しいとは伝えている。「Warriors of Typing」も続けて頂けているし、配信用画面とか観戦機能を付けて4.0にできるといいなあ。

Weather Typing 3.7を公開。

Windowsデスクトップ版は、いつかのWindows 10のアップデートでUIがおかしくなった問題の修正。これだけでバージョン番号をあげるとWT4.0に近づいてしまうのでなんとなく保留していたのだが、いろいろ大会に使われてきてもいるので、そろそろ公開しないと。

MacOS版は、本当は対戦サーバに接続する機能だけ追加しようとしていたのだが、結局ほぼWT3.6までの機能は入れた上で公開した。当時のソースコードを再度ビルドすると、新しいMacOSライブラリでは全然ちゃんと動かなくて、Xamarin Formsを4にしたり、いろんなバグを回避をしたり大変。結局最新ソースを使うしかなかった。

• 今まで問題なかったところで「UIスレッドで呼べ」エラーで落ちるようになった
• スクロールビューなどの中にエディットボックスを入れて、エディットボックスに一度でもフォーカスしてから画面遷移するとフリーズする

UIスレッドの問題は面倒だけど回避は簡単。いろんなところにUIスレッドコールを追加して解決。エディットボックスの問題は、その時点でもうMacOS版を捨てようとしたくらい致命的。バグは増えても減ることはないので今後も修正されることはないし。でもあがいた結果、画面遷移の直前にエディットボックスを含むちょうどいい領域を非表示にすることでたまたまうまく動いたので、それで回避することにした。

そしてリリース版を作ろうとしたらVisual Studioの署名オプションがDisableになっていて付けられない。MacOS Developerのサイトから証明書をダウンロードしたりいろいろしたけど、結局サイトからダウンロードする必要はなくて、XCodeのオーガナイザで追加することでVisual Studioの署名オプションが有効になった。

で、WT3.6で入れた背景画像選択機能がサンドボックス化で動かなくてトークン化したり、初回起動時に権限を聞かれるようになったりしつつようやくpkg化完了。したんだけど、pkgをインストールしたらもう二度とpkgからもMacOS Appストアからウェザタイをインストールできなくなった。トラップ。3.7をリリースしたらストアから入れられるようになったけど、これだとバージョンアップのテストが不可能。やっぱりMacOSは一般の開発者に厳しい。