miu
@miu200521358
MMD自動トレースを使っていただきました！ 【 あいみょん 】ハルノヒ（Vtuberで歌ってみた＆MMDリップ・歌唱モーション・スカイドーム配布） nico.ms/sm35259578?ref… #sm35259578 #ニコニコ動画
2019-06-20 22:56:27
miu
@miu200521358
MMD自動トレースをお試しいただき、ありがとうございます。 同様の報告を別の方からもいただきました。 もしかしたらアップデートしたかもしれません。 明日ネット開通するので、そのあと確認いたします #マシュマロを投げ合おう marshmallow-qa.com/messages/89da2…
2019-06-18 19:35:32
miu
@miu200521358
観衆に自動トレース使っていただきましたー！ それはともかくめっちゃすごい完成度。素晴らしいです。 【MMD】放課後クライマックスガールズで気まぐれメルシィ【シャニマス】 nico.ms/sm35168359?ref… #sm35168359 #ニコニコ動画
2019-05-26 18:45:25
miu
@miu200521358
MMD自動トレースとVMDサイジングの両方をご利用いただいて、通常頭身のモーションとねん頭身のモーションを作っていただきました！ こういう風に活用していただけるの、とても嬉しいです😊💕 twitter.com/rasen1512/stat…
2019-05-25 13:36:26
ラセン＠トレース中につき引きこもりがち
@rasen1512
miuさんのMMD自動トレースと VMDサイジングを試してたみた動画できた。 「ひわ兄足長いね」 しか伝わらないかもしれないけど 1番言いたいのは、 「私にもこんなのできちゃった」 のひと言に尽きるかと pic.twitter.com/Z3qtrZnmL8
2019-05-24 22:59:24
miu
@miu200521358
readfacevmd、踊ってみたの顔部分拡大でどれくらいいけるんだろ？と思い立ってテスト。 意外とイケてる！ これなら同じ踊ってみた動画からMMD自動トレースとreadfacevmdの両方生成できそう。 後はどれくらい小さくしてもいけるか、かなぁ pic.twitter.com/SUg4XBgTJq
2019-05-06 22:39:44
miu
@miu200521358
MMDの沼をゆるゆると行軍中。MMD自動トレース・VMDサイジング・Vroid2Pmx諸々営業中。F/R/Bご自由にどうぞ。遙か昔に成人済。雑食。好物:刀剣乱舞(清光、一期、薬研)、ツイステ(レオナ、アズール)、ヘタリア(日本、フランス)。 特別はいるけど、みんな大好き。のんべんだらりw 詳細はプロフカードにて。
miu
@miu200521358
@rasen1512 お、それは楽しみです！ そうなんですよね～ 自分でモーション作れるのは嬉しいんですけど、自動だから本当にそのままトレースされちゃうので、結構クセとか出ちゃいますね(笑) 江良野師匠のreadfacevmdはホントすごいんで、色々試してみてください😊
2019-05-06 18:13:38
宇津巻ラセン（LV.7）
@rasen1512
@miu200521358 弾き語りなんかも、弾くのと歌うのまでは軽快に進むんですけど、 表情でお蔵入りしてたりしたので、 紹介頂いたツールも試してみますね！ 後は自分が役者になれるかにかかってますねw
2019-05-06 18:09:33
宇津巻ラセン（LV.7）
@rasen1512
@miu200521358 うわぁ 凄いです！ ありがとうございます！ P-motionで良い感じの所は生かしつつ 盛り上がって欲しい所や 目線の動きで合わない所は 自分が演じて自動トレースする！ 動画から自動でモーション作れる技術が色々あるなんて全然知らなかったんで、この連休中にかなりの文明開化が起こった気がします！
2019-05-06 18:06:05
miu
@miu200521358
ちなみに、顔の表情は、江良野師匠のreadfacevmdで自動生成できるかもです。 ピアノ弾いてる体で顔を自撮りすればいいんじゃないかな？ twitter.com/errno_mmd/stat…
2019-05-06 17:57:35
江良野
@errno_mmd
写真や動画から人の顔の表情を読み取って、MMDで使えるVMD形式のモーションデータを生成するreadfacevmdを公開しています。 github.com/errno-mmd/read…
2019-05-05 22:05:27
miu
@miu200521358
@rasen1512 ラセンさん、p-motionとMMD自動トレースの重ね技、試してみました！ 運指？と身体の向きが合ってませんが、それっぽくは出来そうです。 twitter.com/miu200521358/s…
2019-05-06 17:51:24
miu
@miu200521358
Q. p-motion（ピアノ用モーション生成ツール）とMMD自動トレースの併用ってできる？ A. 多分できます。 サンプルは、上半身、上半身2、首、頭がMMD自動トレース。 それ以外はp-motionのモーションです。 pic.twitter.com/rtzOgNEbaN
2019-05-06 17:36:32
miu
@miu200521358
9) 正面の向きが気になるようであれば、7と同じようにして調整。 こんな感じかな。 こういう挑戦も面白かったです (*´艸｀) でも、自撮りしてるシーンは見られたくないなぁwww
2019-05-06 17:49:29
miu
@miu200521358
7) 上半身のキーフレームを全部選択して、ボーンフレーム位置角度補正で、上半身のY軸を+45もしくは-45くらいかけて、正面を向くようにする。 （かけ算じゃなくて足し算の方） 8) MMD自動トレースの上半身・上半身2・首・頭のモーションをコピーして、p-motionのモデルにペースト。
2019-05-06 17:49:29
miu
@miu200521358
4) 鍵盤、座り、指のモーションをモデルに適用する 5) 上半身・上半身2・首・頭のモーションだけ削除する 6) もう一体モデルを読み込んで、MMD自動トレースのモーションデータを読み込む
2019-05-06 17:49:28
miu
@miu200521358
ざっくりとした作業手順 1) 斜め45度くらいで全身が映るようにして、椅子に座ったモーションを自撮りする （正面でもいけますが、反ったり丸まったりするのがうまくトレースできなかったです） 2) 自撮りした動画をMMD自動トレース 3) p-motionでピアノモーションを作成する
2019-05-06 17:49:28
miu
@miu200521358
自撮りした本人が楽器とは無縁（ｗ）なので、上半身の動きと腕の動きが合ってませんが、腕切り腕IKとの相性は案外に悪くないかも。 モデル：銀獅様、とと様／tatmos様、ゆづき様、ビリヤードＰ様 ツール：p-motion、MMD自動トレース
2019-05-06 17:40:31
miu
@miu200521358
Q. p-motion（ピアノ用モーション生成ツール）とMMD自動トレースの併用ってできる？ A. 多分できます。 サンプルは、上半身、上半身2、首、頭がMMD自動トレース。 それ以外はp-motionのモーションです。 pic.twitter.com/rtzOgNEbaN
2019-05-06 17:36:32
miu
@miu200521358
一周年ーーーー！！！ 更新内容はしょぼいですｗ MMDモーショントレース自動化への挑戦【ver1.02】 nico.ms/sm35080368?ref… #sm35080368 #ニコニコ動画
2019-05-05 19:05:27
miu
@miu200521358
ちなみに自動トレース直後との比較はこんな感じ。 左が自動トレース直後、右が修正後。 腕がコートと誤認識してる以外はそこそこ撮れてる感じではないでしょうか。 今回のトレースで、首と頭の角度を調整したりしました。次回リリース予定。 センターZが前に出てるのは、今修正中だからですｗ pic.twitter.com/9c7YJEbeJ5
2019-05-01 15:15:53
miu
@miu200521358
令和記念で剣舞モーションを配布しまーす！！ MMD自動トレースをベースにしています。 よろしければ遊んでみてくださいまし😊 天皇弥栄✨ bowlroll.net/file/196390 pic.twitter.com/CIuuQvpmfY
2019-05-01 14:36:14
miu
@miu200521358
MMD自動トレースご利用ありがとうございます！ 使っていただいたモーションが配布されるのは夢だったので、めっちゃ嬉しいです！ 【MMDモーショントレース】カトラリー【固定カメラver】 nico.ms/sm34923024?ref… #sm34923024 #ニコニコ動画
2019-04-06 19:47:18
miu
@miu200521358
Q: モンスターのような、人体ではないモデルに適用はできますか？ A: 概ね標準ボーンで構成されているモデルであれば、VMD生成時に適用モデルを指定する事で、そのモデルに合ったモーションデータが適用可能です。 ようかい体操第一を各モデル用モーションで踊ってもらいました。無音です。 pic.twitter.com/3KjIdZx6i0
2019-04-06 19:21:35
miu
@miu200521358
ぬーん…tensorflowでそれっぽい曲線は求められるようになりました。 が、これを保存して再利用する方法が分かんないwww datasetにplaceholderって入れられない？ 何か根本的に間違ってる気がする…勉強しますw pic.twitter.com/ujOpBH1Qk5
2019-04-03 14:23:43
拡大
miu
@miu200521358
English translation of the colab version of "MMD Auto Trace" has been released. As long as you have a Chrome browser, you can execute MMD automatic tracing on a computer without a GPU, a laptop computer, and everything else on the cloud (colab)! qiita.com/miu200521358/i…
2019-04-01 22:13:26
miu
@miu200521358
MMD自動トレースver1.01、動画投稿しました！ これからリリース作業に入ります。 クラウド版とか動かなくなるタイミングがあると思います、すみません>< MMDモーショントレース自動化への挑戦【ver1.01】 nico.ms/sm34885105?ref… #sm34885105 #ニコニコ動画
2019-03-31 17:04:31
miu
@miu200521358
クラウド版MMD自動トレース金枠ありがとうございます！ これ、いつ頃達成したんだろ…通知欲しいなぁ pic.twitter.com/5IgW9ATGhB
2019-03-24 19:22:21
拡大
miu
@miu200521358
MMD自動トレースをベースに作っていただいたそうです…！嬉しい～～！ めっちゃ滑らか！！ 【MMDモブサイコ100】カトラリー【モーショントレース】 nico.ms/sm34816640?ref… #sm34816640 #ニコニコ動画
2019-03-22 20:46:21
miu
@miu200521358
クラウド版解説投稿しましたー！ ちょっとバージョン上がってるけど、基本は変わらないはずですw ver1.01も色々調整中。 クラウド(colab)版MMD自動トレース解説【ver1.01】 nico.ms/sm34812100?ref… #sm34812100 #ニコニコ動画
2019-03-21 00:13:16
miu
@miu200521358
@ryuuseinosora ご連絡ありがとうございます！ パラメーターで色々動きも変わりますので、遊んでみてください。 今後ともどうぞよろしくお願いいたします(*´▽｀*)
2019-03-17 19:30:07
miu
@miu200521358
@ryuuseinosora お返事が遅くなってしまい、すみません。 「パラメーター設定」のセルが実行されていないため、変数が定義出来ていないようです。 目次から「パラメーター設定」を開いて、まずはデフォルト値のままセルを実行してみていただけますでしょうか。 よろしくお願いいたします。
2019-03-17 12:14:22
Nagare -ながれ-
@ryuuseinosora
@miu200521358 素晴らしい物を作っていただき、ありがとうございます。早速試してみたのですが、こういうことに詳しくないためここから先に進むことができません。どうすればいいでしょうか？ pic.twitter.com/SmuGiZygFs
2019-03-16 15:55:11
拡大
Laurent Denoue
@ldenoue
@miu200521358 @keriwaza How do you detect the 3D pose? Is it detecting in real-time? Are you smoothing the positions? Looks very nice!
2019-03-14 05:26:12
miu
@miu200521358
今回の検証はこんな感じです。 つらつらと失礼いたしました～ ミソジサラリーマン様、ありがとうございました！ 今後ともどうぞよろしくお願いいたします😊
2019-03-13 18:53:24
miu
@miu200521358
開始が後ろ向きだと、身体の向きがうまく取れてなくて、上半身が捻れてしまってるのがお分かりでしょうか。 どっかのタイミングで前向き情報が取れると直るのですが、やはり最初が後ろ向きとかは苦手みたいです。 全身のスライドのタイミングがずれているのは、多分間引きの間隔による差だと思います。
2019-03-13 18:53:24
miu
@miu200521358
それから、開始位置の身体の向きによる、冒頭部分のトレースの差も調べてみました。 左は開始が後ろ向き、真ん中は開始が前向き、右は0F目から通してトレースしたバージョンです。 pic.twitter.com/db5HP2pD4x
2019-03-13 18:52:46
miu
@miu200521358
全体的に見ると、やっぱり60fpsは良くも悪くも、情報量が多いのがよく分かります。 取れる情報量が多いから、失敗も成功もはっきり見える。 後、関節の交差間違いは、fpsには左右されないようですね。60fpsだから回避できるとか、そういうのでもなさげ。
2019-03-13 18:52:04
miu
@miu200521358
1分20秒付近の蹴り上げは、60fpsの方が綺麗に取れてる…けど、30fpsは全く取れてなくて、逆に線形補間でそれなりになっちゃってる感じ。 この辺はkenkraさんにホント感謝ですね。
2019-03-13 18:52:04
miu
@miu200521358
1分8秒付近の蹴り上げは、両方ともうまく取れてます。やっぱり、首より足の付け根の関節が下にあること（それが見える状態であること）がポイントになりそう。 後ろ向きの蹴り上げはほぼ駄目で、前向きだと半々くらいの確率で成功する印象です。
2019-03-13 18:52:03
miu
@miu200521358
13秒付近の回転は、足の上がり具合は取れてないんだけど、降りてきたときに60fps側は足を検知しているので、全身の回転は取れてます。30fpsは上半身が回転できてません。 51秒付近は、30fpsの方が交差しちゃってますね。この交差になる原因、なんなんだろ…
2019-03-13 18:51:35
miu
@miu200521358
スローパートありモーションで、左が30fps、右が60fps。 60fpsは7秒目付近で関節が交差しちゃってて、下半身がグリッと捻れちゃってますね。 これ、なんとか吸収したいのですが、身体が反り気味になっている時と同じ関節の配置なので、吸収が難しくて。 1Fだけの場合は吸収でカバーできないかな… pic.twitter.com/eBuVJoX9mf
2019-03-13 18:50:14
miu
@miu200521358
でもこういった情報はとても有り難いし、勉強になります！ 何かありましたら、リプでもマシュマロでもメールでも何でも構いませんので教えてくださいませ。
2019-03-13 18:42:45
miu
@miu200521358
この反転現象、DensoPoseを使うと体表が取れますよ、と教えていただいて、色々調べてみたのですが、Pythonのバージョンが2で固定されているのが痛くて… 手動で切り替える事もできなくはないのですが、colabだとPython2と3で別のノートブックが必要になってしまうようなので断念しました。
2019-03-13 18:42:44
miu
@miu200521358
奥行き（センターZ）が取れてないんですよねー…これも課題。 元動画の解析結果で、赤の点がMMD自動トレースで右側と判定した関節。緑の点が左側と判定した関節です。 Openposeでは時折関節情報が反転してしまう事があるので、必ずしもOpenposeの結果とは一致していません。
2019-03-13 18:42:44
miu
@miu200521358
あ、Twitterに60fps動画をそのままあげようとすると、アップロードが終わったときに「このファイルは互換性がありません」とか言われて拒否されちゃうのでご注意下さいw これはAviUtlで、30fps動画として読み込んで、再生速度を2倍にしています。 せっかく3Dなので、あちこちから眺め回してみました。
2019-03-13 18:42:44
miu
@miu200521358
今回もミソジサラリーマン様(@keriwaza) よりご提供いただいたナイフモーションを一発自動トレースさせていただきました。 首がふらふらしてるのは、現在ローカルで調整中の為です。無視してくださいw これはスローパートありモーションで、60fpsです。 pic.twitter.com/FyM5BeHii2
2019-03-13 18:42:14
miu
@miu200521358
…となると、アクション系は30fpsで間引き小か、60fpsで間引きデフォルトか…多分その辺が妥協点なのかなぁ ミソジサラリーマン様、素晴らしい検証データ、ありがとうございました！
2019-03-09 19:43:51
miu
@miu200521358
これは60fpsで間引きを細かくしたらどうなるかを試してみたデータ。 左が間引き小さめ（移動0.2、回転1）、右が間引きデフォルト（移動0.5、回転3）。 ここまで細かく取ると、逆に動きにノイズが入っちゃってますね。 pic.twitter.com/ZSebv0BK57
2019-03-09 19:43:33