vmc を更新

syui 2024-09-22 12:03:11 +00:00
parent f4962c2232
commit d1cb2521da

52
vmc.md

@ -1,10 +1,7 @@
## 前提 ## 前提
- windowsのwebcamでカメラ、vseefaceに送信。vseefaceからueに送信。
- ueでvseefaceを受信。
```sh ```sh
webcam(カメラ) -> vseeface -> ue(game) webcam(vmc) -> vseeface(vmc) -> vrm4u(vmc)
``` ```
## 使用 ## 使用
@ -38,37 +35,30 @@ ip : 127.0.0.1
port : 39540 port : 39540
``` ```
## FAQ ABPを切り替えることで操作とモーションキャプチャができるようにしています。また、ABPのidleにvmcを追加してもいいかもしれません。この場合、キーを押す必要はありません。
### なぜvseefaceを使うの?
なぜwebcamだけで完結しないのか。なぜvseefaceを介さないといけないのか。
webcamで送信したものがvrm4uで動かないからです。vseefaceを介さないと動かない。
### なぜvseefaceでキャプチャしないの?
vseefaceでキャプチャすると動きをちゃんと拾えないためです。webcamのほうがしっかりと動きを反映するようです。
### なぜmacbook(webカメラ)を使用しなくなったの?
以前はmacbookのwebカメラをwebcamから送信、windowsで受信していましたが、すべてwindowsでやるようにしました。
macbookは音声変換をwindowsに送りますが、webcamと同時に`voice-changer`を起動するとアプリが落ちるためです。
## 問題
### build後に表情が動かない
ABPのAnimGraphは`VRM4U Pose(Auto Search) -> Output Pose`で終了する必要があります。
build後に表情が動かない事に気づきました。私はvmcを`ABP_Pose_$name`で設定するのではなく、BP_Playerで使用するABPでvmcを受信しています。
私はキーを押すと、このABPを切り替えることで操作とモーションキャプチャができるようにしています。また、ABPのidleにvmcを追加してもいいかもしれません。この場合、キーを押す必要はありません。
- 入力でABPを切り替える方法 - 入力でABPを切り替える方法
- ABPのidleにvmcを入れる方法 - ABPのidleにvmcを入れる方法
## issue
- 表情が動かない https://git.syui.ai/ai/ue/issues/9
## img
- vseeface `port:39539`, `>39501`
![](https://git.syui.ai/ai/ue/raw/branch/main/issue/screenshots/issue-9-0002.png)
- webcam `port:39501`
![](https://git.syui.ai/ai/ue/raw/branch/main/issue/screenshots/issue-9-0003.png)
- ue5.4.4 `vmc:39539`
![](https://git.syui.ai/ai/ue/raw/branch/main/issue/screenshots/issue-9-0004.png)
## vmc4ue ## vmc4ue
- https://github.com/HAL9HARUKU/VMC4UE - https://github.com/HAL9HARUKU/VMC4UE