Linux 也能全身追蹤!:用 Rebocap 在 Linux 上玩 VRChat FBT
Rebocap 出了官方 Linux 版了!
想用 WiVRn 加最新的官方 Rebocap Linux 的看這裡!
https://blog.tw527e.zip/rebocap-終於出-linux-版了用官方版-wivrn-在-linux-上玩-vrchat-全身追蹤/

你是用 Linux 在玩 VRChat 的人嗎?手上又剛好有一套 Rebocap 慣性動捕嗎?如果兩個都是,那恭喜你,你跟我一樣遇到了一個很麻煩的組合ww

眾所周知,Rebocap 只有 Windows 版,而原本 rebocap-linux-compat 這個項目的玩法,是把它接成 SteamVR 的驅動。但我這邊根本沒有 SteamVR,我是用 WiVRn + xrizer 在跑 VRChat 的,頭顯是 Meta Quest,所以那條路對我來說是走不通的。

所以今天就是要來分享,我怎麼在 Linux 上把 Rebocap 的全身追蹤接進 VRChat 啦~整個過程踩了一大堆坑,我也把啟動腳本、按鍵綁定跟除錯紀錄都整理成了一個 repo:TW527E/rebocap-linux-vrchat-fbt

好啦,進入正題w

整個東西是怎麼串起來的

先看一下資料是怎麼跑的,等一下踩坑的時候比較好懂:

Quest 頭顯 → WiVRn → rebocap-wivrn-bridge CLI → bridge.exe(Wine)→ Rebocap
Rebocap 追蹤器 → bridge.exe → CLI → SolarXR → WiVRn → xrizer → VRChat

簡單來說,Rebocap 本體跑在 Bottles 的 Wine 裡面,它會開一條 named pipe 來輸出追蹤資料。bridge.exe 也跑在同一個 Bottle 裡,負責把這條 pipe 轉成 TCP,讓 Linux 這邊的程式接得到。

接著 rebocap-wivrn-bridge 的 CLI 會在 WiVRn 和 bridge 中間來回轉送:把頭顯的頭部姿勢送給 Rebocap,再把追蹤器的姿勢用 SolarXR 發布給 WiVRn。最後 xrizer 把這些東西轉給 VRChat,VRChat 就看到你的腳了~

我的環境

先說一下我是在什麼環境下跑通的,如果你的環境差很多,那可能會遇到不一樣的坑(?

項目版本/設定
系統Arch Linux(Omarchy,Hyprland),NVIDIA RTX 3070
頭顯Meta Quest,透過 WiVRn 連線(WiFi 或 USB)
WiVRnwivrn-server / wivrn-dashboard 26.9
xrizerxrizer-git 0.6.r6(CLI 作者測的是 0.5,但 0.6 也正常)
RebocapWindows 版,跑在 Flatpak 的 Bottles 裡,runner 是 soda-11.0-10(有 ntsync)
追蹤器平常 10 點:腰、胸、雙腿、雙腳、雙上臂、雙前臂;測試時用 6 點:腰、雙大腿、雙小腿、胸

用到的項目

總共會用到三個項目,再加上我自己這個 repo:

安裝(從零開始)

第一步,讓你的帳號能碰到接收器

Rebocap 的接收器在 Linux 上會是 /dev/ttyACM*,你的使用者要在擁有它的群組裡,Arch 的話是 uucp:

sudo usermod -aG uucp "$USER"   # 執行完要重新登入

我另外還加了一條 udev 規則 /etc/udev/rules.d/70-rebocap.rules,這個可加可不加:

SUBSYSTEM=="tty", ATTRS{idVendor}=="248a", ATTRS{idProduct}=="8002", MODE="0660", TAG+="uaccess"

第二步,把 Rebocap 裝進 Bottles

  1. 先給 Bottles --device=all 權限,不然 Wine 碰不到序列埠
  2. 建一個 Bottle(我取名叫 Rebocap,win64),然後裝 Rebocap
  3. 套用 rebocap-wine 的 setupapi 補丁,Rebocap 才列舉得到接收器
  4. 到 Bottle 的 dosdevices 裡,把接收器對應成 COM 埠,例如 com33 -> /dev/ttyACM0

第三步,編譯 bridge.exe

git clone https://github.com/TW527E/rebocap-linux-compat
cd rebocap-linux-compat
x86_64-w64-mingw32-gcc -O2 -static -o bridge.exe bridge/bridge.c -lws2_32   # 需要 mingw-w64-gcc
cp bridge.exe ~/.var/app/com.usebottles.bottles/data/bottles/bottles/Rebocap/drive_c/Program\ Files\ \(x86\)/Rebocap/

懶得自己編譯的話,fork 的 Releases 也有編好的 bridge.exe 可以直接抓w

這邊要注意,它原本的 install.py 不用跑,SteamVR 驅動也不用註冊,我們用不到。另外建議在 Bottles 的 GUI 裡把 bridge.exe 加成這個 Bottle 的程式,之後每天開比較方便。

第四步,編譯 CLI

sudo pacman -S rust openxr pkgconf
git clone https://github.com/akazdayo/rebocap-wivrn-bridge ~/Downloads/rebocap-wivrn-bridge
cd ~/Downloads/rebocap-wivrn-bridge && cargo build --release

第五步,裝我的啟動腳本

git clone https://github.com/TW527E/rebocap-linux-vrchat-fbt ~/Downloads/rebocap-linux-vrchat-fbt
ln -s ~/Downloads/rebocap-linux-vrchat-fbt/scripts/rebocap-fbt ~/.local/bin/rebocap-fbt

如果你的路徑跟我不一樣,可以用這幾個環境變數蓋掉:REBOCAP_CLI、REBOCAP_BOTTLE、REBOCAP_RECEIVER、REBOCAP_XR_RUNTIME_JSON。

第六步(選用),右搖桿按下也能跳

如果你手把的 A 鍵壞了,可以讓右搖桿按下也能跳。先產生 xrizer 用的綁定檔:

./xrizer-bindings/make-vrchat-bindings.py      # 會寫到 ~/.config/xrizer-bindings/oculustouch.json

然後在 VRChat 的 Steam 啟動選項最前面加上:

XRIZER_CUSTOM_BINDINGS_DIR=/home/<你>/.config/xrizer-bindings

右搖桿按下原本是「Udon Stick Click」,只有少數世界會用到,A 鍵也照樣能跳,所以不太會影響到什麼。VRChat 更新之後重跑一次產生器就好,想恢復原狀的話把啟動選項刪掉就行了~

日常怎麼玩

如果今天不玩全追,那就照平常的方式:開 WiVRn → 頭顯連線 → 開 VRChat,Rebocap 跟腳本都不用開。

要玩全身追蹤的話,順序很重要,照著下面來:

  1. 開 WiVRn(wivrn-dashboard),確認伺服器有在跑。這時候頭顯先不要連!
  2. 在 Bottles 裡開 Rebocap,再開 bridge.exe
  3. 終端機執行:rebocap-fbt # 10 點(預設) rebocap-fbt 6 # 6 點 rebocap-fbt 10 --usb # 準備好後自動用 USB 連頭顯
  4. 看到「SolarXR 準備好了」(也會跳桌面通知)之後,再連頭顯
  5. Rebocap 切到 VR 模式,戴著頭顯校準
  6. 從 Steam 開 VRChat,在快捷選單點 Calibrate FBT

腳本跑起來的時候會幫你檢查部位:

有資料的部位:0 1 2 5 6 7 9 10 11 12
  ⚠ 已發布但沒有資料:…
  ⚠ 有資料但沒有發布:…

只要出現 ⚠,就代表你給的部位參數跟實際綁的追蹤器對不上,要去改部位參數。

玩完要結束的時候:

  1. 在腳本的終端機按 Ctrl+C,腳本會關掉 CLI,並用 bridge.quit 讓 bridge 自己退出
  2. 按 X 關掉 Rebocap 的視窗
  3. WiVRn 照平常的方式處理就好

還有一個很重要的:重啟 CLI 或換了部位之後,頭顯要重新連線,VRChat 也要重開。因為 WiVRn 只有在頭顯連線的那一刻才會讀追蹤器清單,中途改了它是不會知道的。

部位編號

編號部位編號部位
0腰7胸
1 / 2左/右大腿9 / 10左/右上臂
3 / 4左/右小腿11 / 12左/右前臂
5 / 6左/右腳

VRChat 校準的時候是看追蹤器的位置來分配給臀、腳、膝、胸、肘的,所以 6 點套組的小腿追蹤器拿來當腳用是沒問題的。

但要注意,CLI 預設的 0,5,6 只適合有綁腳的套組。6 點套組根本沒有腳的實體追蹤器,5、6 只是 Rebocap 自己建出來的虛擬節點,只會送一小段資料就停了,用預設值的話 VRChat 會抓不到腳。6 點的話要用 0,1,2,3,4,7。

用 USB 連線

  1. 頭顯要開開發者模式,並允許這台電腦 USB 偵錯。授權的視窗是跳在頭顯裡面的,要戴上去才看得到喔
  2. 執行 adb devices,狀態要是 device。如果是 unauthorized,代表你還沒在頭顯裡按允許
  3. 用 rebocap-fbt --usb,或在 wivrn-dashboard 按「透過 USB 連線」

想手動連的話:

adb reverse tcp:9757 tcp:9757
adb shell am start -a android.intent.action.VIEW -d "wivrn+tcp://127.0.0.1:9757" org.meumeu.wivrn

踩過的坑

好,接下來是這篇文章真正的重點,也就是我花最多時間的地方(╯‵□′)╯︵┴─┴

先講一下,下面這些坑大部分跟我的環境有關:Rebocap 跑在 Flatpak Bottles 裡,runner 是 soda-11.0-10,系統有 /dev/ntsync。換了 runner 的話不一定會遇到一樣的問題。

坑 1:bridge.exe 說它在聽,但永遠沒人接

bridge 很開心地印出 listening on 127.0.0.1:36850,用 ss 看也確實有在監聽。但從主機連進去之後,永遠等不到 driver connected,連線就一直卡在 CLOSE-WAIT。

去看了一下,bridge.exe 只有一個執行緒,而且停在 ntsync_schedule,也就是一直卡在 accept()。所以我寫了一個小測試程式,在同一個 Bottle 裡換一個埠,把各種寫法都試了一遍:

寫法結果
阻塞式 accept()失敗,錯誤碼 317
select() 後再 accept()select 回傳 -1
非阻塞 accept() 輪詢正常
WSAEventSelect + WaitForSingleObject正常
阻塞式 recv()回傳 -1,錯誤碼 997(WSA_IO_PENDING)
事件等待後 recv()正常

結論就是:這個 Wine build 的阻塞式 socket 呼叫是壞的。解法是把 socket 全部改成非阻塞,等待都走 WSAEventSelect 事件,send 遇到 WSAEWOULDBLOCK 就重試。

坑 2:腰不見了,腳的資料斷斷續續

連上之後,bridge 大概每秒會印 60 次 dropping malformed pipe message: 0 bytes, header says 0。CLI 收到的腰(tracker id 3)沒有 role,因為它的 TrackerAdded 那則訊息根本沒收到,所以 CLI 就不發布它。

原因是 overlapped ReadFile 的事件觸發的時候,Wine 還沒把 IO 狀態寫回去。GetOverlappedResult 看到狀態還是 STATUS_PENDING,就直接當作成功、回報 0 bytes,那則訊息就這樣被丟掉了。

第一版的修法是:事件觸發後,等 OVERLAPPED.Internal 不再是 STATUS_PENDING 才去讀結果。修完之後腰就出現了~

坑 3:結果修出新的坑

然後就換成 bridge 的讀取執行緒吃掉 57% 的 CPU,CLI 一直等不到 Received a Rebocap protocol message,Rebocap 完全沒反應 ╮(╯▽╰)╭

原因是 Rebocap 暫時沒資料可送的時候,讀取會一直處於等待,而在這個環境下 IO 狀態永遠不會更新。第一版測試時看起來正常,只是因為那時候 Rebocap 一直有資料,每次讀取都馬上完成而已。

最後的解法是先用 PeekNamedPipe 確認 pipe 裡有資料才去讀,這樣讀取一定是立刻完成的,完全不會走進那條壞掉的等待路徑。沒資料的時候就 Sleep(1)。

坑 4:從主機 kill 掉 bridge,Rebocap 跟著陪葬

有一次我直接用 kill 把舊的 bridge.exe 砍掉,結果 Rebocap 也跟著不見了。去 coredumpctl 一看,有一筆 wineserver 的 SIGSEGV,時間點剛好跟 kill 對得上:

remove_process_thread ← kill_thread ← terminate_process ← main_loop_epoll

所以我幫 bridge 加了一個 bridge.quit 檔案:只要建立這個檔案,bridge 就會自己呼叫 ExitProcess 正常退出。

記住一個原則:wineserver 還活著的時候,不要從主機 kill 任何 Wine 程序。

坑 5:「網路校驗失敗,即將在 10 秒後退出」

Rebocap 突然連不上自己的授權伺服器,錯誤碼還是一串亂碼(Windows Error 0x6a7cbf70)。但主機自己去連那台伺服器是正常的,所以不是網路的問題。

真正的原因是那時候 wineserver 已經不在了,Wine 程序變成沒有伺服器的孤兒,Wine 裡的網路自然全部失效。處理方式:

  1. 先結束 wineserver
  2. 再清掉那些失去伺服器的 Wine 程序,這時候已經沒有 wineserver 了,不會有崩潰的風險
  3. 重開 Bottle

坑 6:Bottles 的「停止」永遠停不下來

bottles-cli stop 關機的流程是送出 Windows 的 end-session,然後跑 wineserver -w 等待。但 bridge 是 console 程式,Rebocap 也不理這個訊號,所以就會一直等下去。

我本來想從主機直接 wineserver -k,結果回傳 1,找不到伺服器。因為 wineserver 的 socket 在 Flatpak 沙盒自己的 /tmp 裡,主機的 /tmp/.wine-1000/ 只看得到一個 lock。

所以最後的做法就是:用 bridge.quit 關 bridge,Rebocap 手動關視窗。

坑 7:6 點套組用預設值,VRChat 沒有腳

我把各部位收到的姿勢筆數統計了一下:

部位筆數
0、1、2、3、4、7持續送出(數千筆)
5、6、9、10每個只有 29 筆就停了,電量固定 1.0

Rebocap 校準 log 裡的 failed node is:[0, 1, 2, 3, 4, 7] 列出來的也剛好就是這 6 個。原來 5、6、9、10 是 Rebocap 建出來的虛擬節點,不是實體追蹤器,所以不會一直送資料。部位參數照實際綁的追蹤器來設就好,6 點用 0,1,2,3,4,7。

其他小坑

  • 系統沒有 ~/.config/openxr/1/active_runtime.json,所以 CLI 要用 XR_RUNTIME_JSON=/usr/share/openxr/1/openxr_wivrn.json 指定 WiVRn(腳本已經幫你加了)
  • CLI 噴 Failed to connect to monado service process 的話,是 WiVRn 伺服器沒在跑。dashboard 開著不代表伺服器開著,要在 dashboard 按「啟動伺服器」。它也可能跟著它啟動的應用程式一起停掉,這時 $XDG_RUNTIME_DIR/wivrn/comp_ipc 會不見
  • CLI 顯示 invalid SolarXR frame 加上一堆用法說明的話,檢查一下部位參數裡是不是混了全形標點(例如 12。),只能用半形數字和逗號
  • Quest 的 USB 偵錯授權視窗只會跳在頭顯裡,頭顯休眠的時候 lsusb 也可能看不到它
  • xrizer 的自訂綁定檔名是 <controller_type> 去掉底線再轉小寫,Quest 手把就是 oculustouch.json。它會在 XRIZER_CUSTOM_BINDINGS_DIR 裡找,沒設這個變數的話會去遊戲工作目錄下的 xrizer/ 找

最後

好啦~以上就是我在 Linux 上用 Rebocap 玩 VRChat 全身追蹤的整個過程了!雖然坑很多,但跑通之後,日常其實就是開 WiVRn、開 Rebocap 跟 bridge、跑一行 rebocap-fbt,然後就可以在 VRChat 裡動腳了ww

更詳細的除錯過程都寫在 repo 的 docs/troubleshooting.md 裡,有遇到問題可以先去翻翻看。

如果你也有在 Linux 上玩 VR,或是照著這篇接起來了(或是接不起來),都歡迎在下面留言告訴我啊!!(❁´◡`❁)

授權

我 repo 裡的腳本跟文件是 MIT License。bridge.exe 的程式碼來自 dogesoulseller/rebocap-linux-compat(MIT)。CLI 是 akazdayo/rebocap-wivrn-bridge 開發的,我的 repo 只放連結,不包含它的程式碼。Rebocap 本身是 JXQ 的專有軟體,repo 裡也沒有包含它的任何檔案。

參考資料

CC BY-NC-SA 4.0


MinePage by 誠誠 - ChengCheng is licensed under CC BY-NC-SA 4.0

暫無評論

發怖評論 編輯評論


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇