okooooooo/EasyVtuber
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Merge remote-tracking branch 'upstream/ezvtb_rt'

Browse Source
This commit is contained in:
zpeng11 committed 2025-01-13 12:47:09 -05:00
2 parents 1be9fb734b 167455907b
commit 1d8ce28074
6 files changed
+50 -44
Download Patch File Download Diff File Expand all files Collapse all files

No files matched your search

01Y.NVIDIA-cuDNN下载（40系显卡使用）.url
-5
View File
@@ -1,5 +0,0 @@
[{000214A0-0000-0000-C000-000000000046}]
Prop3=19,11
[InternetShortcut]
IDList=
URL=https://developer.nvidia.com/rdp/cudnn-download
02.构建TensorRT模型（N卡使用）.bat
+9
View File
@@ -0,0 +1,9 @@
@echo off
cd /D "%~dp0"
IF EXIST %~dp0envs\miniconda3\Scripts SET PATH=%~dp0envs\miniconda3\Scripts;%PATH%
call activate
call conda env list
call conda activate ezvtb_rt_venv
call conda env list
python ezvtb_rt_interface.py
02A.启动器.bat
-1
View File
@@ -6,6 +6,5 @@ call conda env list
call conda activate ezvtb_rt_venv
call conda env list
IF not EXIST %~dp0launcher.json call python ezvtb_rt_interface.py
pythonw launcher2.py
02B.启动器（调试输出）.bat
-1
View File
@@ -6,7 +6,6 @@ call conda env list
call conda activate ezvtb_rt_venv
call conda env list
IF not EXIST %~dp0launcher.json call python ezvtb_rt_interface.py
python launcher2.py
README.md
+33 -29
View File
@@ -39,32 +39,14 @@ Updates:
* [夸克网盘](https://pan.quark.cn/s/b61ad5315f59)
* 磁力链接 magnet:?xt=urn:btih:31ea4e070603b02a2ffd38418116b08b74551722
* [谷歌网盘](https://drive.google.com/drive/folders/1cYj18EfVQ2Cl348_rkCu_fgaasHTI_io?usp=drive_link)
### 下载并安装CUDAToolkit
前往 [英伟达官网](https://developer.nvidia.com/cuda-downloads) 下载并安装`CUDATookit 12`及以上版本。
若安装成功并重启可开启命令行工具验证出现类似如下结果：
```
C:\Users\Eleven>nvidia-smi
Thu Jan 9 22:02:29 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 556.12 Driver Version: 556.12 CUDA Version: 12.5 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Driver-Model | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce GTX 1660 ... WDDM | 00000000:01:00.0 On | N/A |
| 32% 34C P8 10W / 125W | 569MiB / 6144MiB | 1% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
........
```
或可以双击 `00.检查安装CudaToolkits.bat` 来验证
### 安装Spout2 OBS插件(可选)
安装整合包附带的 `OBS_Spout2_Plugin_Install_v1.8.exe`， 安装包来自 https://github.com/Off-World-Live/obs-spout2-plugin 项目，可以提供透明通道给OBS。
### 启动项目
双击`02A.启动器.bat` 或 `02B.启动器（调试输出）.bat` 启动器，首次启动将会花约5分钟安装pip资源， 若是英伟达用户将会开始TensorRT构建，额外需要>20min时间(取决于显卡)，结束后可以大幅提升运行速度，构建的开头和结束输出如下。
### 构建TensorRT模型（N卡专用，可选）
双击`02.构建TensorRT模型（N卡使用）.bat`，若是英伟达用户将会开始TensorRT构建
额外需要>20min时间(取决于显卡)，结束后可以大幅提升运行速度（可简单理解为玩游戏之前编译着色器，和每个人显卡有关）
构建的开头和结束输出如下。
```
Start testing if TensorRT works on this machine
0%| | 0/38 [00:00<?, ?it/s][01/09/2025-22:36:52] [TRT] [I] [MemUsageChange] Init CUDA: CPU +89, GPU +0, now: CPU 6758, GPU 1009 (MiB)
@@ -90,15 +72,35 @@ Start testing if TensorRT works on this machine
[01/10/2025-21:16:53] [TRT] [I] Completed saving engine
100%|██████████████████████████████████████████████████████████████████████████████████| 38/38 [46:54<00:00, 74.07s/it]
```
结束所有准备工作将进入启动器，如下图启动：
### 启动项目
双击`02A.启动器.bat` 或 `02B.启动器（调试输出）.bat` 启动器，如下图启动：
![](assets/02success.png)
之后请移步输入输出自行调节。
## Installation(科学上网且使用Git)
可使用此安装方法对本项目二次开发
### 安装CudaToolkits
同整合包版本
### 下载并安装CUDAToolkit
前往 [英伟达官网](https://developer.nvidia.com/cuda-downloads) 下载并安装`CUDATookit 12`及以上版本。
若安装成功并重启可开启命令行工具验证出现类似如下结果：
```
C:\Users\Eleven>nvidia-smi
Thu Jan 9 22:02:29 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 556.12 Driver Version: 556.12 CUDA Version: 12.5 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Driver-Model | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce GTX 1660 ... WDDM | 00000000:01:00.0 On | N/A |
| 32% 34C P8 10W / 125W | 569MiB / 6144MiB | 1% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
........
```
或可以双击 `00.检查安装CudaToolkits.bat` 来验证
### 安装Anaconda（可选）
前往https://www.anaconda.com/ 安装Anaconda 并保证加入环境变量命令行可以找到，如：
@@ -155,9 +157,11 @@ python -m pip install -r requirements.txt --no-warn-script-location
## 输入输出设备
#### SPOUT2 OBS插件输出
目前推荐这个方案，使用透明通道效果最好也最方便。使用前请移步 https://github.com/Off-World-Live/obs-spout2-plugin/releases 安装obs插件，并在obs中选择spout输入设备。
目前推荐这个方案，使用透明通道效果最好也最方便。实测OBS 31.0.0支持。
使用前请移步 https://github.com/Off-World-Live/obs-spout2-plugin/releases 安装OBS插件
在OBS中添加源-Spout2捕获-设置，合成模式切换为预乘Alpha，即可自动接收视频输出
#### OBS Virtual Camera
#### OBS Virtual Camera（Outdated，插件已经转收费无法下载）
UnityCapture存在未查明的性能瓶颈
如果你选择自己进行抠像你可以直接输出到obs，如果你需要RGBA支持则需要额外使用一个Shader
@@ -171,7 +175,7 @@ UnityCapture存在未查明的性能瓶颈
你可能需要手动调整一下裁剪把右侧的无用画面切掉
(看不到着色器滤镜的话就是StreamFX没装好或者OBS不是最新版)
#### UnityCapture
#### UnityCapture（Outdated，性能问题）
如果需要使用透明通道输出，参考 https://github.com/schellingb/UnityCapture#installation 安装好UnityCapture
只需要正常走完Install.bat，在OBS里能看到对应的设备（Unity Video Capture）就行
@@ -196,7 +200,7 @@ https://github.com/emilianavt/OpenSeeFace/releases
之后保存并双击`run.bat`运行，按照提示选择摄像头、分辨率、帧率，捕获正常的话可以看到输出画面
最后在启动器中选择OpenSeeFace输入，或添加启动参数`--osf 127.0.0.1:11573`即可接入OpenSeeFace
## Run
## 脱离启动器运行本体
`main.py` 的完全体运行命令请参考 `02B.启动器（调试输出）.bat` 的输出以及 `args.py`。 以下为部分基础参数
launcher2.py
+8 -8
View File
@@ -9,7 +9,7 @@ import sys
ctypes.windll.shcore.SetProcessDpiAwareness(1)
p = None
cache_simplify_map = {
'OFF':0,
'Off':0,
'Low':1,
'Medium':2,
'High':3,
@@ -20,7 +20,7 @@ cache_simplify_map = {
cache_simplify_quality_map = {
'OFF':100,
'Off':100,
'Low':99,
'Medium':95,
'High':90,
@@ -218,24 +218,24 @@ class LauncherPanel(wx.Panel):
choices=['Seperable Half', 'Seperable Full', 'Standard Half', 'Standard Full'],
mapping=['seperable_half', 'seperable_full', 'standard_half', 'standard_full'])
addOption('ram_cache_size', title='RAM Cache Size', desc='分配内存缓存大小\n用于存储最终运算结果',
choices=['OFF', '1GB', '2GB', '4GB', '8GB', '16GB'],
choices=['Off', '1GB', '2GB', '4GB', '8GB', '16GB'],
mapping=['0b', '1gb', '2gb', '4gb', '8gb', '16gb'])
addOption('vram_cache_size', title='VRAM Cache Size', desc='分配显存缓存大小\n用于存储中间结果',
choices=['OFF', '1GB', '2GB', '4GB', '8GB', '16GB'],
choices=['Off', '1GB', '2GB', '4GB', '8GB', '16GB'],
mapping=['0b', '1gb', '2gb', '4gb', '8gb', '16gb'])
addOption('cache_simplify', title='Input Simplify',
desc='设置输入简化级别\n输入越简化，缓存命中率越高，动作越不平滑',
choices=['OFF', 'Low', 'Medium', 'High', 'Higher', 'Highest', 'Gaming'])
choices=['Off', 'Low', 'Medium', 'High', 'Higher', 'Highest', 'Gaming'])
addOption('cache_compression', title='JPEG Compression',
desc='设置内存缓存压缩等级\n压缩等级越高，缓存命中率越高，输出质量越差',
choices=['OFF', 'Low', 'Medium', 'High'])
choices=['Off', 'Low', 'Medium', 'High'])
addOption('sr', title='SuperResolution', desc='选择使用的超分模型',
addOption('sr', title='SuperResolution', desc='选择使用的超分模型\n由于性能原因，real-esrgan会进行裁切',
choices=['Off', 'anime4k_x2', 'waifu2x_x2_half', 'real-esrgan_x4_half', 'waifu2x_x2_full',
'real-esrgan_x4_full'])
addOption('interpolation', title='Frame Interpolation', desc='选择使用的补帧模型',
choices=['off', 'x2_half', 'x3_half', 'x4_half', 'x2_full', 'x3_full', 'x4_full'])
choices=['Off', 'x2_half', 'x3_half', 'x4_half', 'x2_full', 'x3_full', 'x4_full'])
addOption('is_extend_movement', title='Extend Movement', desc='基于面捕的XY输入移动、缩放输出图像提升可动性',
type=1)