Readme updates

This commit is contained in:
zpeng11 committed 2025-01-10 22:16:33 -05:00
1 parent 5d55c22b33
commit 0370339b96
10 files changed
+69 -60

No files matched your search

-1
View File
@@ -1,5 +1,4 @@
@echo off
echo 1. Pretrained data
WHERE nvidia-smi
IF %ERRORLEVEL% NEQ 0 (
@@ -6,6 +6,6 @@ call conda env list
call conda activate ezvtb_rt_venv
call conda env list
call python ezvtb_rt_interface.py
IF not EXIST %~dp0launcher.json call python ezvtb_rt_interface.py
pause
pythonw launcher2.py
@@ -1,4 +1,4 @@
@echo off
@echo on
cd /D "%~dp0"
IF EXIST %~dp0envs\miniconda3\Scripts SET PATH=%~dp0envs\miniconda3\Scripts;%PATH%
call activate
@@ -6,6 +6,8 @@ call conda env list
call conda activate ezvtb_rt_venv
call conda env list
python launcher.py
IF not EXIST %~dp0launcher.json call python ezvtb_rt_interface.py
python launcher2.py
pause
-9
View File
@@ -1,9 +0,0 @@
@echo off
cd /D "%~dp0"
IF EXIST %~dp0envs\miniconda3\Scripts SET PATH=%~dp0envs\miniconda3\Scripts;%PATH%
call activate
call conda env list
call conda activate ezvtb_rt_venv
call conda env list
pythonw launcher.py
+63 -46
View File
@@ -33,12 +33,10 @@ Updates:
- 科学上网方案,看懂英文网站和报错的能力
## 懒人包版本
TODO
## Installation(Release包版本)
Release包版本带有本项目源码,ezvtuber-rt项目源码,和静态化模型。并且可以自动构建python环境。
构建运行环境依赖anaconda,若本机未安装anaconda将自动下载miniconda并在`envs`文件夹内展开。
请使用合适方式下载懒人包并自行解压:
* [夸克网盘]()
* [磁力链接]()
* [谷歌网盘]()
### 下载并安装CUDAToolkit
前往 [英伟达官网](https://developer.nvidia.com/cuda-downloads) 下载并安装`CUDATookit 12`及以上版本。
若安装成功并重启可开启命令行工具验证出现类似如下结果:
@@ -59,51 +57,54 @@ Thu Jan 9 22:02:29 2025
........
```
或可以双击 `00.检查安装CudaToolkits.bat` 来验证
### 下载ZIP并解压
点击 [`Download ZIP`](../../releases/download/v0.1.0/EasyVtuber.zip) 下载并解压,源码和模型约1.8G。若在文件夹内展开miniconda和所有运行环境总计需要约15GB
### 构建运行环境
双击运行适合你的地域的`01A.构建运行环境(默认源).bat`或者`01B.构建运行环境(国内源).bat`
这个脚本会使用anaconda安装所有需要的依赖
两个脚本可以互相替代,并且支持从中断的位置继续
如果出现网络相关报错,直接关掉控制台,调整网络,重新运行即可
![step01success](assets/01Success.png)
完全安装完成后再次运行脚本的输出如图所示。一般来说安装全程没有红字就是成功结束。
如出现问题,请对照 [此log](assets/complete_building_log.txt) 为成功案例排查原因。
### 检查模型并构建TensorRT
在安装并确认上一步没问题后可以点击`02.检查模型并构建TensorRT加速 .bat`
对英伟达用户这将会需要较长时间对模型进行TensorRT编译(>30min。
非英伟达显卡成功如图所示:
![step01Csuccess](assets/non_nvidia_success.PNG)
英伟达显卡成功如图所示:
![step01Csuccess](assets/nvidia_success.PNG)
否则都发生了错误,有三种可能
1. 上一步环境安装有错误(一般运行时缺少库99%的原因都是这个,pip下载并不稳定,各种网络问题都可能导致安装失败),检查源,手动删除`envs`文件夹再试
2. nvcc没找到,双击 `00.检查安装CudaToolkits.bat` 来验证
3. 英伟达显卡但计算架构低于7.5(10系以及之前)不支持TensorRT
### 使用启动器测试结果
运行`03B启动器(调试输出).bat`
直接点击界面底部的`Save & Launch`
如果看到了弹出的opencv输出窗体,则安装成功完成
![img.png](assets/02success.png)
### 配置输入输出设备
在成功进行Debug输出之后,请移步之后的输入输出设备一节进行进一步配置以输出到OBS。
### 安装Spout obs插件(可选)
安装懒人包附带的 `OBS_Spout2_Plugin_Install_v1.8.exe`, 安装包来自 https://github.com/Off-World-Live/obs-spout2-plugin 项目,可以提供透明通道给OBS。
### 启动项目
双击`02A.启动器.bat` 或 `02B.启动器(调试输出).bat` 启动器,首次启动将会花约5分钟安装pip资源, 若是英伟达用户将会开始TensorRT构建,额外需要>20min时间(取决于显卡),结束后可以大幅提升运行速度,构建的开头和结束输出如下。
```
Start testing if TensorRT works on this machine
0%| | 0/38 [00:00<?, ?it/s][01/09/2025-22:36:52] [TRT] [I] [MemUsageChange] Init CUDA: CPU +89, GPU +0, now: CPU 6758, GPU 1009 (MiB)
[01/09/2025-22:36:57] [TRT] [I] [MemUsageChange] Init builder kernel library: CPU +1358, GPU +194, now: CPU 8423, GPU 1203 (MiB)
[01/09/2025-22:36:57] [TRT] [I] Loading ONNX file from path ./data/models\rife_512\x2\fp32.onnx...
[01/09/2025-22:36:57] [TRT] [I] Beginning ONNX file parsing
[01/09/2025-22:36:57] [TRT] [I] Completed parsing of ONNX file
[01/09/2025-22:36:57] [TRT] [I] Input number: 2
[01/09/2025-22:36:57] [TRT] [I] Output number: 2
[01/09/2025-22:36:57] [TRT] [I] Building an engine from file ./data/models\rife_512\x2\fp32.onnx; this may take a while...
....
....
....
[01/10/2025-21:16:53] [TRT] [I] [BlockAssignment] Started assigning block shifts. This will take 66 steps to complete.
[01/10/2025-21:16:53] [TRT] [I] [BlockAssignment] Algorithm ShiftNTopDown took 3.4012ms to assign 7 blocks to 66 nodes requiring 218136064 bytes.
[01/10/2025-21:16:53] [TRT] [I] Total Activation Memory: 218135552 bytes
[01/10/2025-21:16:53] [TRT] [I] Total Weights Memory: 2724242 bytes
[01/10/2025-21:16:53] [TRT] [I] Compiler backend is used during engine execution.
[01/10/2025-21:16:53] [TRT] [I] Engine generation completed in 160.706 seconds.
[01/10/2025-21:16:53] [TRT] [I] [MemUsageStats] Peak memory usage of TRT CPU/GPU memory allocators: CPU 89 MiB, GPU 317 MiB
[01/10/2025-21:16:53] [TRT] [I] Completed creating Engine
[01/10/2025-21:16:53] [TRT] [I] Saving engine to file ./data/models\waifu2x_upconv\fp16\upconv_7\art\scale2x.trt
[01/10/2025-21:16:53] [TRT] [I] Completed saving engine
100%|██████████████████████████████████████████████████████████████████████████████████| 38/38 [46:54<00:00, 74.07s/it]
```
结束所有准备工作将进入启动器,如下图启动:
![](assets/02success.png)
之后请移步输入输出自行调节。
## Installation(科学上网且使用Git)
可使用此安装方法对本项目二次开发
### 安装CudaToolkits
同懒人包版本
### 安装Anaconda
这个项目使用Anaconda进行包管理
首先前往https://www.anaconda.com/ 安装Anaconda 并保证加入环境变量命令行可以找到,如:
### 安装Anaconda(可选)
前往https://www.anaconda.com/ 安装Anaconda 并保证加入环境变量命令行可以找到,如:
```
C:\Users\Eleven>conda --version
conda 24.11.3
```
以上方式可以保证conda环境被你选定的Ananconda统一管理。若没有此需求可以忽略直接运行下一步,脚本会自动安装miniconda。
### 克隆项目和子项目
```
@@ -113,26 +114,42 @@ git submodule init
git submodule update --recursive --remote
```
### 使用脚本安装环境并下载模型
### 安装环境
双击运行`01A.构建运行环境(默认源).bat`或者`01B.构建运行环境(国内源).bat`
这两个脚本会构建名为`ezvtb_rt_venv`的conda环境
或可以用如下命令手动创建:
```
conda create -y -n ezvtb_rt_venv python=3.10
conda activate ezvtb_rt_venv
conda install -y conda-forge::pycuda
python -m pip install --upgrade pip wheel
python -m pip install nvidia-cudnn-cu12
pip install tensorrt_cu12_libs==10.6.0 tensorrt_cu12_bindings==10.6.0 tensorrt==10.6.0 --extra-index-url https://pypi.nvidia.com
python -m pip install -r requirements.txt --no-warn-script-location
```
### 下载模型
前往模型release 地址 https://github.com/zpeng11/ezvtuber-rt/releases/tag/0.0.1
前往模型 release 地址 https://github.com/zpeng11/ezvtuber-rt/releases/tag/0.0.1
下载 https://github.com/zpeng11/ezvtuber-rt/releases/download/0.0.1/20241220.zip 并解压到`data/models`文件夹下
### 检查模型并构建TensorRT
点击`02.检查模型并构建TensorRT加速 .bat`检查模型并构建TensorRT
### Pycharm 配置
安装完成后,在Pycharm内打开本项目,右下角解释器菜单点开,`Add Interpreter...`->`Conda Environment`->`Existing environment`
选好自己电脑上的`conda.exe`和刚才创建好的`ezvtb_rt_venv`环境内的`python.exe`
点击OK,依赖全亮即可
### 检查环境模型,并构建TensorRT
在Conda环境中执行以下命令
`python ezvtb_rt_interface.py`
### 运行启动器
在Conda环境中执行以下命令
`python launcher.py`
### 错误排查
当运行TensorRT构建或启动器出现错误时,请参考如下可能性:
1. 环境安装有错误(一般运行时缺少库99%的原因都是这个,pip下载并不稳定,各种网络问题都可能导致安装失败),检查源,手动删除`envs`文件夹再试, 对照 [此log](assets/complete_building_log.txt) 为成功案例排查原因。 实在不懂排查请使用懒人包。
2. nvcc编译器没找到,即CudaToolkit安装有误,双击 `00.检查安装CudaToolkits.bat` 来验证
3. 英伟达显卡但计算架构低于7.5(10系以及之前)不支持TensorRT
## 输入输出设备
#### SPOUT2 OBS插件输出
@@ -179,7 +196,7 @@ https://github.com/emilianavt/OpenSeeFace/releases
## Run
完全体运行命令`python main.py --output_webcam unitycapture --ifm 192.168.31.182:49983 --character test1L2 --extend_movement 1 --output_size 512x512`
`main.py` 的完全体运行命令请参考 `02B.启动器(调试输出).bat` 的输出以及 `args.py`。 以下为部分基础参数
参数名 | 值类型 | 说明
:---: | :---: | :---:
Binary file not shown.

Before

Width:  |  Height:  |  Size: 8.9 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 175 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 79 KiB

After

Width:  |  Height:  |  Size: 181 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 12 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 101 KiB