关于stage2的一些具体细节～

[Feynman1999]

作者您好！直接用中文提问了哈～

Q0.想问下stage2是直接从头训练，没有load任何初始化参数吗？

Q1. 想问下关于这里提到的step，例如600，是对应到\sqrt(1 - 0.6**2) * Z + 0.6 * N(0,I)吗？ 也就是线性的映射吗？如果不是，可以指教下具体的scheduler是怎样的吗？

Q2. 会将step送入网络并加到timestep的embedding上,原文如下：

“To ensure the model can perceive the noise strength in the latent space, we introduce a noise strength embedding, which is added to
the time embedding”

这个embedding对结果影响大吗（例如对比完全不用）？直观感觉加法加到time embedding上可能信息会混淆

Q3. 有试过stage2使用lora训练吗？例如假设DEG(latent)对应 pretrain的T2V的模型的某个时间步，然后只sample 0～该时间步做微调？

[jshilong]

作者您好！直接用中文提问了哈～

Q0.想问下stage2是直接从头训练，没有load任何初始化参数吗？

Q1. 想问下关于这里提到的step，例如600，是对应到\sqrt(1 - 0.6**2) * Z + 0.6 * N(0,I)吗？ 也就是线性的映射吗？如果不是，可以指教下具体的scheduler是怎样的吗？

Q2. 会将step送入网络并加到timestep的embedding上,原文如下：

“To ensure the model can perceive the noise strength in the latent space, we introduce a noise strength embedding, which is added to the time embedding”

这个embedding对结果影响大吗（例如对比完全不用）？直观感觉加法加到time embedding上可能信息会混淆

Q3. 有试过stage2使用lora训练吗？例如假设DEG(latent)对应 pretrain的T2V的模型的某个时间步，然后只sample 0～该时间步做微调？

你好，感谢你对我们工作感兴趣，我今天才看见这个issue

Q0.想问下stage2是直接从头训练，没有load任何初始化参数吗？
我初期时候发现load cogvideox pretrain 初期很难完成这个任务转化，但是后来发现load pretrain 采用大batch是可以转换为这样一个video2video的任务的，因此我现在更推荐load cogvideox pretrain，但是效果我没有进行完全的ablation

Q1:. 想问下关于这里提到的step，例如600，是对应到\sqrt(1 - 0.6**2) * Z + 0.6 * N(0,I)吗？ 也就是线性的映射吗？如果不是，可以指教下具体的scheduler是怎样的吗？

这个可以看下我的inference代码，其实用的原来cogvideox 的diffusion schedule，用linear 混合应该也是可行的，只要强度合适把stage1不完美的细节结构打散就行

Q2. 会将step送入网络并加到timestep的embedding上,原文如下：
这个我可视化过，对一些很细的纹理是能出看出不同的，比如paper里猫在蓝色沙发那个图中沙发的褶皱，关于混淆，它是用一个单独的linear encode后加到embedding上的，我个人认为他们都是在定位整个ode轨迹一个状态位置，这个不是一个很强要求的结构，应该不是一个大问题

Q3. 有试过stage2使用lora训练吗？例如假设DEG(latent)对应 pretrain的T2V的模型的某个时间步，然后只sample 0～该时间步做微调？

这个实验我试过的，flow pretrain的model应该是可行的，但是cogvideox 的pretrain 我实验过不行，他的prediction 目标跟flow差别有点大

有任何疑问欢迎继续交流