LoRA学習の学習率について

[ajitsuke0823]

こんにちは。

EmoSensを使用してLoRA学習を行いたいのですが、
学習率は1と0.1のどちらが正しいでしょうか。

[GitHubのREADMEの一番上では0.1を推奨しており、emosens.py内のコメントやEmoSens解説記事https://civitai.com/articles/24407/emosens-231では1を使用すると書いてあります。

また、EmoPulseという新しいスケジューラを公開されていますが、
こちらはEmoSensと組み合わせて使うものでしょうか。
それともconstantのままでいいでしょうか。

ちなみにAnimaです！（DiTのみ学習）

AI初心者ですいませんが、よろしくお願いいたします。

[muooon]

こんにちは。ご質問ありがとうございます

Anima ですね、Anima は DiT(transformer) なので、自動LR：0.1 (LoRAの場合) からお試しください
スケジューラは constant でお使いください
(emoPulse-scheduler は、AdamW等、emo系以外の普通の optim 向けのスケジューラです)

古い記事(v3.7系) と 新しいお知らせ(v3.9系) で違いなどあり、まぎらわしくなっていてごめんなさい
CAMEなどお気に入りの optim がある場合は、emoPulse-scheduler を試してみても面白いかもです
ぜひお試しください、気に入って頂けたらうれしいです、よろしくお願いします

[ajitsuke0823]

ご回答ありがとうございます！
なるほど、バージョンアップで変わったんですね。
LR 0.1で学習してみようと思います！