>> TALKS, BUGS, SUGGESTIONS #3

[chervonij]

No description provided.

[iperov]

заходи в телеграм

[chervonij]

та я есть же в телеге )
такой же ник и такая же аватара

[salgado]

Hi, where can I find the workspace.zip file requested in your colab file (#Manage workspace)?

[chervonij]

@salgado
Hey. "workspace.zip" is the name of the archive file with your workspace.

It means that if you import from google drive it will be the name of the archive that will be imported from the drive. If you export, then an archive with that filename will be created on your drive.

In addition, workspace.zip is the default filename. but you can change it at any convenient for you. this is useful if you store several workspaces on a drive.

[3mlZ68s]

del

[jcisz]

Hi, while running the program, can i pause it like the desktop version and then resume the process? Thanks

[3mlZ68s]

->фейк голоса
есть подозрения, что можно обойтись обычным автоэнкодером. (паперы по теме подтверждают). главное маску правильно подобрать. Всмысле, разбивать речь на элементарные фонемы.

Хотя, наверное, нечестно было отвечать на такое старое сообщение, всмысле, что теперь это и так очевидно.

П.С. Справедливости ради, я ещё летом пытался прям с помощью DFL-моделей звук фейчить, но мне тогда скилла тем более не хватило...

[3mlZ68s]

Ещё с прошлого треда хочу похвастаться(лучше поздно). Мне Colab ,короче, выдал новую машину с HBМ памятью. Для ТПУ. Такой:"Бро, вижу твой датасет не помещается в память, давай мы тебе новый ПК выдадим". Я такой:"Ок". Вначале дали 25 гигабайт оперативки, сейчас смотрю - 35 уже. Больше, чем жесткий диск(свободное место). Если так пойдёт дальше, то я смогу какой-нибудь ImageNet сразу в память грузить и потом на ТПУ-ху перекидывать.

Я к тому, что да, соглашусь, всё-таки забавно со стороны выглядит. То у некоторых T4 отбирают , то такие "подгоны" делают.

[chervonij]

@jcisz
Hey. No, but you can stop training and manually export your workspace to google drive.
So, you can continue training later.

[chervonij]

@3mlZ68s
Если честно, то уже не помню о чем была речь по фейку голоса )
Могу ошибаться, но вроде сейчас нет достойных решений в speech-to-speech

Та какой там Т4. Мне последнюю неделю Р100 постоянно дают
Пусть оставят Т4 себе ))

[3mlZ68s]

Ну я P100 тоже имел ввиду. Хорошо, если её не забирают.

Могу ошибаться, но вроде сейчас нет достойных решений в speech-to-speech

Upd:

я ещё летом пытался прям с помощью DFL-моделей звук фейчить, но мне тогда скилла тем более не хватило...

[3mlZ68s]

:(

[chervonij]

@3mlZ68s
по фейку звука там RNN походу нужна
какой-нибудь LSTM Autoencoder

[chervonij]

основная проблема в том, что бы правильно разбить сэмплы
чем мельче, тем лучше
разбивать на простейшие фонемы может быть недостаточно

[3mlZ68s]

разбивать на простейшие фонемы может быть недостаточно

да, у меня похожие мысли были. Ну тут лучше договориться что считать фонемой.

Насчет LSTM...

Мне надо немного подумать над всем этим :-)

[MrFunny6969]

Please fix this bug

[MrFunny6969]

Mounted at /content/drive
/content
[workspace.zip]
End-of-central-directory signature not found. Either this file is not
a zipfile, or it constitutes one disk of a multi-part archive. In the
latter case the central directory and zipfile comment will be found on
the last disk(s) of this archive.
unzip: cannot find zipfile directory in one of workspace.zip or
workspace.zip.zip, and cannot find workspace.zip.ZIP, period.
Done!

[MrFunny6969]

I had the workspace.zip tho in my Drive

[chervonij]

@MrFunny6969
It's not a bug.
Your archive was corrupted.

[MrFunny6969]

Seems like Colab or Drive divided my zip file to a multi-part one, Thanks for the info tho! 😊😊

[3mlZ68s]

Посмотрел я фейк-аудио проекты и репы (с чего, наверное, и надо было начать), почитал описание. Смотрел всё до кучи - и text-to-speech, и speech-to-speech. И если проект может и то и другое, то подходы обычно не сильно отличаются.

Tacotron и WaveNet - оба проекта активно используют LSTM. И сейчас WaveNet объективно
показывает лучшие результаты. Особенно после последних обновлений.
DeepVoice - почти не смотрел. Из того, что смотрел - активно используется RNN.
DC-TTS - а вот dctts использует энкодеры и декодеры. И потом на выходе прикручен ХайРез. Очень приличный результат, несмотря на относительную простоту сети, но только t2s.

[iperov]

@3mlZ68s фейчить можно любой язык? ты в телеграм канале есть?

[3mlZ68s]

@3mlZ68s фейчить можно любой язык? ты в телеграм канале есть?

ну на русском по-крайней мере можно. Я в телеграмме read-only.

[jcisz]

Hi, im getting this error

Time to backup: 11 hours
Traceback (most recent call last):
  File "DeepFaceLab/main.py", line 19, in <module>
    multiprocessing.set_start_method("spawn")
  File "/usr/lib/python3.6/multiprocessing/context.py", line 242, in set_start_method
    raise RuntimeError('context has already been set')
RuntimeError: context has already been set

Its reported in the repo but idk if it's a notebook problem
iperov/issues/528

[MrFunny6969]

Same bro

[chervonij]

It seems that problem is in DFL
I wrote to iperov about this

[chervonij]

@MrFunny6969 @jcisz
Fixed.

[3mlZ68s]

@iperov
ну приличное качество - это тоже относительно. И две минуты аудио будет недостаточно. Короче проблем и минусов тоже хватает.

[rlkiran]

/content
Duplicate filenames are not allowed, skipping: IMG_2514-gigapixel.PNG
Performing 1st pass...
Running on Tesla P4.
2019-12-24 10:13:42.309390: E tensorflow/stream_executor/cuda/cuda_driver.cc:300] failed call to cuInit: CUDA_ERROR_NOT_INITIALIZED: initialization error
Exception: Traceback (most recent call last):
File "/content/DeepFaceLab/joblib/SubprocessorBase.py", line 59, in _subprocess_run
self.on_initialize(client_dict)
File "/content/DeepFaceLab/mainscripts/Extractor.py", line 77, in on_initialize
nnlib.import_all (device_config)
File "/content/DeepFaceLab/nnlib/nnlib.py", line 1410, in import_all
nnlib.import_keras(device_config)
File "/content/DeepFaceLab/nnlib/nnlib.py", line 208, in import_keras
nnlib._import_tf(device_config)
File "/content/DeepFaceLab/nnlib/nnlib.py", line 196, in _import_tf
nnlib.tf_sess = tf.Session(config=config)
File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py", line 1551, in init
super(Session, self).init(target, graph, config=config)
File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py", line 676, in init
self._session = tf_session.TF_NewSessionRef(self._graph._c_graph, opts)
tensorflow.python.framework.errors_impl.InvalidArgumentError: 'visible_device_list' listed an invalid GPU id '0' but visible device count is -1

[Cioscos]

@Cioscos , нарезал лица на самом ПК. Добавил в архив папку workspace, которая содержит 3 папки (с содержимым):

data_dst\aligned
data_src\aligned
model

Загрузил на Гугл Драйв.

В Colab-е установил и обновил DFL, синхронизировал с Гугл Драйвом.
После этого я запустил Training (пропустив Extract, sorting and faceset tools).

Скажите, правильно ли я делаю?
И где можно глянуть предварительные результаты тренировки (ну и финальные результаты тоже)?

Когда вы извлекаете лица из кадров локально, после необходимо создать для них маски XSeg.
Чтобы сделать это, или вы используете классический метод с редактором XSeg, который заключается в следующем:
1)Для создания полигонов с помощью редактора XSeg (не нужно создавать полигоны для каждого изображения)
2)После загрузки файла на Google диск и обучения модели XSeg на Colab, а затем применения масок XSeg из ячейки "Apply or remove XSeg mask to the faces" (вам нужно сделать это как для источника, так и для места назначения).
3)нормальное обучение

Или вы можете не рисовать модель XSeg, не создавать полигоны, а применять маски XSeg, используя общую модель XSeg. Эту операцию можно выполнить локально или на Colab, включив вызываемый чек: GenericXSeg

[javzier987]

@Cioscos , решил пойти по первому пути. Т.е. воспользоваться редактором XSeg.

1)Для создания полигонов с помощью редактора XSeg (не нужно создавать полигоны для каждого изображения)

На ПК запустил бат-файлы "5.XSeg) data_dst mask - edit" и "5.XSeg) data_src mask - edit". Обвёл в XSeg лицо-источника и лицо-места назначения. Обводил лицо не на всех фотках подряд, а на тех, где менялось положение головы.

После того, как я обвёл лица, полигоны считаются готовыми? Или нужно запустить еще какие-то бат-файлы?

2)После загрузки файла на Google диск ...

Скажите, что в итоге нужно загружать на Google диск? Должен быть архив "workspace.zip", а в нём - скопированные папки:

data_dst\aligned
data_src\aligned
model

Всё?
Или еще что-то надо добавить в этот архив?

... и обучения модели XSeg на Colab, а затем применения масок XSeg из ячейки "Apply or remove XSeg mask to the faces " ...

Нашёл ячейку "Apply or remove XSeg mask to the faces" - насчет применения масок понял. Не понял, что делать для "обучения модели XSeg на Colab". Можете объяснить подробнее - что здесь запустить в Colab-е?

[Cioscos]

@Cioscos , решил пойти по первому пути. Т.е. воспользоваться редактором XSeg.

1)Для создания полигонов с помощью редактора XSeg (не нужно создавать полигоны для каждого изображения)

На ПК запустил бат-файлы "5.XSeg) data_dst mask - edit" и "5.XSeg) data_src mask - edit". Обвёл в XSeg лицо-источника и лицо-места назначения. Обводил лицо не на всех фотках подряд, а на тех, где менялось положение головы.

После того, как я обвёл лица, полигоны считаются готовыми? Или нужно запустить еще какие-то бат-файлы?

2)После загрузки файла на Google диск ...

Скажите, что в итоге нужно загружать на Google диск? Должен быть архив "workspace.zip", а в нём - скопированные папки:

data_dst\aligned
data_src\aligned
model

Всё?
Или еще что-то надо добавить в этот архив?

... и обучения модели XSeg на Colab, а затем применения масок XSeg из ячейки "Apply or remove XSeg mask to the faces " ...

Нашёл ячейку "Apply or remove XSeg mask to the faces" - насчет применения масок понял. Не понял, что делать для "обучения модели XSeg на Colab". Можете объяснить подробнее - что здесь запустить в Colab-е?

Отвечая на первые 2 вопроса - да.
На последний - лучше искать в ячейках кода.
Для первого раза я предлагаю вам использовать "general xseg".

[javzier987]

@Cioscos , проделал все операции до "Train model" (включительно).

Далее, в Colab-е "Merge frames" не запускается - пишет "/content python3: can't open file 'DeepFaceLab/main.py': [Errno 2] No such file or directory"

"Get result video" не запускается - пишет "python3: can't open file 'DeepFaceLab/main.py': [Errno 2] No such file or directory
cp: cannot stat '/content/workspace/result.mp4': No such file or directory" (https://yadi.sk/i/lqB3PGJP3zWetw)

У меня на руках есть архив workspace (с 300К итераций лиц): https://disk.yandex.ru/d/liX_3tSjnUbyOg

Что нужно сделать дальше?

[Cioscos]

@Cioscos , проделал все операции до "Train model" (включительно).

Далее, в Colab-е "Merge frames" не запускается - пишет "/content python3: can't open file 'DeepFaceLab/main.py': [Errno 2] No such file or directory"
Q "python3: can't open file 'DeepFaceLab/main.py': [Errno 2] No such file or directory
cp: cannot stat '/content/workspace/result.mp4': No such file or directory" (https://yadi.sk/i/lqB3PGJP3zWetw)

У меня на руках есть архив workspace: https://disk.yandex.ru/d/liX_3tSjnUbyOg

Что нужно сделать дальше?

По сути, я не заставил вас поместить ни видео "data_dst.mp4", ни его кадры в папку workspace\data_dst. Таким образом вы сэкономите место на диске colab.
Выполните объединение и окончательное создание видео на месте.

[javzier987]

Выполните объединение и окончательное создание видео на месте.

@Cioscos , т.е. что мне делать? В Colabe что-то запустить? Или выгрузить на ПК в папку workspace и выполнить какой-то bat-файл? Пожалуйста поясните.

[Cioscos]

Выполните объединение и окончательное создание видео на месте.

@Cioscos , т.е. что мне нажать?

Скачайте папку workspace с google drive на диск, поместите файл в папку workspace и выполните команду "merge_SAEHD.bat".

[javzier987]

@Cioscos , запустил "merge_SAEHD.bat".

В предосмотре вижу, что щетина "Тони Старка в теле Илона Маска" имеет зеленоватый оттенок. Подскажите пожалуйста, как это исправить? (https://yadi.sk/i/qAySa6LwUgDKHA)
Другая проблема - края маски заметны на видео. Как это исправить? (https://yadi.sk/i/nQKo7ScNNRJV5A)

И как вообще запустить рендеринг видео? Пока что у меня просто листаются кадры при нажатии клавиш "<" и ">".

[Cioscos]

@Cioscos , запустил "merge_SAEHD.bat".

В предосмотре вижу, что щетина "Тони Старка в теле Илона Маска" имеет зеленоватый оттенок. Подскажите пожалуйста, как это исправить? (https://yadi.sk/i/qAySa6LwUgDKHA)
Другая проблема - края маски заметны на видео. Как это исправить? (https://yadi.sk/i/nQKo7ScNNRJV5A)

И как вообще запустить рендеринг видео? Пока что у меня просто листаются кадры при нажатии клавиш "<" и ">".

Используйте "передачу цвета" для устранения проблем с цветами.
Нажмите e, чтобы размыть границы, и w, чтобы ухудшить их.
В любом случае, я предлагаю вам прочитать все руководство на форуме "Mr.Deepfaker" и присоединиться к серверу discord, чтобы задать эти вопросы. Github - не лучшее место.

[javzier987]

@Cioscos , можете прислать ссылку, по которой можно перейти и задать вопрос?
Я совсем "зеленый" - не понимаю, о каком discord речь.

[Cioscos]

@Cioscos , можете прислать ссылку, по которой можно перейти и задать вопрос?
Я совсем "зеленый" - не понимаю, о каком discord речь.

https://discord.com/

The server is: https://discord.gg/S2h7kPySQp

[javzier987]

@Cioscos , спасибо.

[qkum]

Hello everyone!
Trying to create a deepfake with Google Colab: https://colab.research.google.com/github/chervonij/DFL-Colab/blob/master/DFL_Colab.ipynb#scrollTo=qwJEbz5Nhot0
I did everything according to this instruction: https://blog.upagge.ru/posts/guide/2021/creating-a-deepfake/
Stuck with "Extract, sorting and faceset tools"
When I try to run "Extract frames" it produces: / content python3: can't open file 'DeepFaceLab / main.py': [Errno 2] No such file or directory .
At this point, I have already uploaded the workspace.zip archive to Google Drive. Uploaded directly to the main page of the repository. Inside the archive there is a workspace folder. There are 2 videos in the workspace folder: data_dst.mp4 and data_src.mp4.
I reloaded the archive, in Colab I did the procedure again - it does not help.
Please tell me what needs to be fixed?

Before performing all actions, you must complete the "Install or update DeepFaceLab from Github" cell. To google drive need to load workspace folder with: data_dst \ aligned data_src \ aligned model I do not advise you to extract frames in Colab because frames are very heavy if you extract them to .png So I suggest you extract faces locally and in eventually create polygons with the "XSeg editor" in local mode and in Colab train the XSeg model or if you don't want to create polygons in Colab you can also just apply the XSeg mask using the general XSeg model.

Why would I stress/wear down my personal CPU with frame extraction if I can have Google Colab do it?

1. Colab got better & faster hardware & I save the electricity bill.
2. No noise from my PC's fans (extremely annoying).
3. I can't use my pc for much while its Extracting frames (uses 100% of CPU if I remember correctly, its 50% or 100%)
4. I use the paid Google Colab version. (Free gives the same benefits)
5. You got no, or lower security risks by using Colab/Gdrive instead of your own pc. (getting hacked is no joke)

[qkum]

Before seeing this thread I created this post:

#49 (comment)

Please check it out and share your experience & opinion.

[qkum]

I want to say 1000 times thanks to the people behind this project btw 🎖️

Not just is it powerful software. That somehow is open to the public and not just governments creating "fake-news" for their own benefit (they seriously use this kind of software - if you want to believe it or not). + The movie industry, marketing industry etc.

But the people behind this project even made user-friendly guides/tutorials and a great website/forum.

This is Open Source at its best.

The 99%.

Stay awesome fellow nerds 💯

[chervonij]

@qkum

Of course, you can do everything in Colab. If you have enough HDD memory.
Extracting faces locally on the PC is just one of the workflow options.

I don't really agree about the free and paid Colab.
Paid Colab gives better hardware much more often.
And other advantages such as increased session time up to 24h, more RAM and HDD.

About the security risks, then you are completely wrong. It's quite the opposite.
The chance of being hacked on your own PC is much lower than in the cloud.
Simply because uploading any data to any server is already a security risk to that data.
However, this is a completely different issue.
I don't want to make any theories right now about security/insecurity of Google services )

[skippingirl]

Hi @chervonij,

I was using your colab last summer just fine, and have come back to it today to find that when I reach the 'Extract Frames' stage I'm getting the following:

/content
/!\ input_file not found.
Done.

Everything is the same as when it worked properly for me before (except for the connection to Google Drive not involving pasting that code in any more) so I can't figure out what it is that I'm doing wrong. My 'data_src.mp4' and 'data_dst.mp4' are in a zip archive in my root drive folder that I can see in the file browser on the left.

I tried removing the file extensions but that made no difference :(

Any advice from your good self (or anyone else who's had this problem!) would be greatly appreciated. Many thanks x

[Cioscos]

Hi @chervonij,

I was using your colab last summer just fine, and have come back to it today to find that when I reach the 'Extract Frames' stage I'm getting the following:

/content
/!\ input_file not found.
Done.

Everything is the same as when it worked properly for me before (except for the connection to Google Drive not involving pasting that code in any more) so I can't figure out what it is that I'm doing wrong. My 'data_src.mp4' and 'data_dst.mp4' are in a zip archive in my root drive folder that I can see in the file browser on the left.

I tried removing the file extensions but that made no difference :(

Any advice from your good self (or anyone else who's had this problem!) would be greatly appreciated. Many thanks x

As for local version, also in colab data_dst and data_src videos must be inside workspace folder.

[skippingirl]

Hi @chervonij,
I was using your colab last summer just fine, and have come back to it today to find that when I reach the 'Extract Frames' stage I'm getting the following:
/content
/!\ input_file not found.
Done.
Everything is the same as when it worked properly for me before (except for the connection to Google Drive not involving pasting that code in any more) so I can't figure out what it is that I'm doing wrong. My 'data_src.mp4' and 'data_dst.mp4' are in a zip archive in my root drive folder that I can see in the file browser on the left.

I tried removing the file extensions but that made no difference :(
Any advice from your good self (or anyone else who's had this problem!) would be greatly appreciated. Many thanks x

As for local version, also in colab data_dst and data_src videos must be inside workspace folder.

You diamond! I just dragged them back into the workspace folder and it's working. I've been banging my head against a wall all day and you've solved it for me within minutes- thank you SO much! x

[Orchoidizer]

Hey @chervonij

Just wondering when the udt architecture will be implemented into the Colab notebook.

Cheers

[Cioscos]

Hey @chervonij

Just wondering when the udt architecture will be implemented into the notebook.

Cheers

Things are not related. udt variant of the SAEHD model is just a DFL code thing. Notebook is another thing. How now you can choose LIAE-UD or U or D or DF-UD, DF-U etc.. you can choose LIAE-UDT and DF-UDT.

[chervonij]

@Orchoidizer
Already. As written above.

[Orchoidizer]

@Orchoidizer Already. As written above.

So all i need do is manually type in LIAE-UDT for the architecture even though it is not there to be 'selected'?

[chervonij]

@Orchoidizer
The same as in DFL build on local PC

[Orchoidizer]

@Orchoidizer The same as in DFL build on local PC

I have never created a model from scratch on my local PC.
So when creating a DFL 2 model from scratch in Colab and I get to the 'architecture' slot the 'udt' option is not there.
So if I just type it in manually will it create a udt model ie 'LIAE-UDT'?

[Cioscos]

@Orchoidizer The same as in DFL build on local PC

I have never created a model from scratch on my local PC.
So when creating a DFL 2 model from scratch in Colab and I get to the 'architecture' slot the 'udt' option is not there.
So if I just type it in manually will it create a udt model ie 'LIAE-UDT'?

Yes, write literally what u want: liae-udt or liae-ud liae-u liae-d liae df df-u df-d df-ud df-udt

[Orchoidizer]

@Cioscos @chervonij

Thanks. That's all I needed to know. Your help was much appreciated.

Because it isn't mentioned in the 'online help' thing (where you press the '?' for additional guidance) the 't' is omitted so I wasn't sure if it was supported yet in Colab.

Again, thanks for the help guys

[Cioscos]

@Cioscos @chervonij

Thanks. That's all I needed to know. Your help was much appreciated.

Because it isn't mentioned in the 'online help' thing (where you press the '?' for additional guidance) the 't' is omitted so I wasn't sure if it was supported yet in Colab.

Again, thanks for the help guys

Remember, what you use is indipendently DeepFaceLab both on colab or local.
When u press ? There is not examples cause t variant is pretty experimental.

[Orchoidizer]

I understand this. Thanks.

So can I take it as read that the DFL on Colab is always the most up to date build?

[chervonij]

@Orchoidizer

Yes, because Colab gets DFL code directly from the DFL github repository.