Была такая программа Amuse, она с помощью комбинации технологий: DirectML и ONNX могла при использовании модели SD Turbo генерить картинки за 9-10 секунд даже на слабой бюджетной встройке АМД. Но потом у кодера случилась депрессия/весеннее обострение/или что-то ещё и он удалил Амьюз с гитхаба. У меня на компе сохранился архив с этой полезной прогой, решил поделиться: https://www.dropbox.com/scl/fi/5w0eycv8c2gtdvgs8f1pm/Amuse_v1.3.0.zip?rlkey=8ptq...
Я потестил и вышло оч странно. На 1050 4 гига амьюз делает 512x512 20 шагов аж за 4 минуты на оннх модельке, на оливке ровно минута, ккогда как sdwebui-directml с --medvram флажком тратит чуть больше 40 секунд, при этом врама тратится плюс минус одинаково. На картофельной встройке интела корi3 оно вообще отказалось запускаться, всмысле рядом с моделькой были крестики эти. Я ведь наверное что-то не так делаю, да? Можете провести тесты со своим амьюзом и сдвебуидиректмлом на скорость и врам, а то я походу где-то чето не так сделал видимо. Кстати, оч странная механика подгружания моделек в гуй, я не могу загрузить кастомную модельку, мне пришлось грузить олив версию сд1.5, как совершенно другую, по моему чёт фигня какая-то (.
У меня встройка АМД Вега 7 на бюджетном ноутбучном проце Райзен 7 4700у, выпущенном 4 года тому назад. Важно использовать модель СД-Турбо, она рисует картинку 512х512 менее чем за 10 секунд. Неуверен, что смогу запустить что-либо в сд-веб-уи, так как браузерные гуи и памяти отъедают ого-го, и работают медленнее, и модели для них (не онниксовая СД-турбо, а стандартные) больше весят. В моём распоряжении всего-то 16 гб ДДР4. 11-я винда после всех оптимизаций минимум два гига отнимает. Поэтому я всё время нахожусь в поиске нейросетей для слабых пк. Запустил сейчас Амьюз, дал запрос "a cat in a park, sunglasses", и рисунок был готов за 8,87 секунды! Пруф (см. правый нижний угол скриншота):
SD-turbo это lcm, а у лцмов падает умность модельки и иногда консистентность и детализация на сложных для нейронки штуках, например людях и это не всегда хорошо, серьёзно. насчёт теста в сдвебуи. Смотри, попробуй скачать вот это, и закинь вот эту лору в папку с лорами (models/lora). При генерации используй эту лору (её можно с любыми модельками), кфг скейл поставь 1.5, 4 шага, семплер euler и замерь скорость генерации картинки на максимально рабочей конфигурации (сначала через просто start.bat, если не работает то start medvram и потом start lowvram). Я уверен, что скорость не будет сильно разниться, а возможностей у автоматика намного больше, плюс здесь используется стандартный формат моделек, который везде есть, а я нашёл в оливье только стандартный sd1.5
Потестил на низкой "видеопамяти". Встройка берёт себе память из ОЗУ. Итог: браузерное веб-уи + ядро питона + делибирэйт + лора + ос = 11,4-12 гб озу, т.е пробовать среднюю загрузку "видеопамяти", наверное, можно и не пытаться, так как она будет близка к 15,4 гб (максимально доступная память для 16 гигов физической памяти на двух плашках). Во время теста возник вопрос: какой вес должен быть у лоры, ну тот, который в промте в угловых скобках цифрой после двоеточия указывается? Картинка рисуется за тридцать секунд, но цвета фона едкие, кислотные, вырвиглазные, сам фон замылен, морда кота периодически бывает искорёжена.