itch.io

Ладно, меня раскусили, я просто очень ленивая жопа. Но разве ллмка, которую обучили одному таску так нужна, чтобы прям портабельку делать?

https://huggingface.co/bartowski/NuminaMath-7B-TIR-GGUF

Gguf модельки можно запускать везде, где используется llama.cpp, например koboldcpp

I havent used linux as while as linux, if you want, you can create your own by using  https://github.com/Kron4ek/Conty

Also, someone created portable sd for linux https://github.com/Shedou/Neuro/tree/main/SD_WEBUI_Neuro_Linux, but i havent tested it and dont know anything about it

Ummm, try to load it from c: drive, not d:, maybe it ll works but it worked fine in all locations on my pc

Localgpt is buggy and extremely unstable, so: 

1) create small .txt file with some text  and try to ingest, transformating big document into tokens can be REALLY long and i havent tested it cause ima lazy shit

2) try to 2) .bat file and replace paths to llama model into absolute paths (right click on ggml file and click copy path to file and paste this path without quotemarks) 

This may help i think

Это же тот же musicgen с 30 секундным окном внимания, что и был, но с другим бэкэндом

А я всё жду опенсорсную stableaudio 90s от harmonai (или как там они его называют), они чет уже год вае какой-то свой резерчат

Прикольно, но чем плох кобольдцпп, тем, что не может транскрибировать аудио? Картинки он тоже умеет делать. Ну и интерфейс там конечно в лучших китайских традициях дориматокинаватойотацивикхондааккордмицубишилансердогиракиролтон

localgpt for some reasons dont accepts all documents, on some it stucks and dont works, i dont know how to fix that and yes, this is annoying.

your llama.cpp dont works in 2 bat bcause you are trying to run llama on cuda, when cublas doesnt exist in repack because cpu is enough. To fix that, add set CUDA_VISIBLE_DEVICES=-1 in bat file. Soon ill reupload it with this fix

SD-turbo это lcm, а у лцмов падает умность модельки и иногда консистентность и детализация на сложных для нейронки штуках, например людях и это не всегда хорошо, серьёзно. насчёт теста в сдвебуи. Смотри, попробуй скачать вот это, и закинь вот эту лору в папку с лорами (models/lora). При генерации используй эту лору (её можно с любыми модельками), кфг скейл поставь 1.5, 4 шага, семплер euler и замерь скорость генерации картинки на максимально рабочей конфигурации (сначала через просто start.bat, если не работает то start medvram и потом start lowvram). Я уверен, что скорость не будет сильно разниться, а возможностей у автоматика намного больше, плюс здесь используется стандартный формат моделек, который везде есть, а я нашёл в оливье только стандартный sd1.5

Я потестил и вышло оч странно. На 1050 4 гига амьюз делает 512x512 20 шагов аж за 4 минуты на оннх модельке, на оливке ровно минута, ккогда как sdwebui-directml с --medvram флажком тратит чуть больше 40 секунд, при этом врама тратится плюс минус одинаково. На картофельной встройке интела корi3 оно вообще отказалось запускаться, всмысле рядом с моделькой были крестики эти. Я ведь наверное что-то не так делаю, да? Можете провести тесты со своим амьюзом и сдвебуидиректмлом на скорость и врам, а то я походу где-то чето не так сделал видимо. Кстати, оч странная механика подгружания моделек в гуй, я не могу загрузить кастомную модельку, мне пришлось грузить олив версию сд1.5, как совершенно другую, по моему чёт фигня какая-то (.

Я удалил этот гуй из загрузок если что, т.к. sdwebui-directml с лорой lcm_lora работает плюс-минус так же по скорости, а функционал больше (и модельки используются стандартного формата, а значит выбор больше). Я оч осторожно присматриваюсь ко всем этим гуям, т.к. есть автоматик, который имеет просто громаднейший функционал по сравнению с остальными, из этого вытекает жирнеший плюс sd по сравнению с остальными модельками, но если амьюз действительно так хорош по скорости, то добавлю определённо. В нём прикол как я понял в том, что там используется olive бэкэнд (и ещё можно запускать разные модули нейронки на разных устройствах, вае на цпу в автоматике не хватает, да), он кстати работает и в sdwebui-directml, надо поставить в батнике --use-olive , но не работает(у меня не заработал), а это уже интересно как минимум. Но надо опять же понимать, что с таким бэкэндом можно будет только базово генерить картиночки безо всяких прибабахов в виде контролнета, но всё равно звучит круто. Конвертирование весов между форматами всегда боль. Крч щас домой приеду и позырю амьюзик.

It already has automatic installer(your folder with this webui will be portable), just download repo, run setup-windows.bat and it will be done. Text generation webui is supporting alot of backends, that make it modular and not too suitable to make portable of it. If you want something really "portable", use llama.cpp. Or ima just a lazy to do it, ya(. 

>could you show me the process of packaging the application?

I have a rough "toolkit" of it on huggingface (link) with also rough instructions in it. In short the process consists of:

-cloning repo from github or huggingface demo (yes you can clone and run it locally)

-pip installing all repository requirements (open miniconda3/scripts/start.bat in cmd, this will open miniconda)

-then little rewriting .bat file to run exact .py file that will be launch something you want and adding some things that repo need to be set, such as environment variables or smth. This bat file is stolen from various other .bats (basically from one that was in automatic1111 portable) and sets your path(folder where you can execute .exes just by typing its name, not needed to type its full path), user folder, appdata folder, python folder, huggingface cache folder and other folders that needs to be placed deeply in your computer as paths inside the miniconda3 folder, that makes it portable. If you open each .bat, i created rough description of what each section does.

-testing it and packing in .7z

You can theoretically make a portable of any program, that is have dependeces of some unix hell packages, like this one or this. If your program is written and compiled for windows, in 95% it just dont needs an installer lol, you can just pack your skyrim folder and here it is, portable skyrim.

Похоже, что сейчас по каким-то гладиолусным причинам у меня эта портабелька не работает, у всех такое?

обновил https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/resolve/main/Fastsdcpu-(...

готово https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/blob/main/fastsdcpu%5Bex...

но здесь работает только openvino, тк она быстрее раза в три и на большинстве новых цпу поддерживается. А ещё эта портабелька почему-то не может без интернета, я пытался, но отвязать её не получилось.

АААА бля это не просто сд, а дистилированный в consistency model чтобы мало степов делать, охуеть

правда результаты отличаются от ванильного сд в худшую сторону

latent consistency model

просто дримшейпер

но да, lcm действительно оч быстрый, всего 23 секунды на моём цпу против 5 минут на обычной pytorch имплементации в автоматике

лол, у него в батнике прям написано micromamba activate "%~dp0env\envs\fastsd-env" && python "%~dp0main.py"

т.е. ему надо чёрным по белому микромамба, хотя по логике там любой питон подойдёт

чёт почувствовал себя доном карлеоне :3. Ща попробую собрать. Я кстати, не пробовал делать портабельки микромамбой, вместо этого берётся просто миниконда, она оказывается сама по себе тоже портабельная https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/resolve/main/%D0%BF%D1%8...

lol ok 🤗

No, you did everything correct... Idk, maybe if you just redownload it (Link) everything will work correct.

seems like variables HF_DATASETS_OFFLINE, TRANSFORMERS_OFFLINE and DIFFUSERS_OFFLINE=1 for some strange reason brokes loading of exact this one webui lol, i removed them and replaced with another variable that makes webui works offline, so you can redownload it. let me know if it really works.

You also can make your portable work without downloading these 6gb twice, just open miniconda3/scripts/activate.bat in console and type 

conda env config vars set HF_DATASETS_OFFLINE=0 TRANSFORMERS_OFFLINE=0 DIFFUSERS_OFFLINE=0 GRADIO_ANALYTICS_ENABLED=0

Крч завелось только определение языка (а потом сломалось(), остальные функции так и не получилось запустить, плюс сама папка со всем весит 22 гига

Профили на архиве снова заработали

Короче на следующей неделе думаю запилю

Они как я понял чёто временно сломали и профили почему-то не отображаются у всех юзеров. Ну, это особо не проблема, архив это не основной хост для загрузок

Появился вебгуй https://huggingface.co/spaces/mms-meta/MMS, можно потыкать, но опять же я оч сомневаюсь, что надо делать портабельку

я знал изначально, что STT у ммса был такой себе, а ттс только сейчас потыкал, он вот такой:

это на уровне говорилки, камон

думаю связка bark + voicefixer + whisper будет весить меньше и результат выдаст лучше

а, это я смешарик, не загрузил, я нашёл другой вебгуй, на котором всё работает https://huggingface.co/spaces/wuutiing2/DragGAN_pytorch и оказалось, что кастомные картинки оно кодирует не оч, не думаю, что в таком случае драгган кому-нибудь нужен. Если что, то это стайлган-штука, которая изменяет НЕ фотографии, а значения в латенте стайлгана, т.е. сгенерированные стайлганом картинки

запускается и работает и на куде и на цпу, но на цпу отказывается импортировать свою картинку, я ишшью конечно написал на гитхабе, но хз, сколько времени уйдёт в целом на то, чтобы эта фича норм заработала. на куде надо 6 гб врама минимум, так что если есть столько, то вот временный билд: https://dropmefiles.com/LvErf  Двигание сгенерированных картинок из латента на цпу работает, если что, плюс тут ещё пока нет модельки с imagenet (широкий охват тем картинок, а не только лица/коты) и я её не тестил.

О, кто-то код запилил, спасибо огромное, сегодня вечером попробую запустить и упаковать

Без вебгуя пользоваться такой штукой будет немного боль, есть таковой только для транскрибации(и я не уверен, работает ли он)https://huggingface.co/spaces/GreenRaptor/MMS , а для ттс надо писать батники походу(либо делать всё через юпитер, благо тут блокнотик естьhttps://colab.research.google.com/github/facebookresearch/fairseq/blob/main/exam...) Я эту штуку пытался запустить неделю назад, но она так и не заработала, щас там много чего поисправляли, так что как-нибудь обязательно попробую запустить.

Вот эта https://huggingface.co/NeoDim/starcoder-GGML, но там 15B емнип, а так какой-нибудь wizardlm

Все альпакогуи основываются на консольном экзешнике llama.cpp, а значит все используют формат моделей ggml. Koboldcpp имхо самое удобное сейчас, что есть для ggml, плюс он мало весит. Из современных альпак самая лучшая сейчас это wizardLM (есть даже uncensored версия, которая никогда не откажет в ответе и вроде такая же умная), но она галлюцинирует иногда. И ещё есть vicuna 1.1, которая галлюцинирует поменьше (хотя мб это я сам себе галлюцинирую и у обоих всё збс, но визард плохо умеет в мультиязычность). Викуна с koboldcpp в загрузках есть, wizardlm с тем же гуем будет скоро, а остальной шлак, делающий то же самое, не думаю, что будет полезен. Для видео/картинок то же самое примерно получается, вот например есть vladmandic/automatic, automatic1111 и invokeai, они в целом выполняют одну функцию, но не выкладывать же теперь их все три, так что лучше будет меньше хлама и всё норм работающее (кроме point-e, он не оч)

короче я немного подумал и сделал батник, чтобы запускать всякие вебгуйки на градио однокнопочно, теперь nllb, point-e, freevc, track-anything(ну, почти) и shap-e запускаются просто с тыканья по  батнику.

там немного муторно и без графического интерфейса, хотя он есть (https://huggingface.co/spaces/Geonmo/nllb-translation-demo), если надо, то мне не сложно сделать архивчик с гуем

-надо поставить миниконду, устанавливать всем пользователям или делать основным питоном не обязательно

-потом надо переместить содержимое папки miniconda3 в свою миниконду с заменой

- потом переместить .cache в папку пользователя (там модельки)

-потом зайти в anaconda prompt (miniconda3)

-cd *здесь путь до папки, где лежит inference.ipynb, можно просто перетащить папку в окно консоли*

- python -m notebook

-откроется окошко браузера с юпайтером. надо открыть этот самый inference.ipynb и там запускаем все ячейки и всё должно заработать

Но вообще лучше я на днях переделаю с граф. интерфейсом

you can also download tools from archive.org without limits https://archive.org/details/@takeonme1?tab=uploads