Спасибо за классную игру. Выложите, пожалуйста, исполняемый файл для винды.
JohnClaw
Recent community posts
Один кодер посоветовал мне использовать chatllm.cpp (альтернатива llama.cpp) для локальной работы с NuminaMath, вот инструкция: chatllm.cpp/docs/tool_calling.md at master · foldl/chatllm.cpp (github.com)
Я не тороплю, лето на дворе: отдыхайте на здоровье, Вы как никто другой заслужили отдых, потому что сделали много полезных сборок. Просто надеюсь, что, скажем, в сентябре Вы всё-таки соберёте эту портабельку.)) Вообще говоря, я ещё в дискорде Пинокио подал заявку на локальное портирование этого хф спейса, но тамошний главный сборщик пока не откликнулся...
Это необычная ггуф-моделька, для правильной работы она требует особый алгоритм запуска, доступный только в питоновском скрипте. Вот пруф моих слов, на реддите чел пожаловался на неправильную работу этой модели, и опытный айтишник ответил ему:
You should read the kaggle post, this model is meant to be run in a certain way where you stop after each code generation, run the code and append the output / errors and then re-run for a set number of passes. Then extract the final answer.
Here is the discussion link - https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/discussion/519303
Я и сам попробовал запустить ггуф этой модели с помощью llama-cli, результат таков: математическое описание решения задачи сильно укорочено и содержит ошибки, но запуск сгенерированного моделькой питоновского скрипта отображает верный ответ на математическую задачу. Когда же ставишь ту же задачу перед хф спейсом, он справляется на пятёрку с плюсом: выдаёт подробное решение без ошибок и питоновский скрипт решения задачи не только отображается в градио, но и сам запускается на выполнение. Поэтому я и обратился к Вам с просьбой сделать портабельную версию этого хф спейса. Koboldcpp не подходит для работы с этой моделью.
Привет. Сделайте, пожалуйста, оффлайн цпу версию вот этого ХФ спейса: Math Olympiad Solver - a Hugging Face Space by AI-MO Это великолепная математическая 7в ллм-ка и градио-интерфейс для её запуска.
Кажется, удалось найти вариант, который можно запускать оффлайн: flatsiedatsie/transformers_js_musicgen (github.com)
UPDATE: Увы, тоже не работает...
На ХФ опубликовали ИИ генератор музыки, сделанный на ЯваСкрипте:
MusicGen Web - a Hugging Face Space by Xenova
Код: https://github.com/xenova/transformers.js/tree/v3/examples/musicgen-web
Как его запустить на локальном пк/ноутбуке? Я скачал исходники с гитхаба и исходники с ХФ. Пробовал запускать оба варианта (открывал index.html в браузере), но в обоих случаях в браузере отображалась пустая страница.
Там разработчик ещё саму модель подгрузил на ХФ и дал образец кода для запуска, но это не питон и не ванильный ЯваСкрипт, как его инкапсулировать в хтмл непонятно:
Появилась ещё одна конкурентка Кобольд.срр (помимо Мейд, которая уже есть в Вашей коллекции). Называется Ева. Сделана на С++, маленькая, быстрая. Кроме общения с ИИ Ева также умеет рисовать картинки по запросу (на основе стейбл-диффьюжн.срр) и преобразовывать речь в текст (использует встроенный уиспер.срр) Ещё в Еве вроде как есть синтез речи (но как его использовать пока не разобрался). Версии для цпу и гпу:
https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-64bit.ex..., https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-cuda.exe
Потестил на низкой "видеопамяти". Встройка берёт себе память из ОЗУ. Итог: браузерное веб-уи + ядро питона + делибирэйт + лора + ос = 11,4-12 гб озу, т.е пробовать среднюю загрузку "видеопамяти", наверное, можно и не пытаться, так как она будет близка к 15,4 гб (максимально доступная память для 16 гигов физической памяти на двух плашках). Во время теста возник вопрос: какой вес должен быть у лоры, ну тот, который в промте в угловых скобках цифрой после двоеточия указывается? Картинка рисуется за тридцать секунд, но цвета фона едкие, кислотные, вырвиглазные, сам фон замылен, морда кота периодически бывает искорёжена.
У меня встройка АМД Вега 7 на бюджетном ноутбучном проце Райзен 7 4700у, выпущенном 4 года тому назад. Важно использовать модель СД-Турбо, она рисует картинку 512х512 менее чем за 10 секунд. Неуверен, что смогу запустить что-либо в сд-веб-уи, так как браузерные гуи и памяти отъедают ого-го, и работают медленнее, и модели для них (не онниксовая СД-турбо, а стандартные) больше весят. В моём распоряжении всего-то 16 гб ДДР4. 11-я винда после всех оптимизаций минимум два гига отнимает. Поэтому я всё время нахожусь в поиске нейросетей для слабых пк. Запустил сейчас Амьюз, дал запрос "a cat in a park, sunglasses", и рисунок был готов за 8,87 секунды! Пруф (см. правый нижний угол скриншота):
Если нужен контрол-нет и быстрый движок, то обе фичи есть в ОнниксСтак, другой проге от автора Амьюза. Он просто делал эти два проекта параллельно. Амьюз - это тот же ОнниксСтак, но с более удобным и понятным интерфейсом. В какой-то момент программист, видимо, не потянул разработку сразу двух утилит, поэтому психанул и потёр Амьюз. Последняя версия ОнниксСтака: для видео-карт НВИДИА - https://github.com/saddam213/OnnxStack/releases/download/v0.23.0/OnnxStack_UI_v0..., для другого железа - https://github.com/saddam213/OnnxStack/releases/download/v0.23.0/OnnxStack_UI_v0...
Была такая программа Amuse, она с помощью комбинации технологий: DirectML и ONNX могла при использовании модели SD Turbo генерить картинки за 9-10 секунд даже на слабой бюджетной встройке АМД. Но потом у кодера случилась депрессия/весеннее обострение/или что-то ещё и он удалил Амьюз с гитхаба. У меня на компе сохранился архив с этой полезной прогой, решил поделиться: https://www.dropbox.com/scl/fi/5w0eycv8c2gtdvgs8f1pm/Amuse_v1.3.0.zip?rlkey=8ptq...