itch.io

Это необычная ггуф-моделька, для правильной работы она требует особый алгоритм запуска, доступный только в питоновском скрипте. Вот пруф моих слов, на реддите чел пожаловался на неправильную работу этой модели, и опытный айтишник ответил ему:

You should read the kaggle post, this model is meant to be run in a certain way where you stop after each code generation, run the code and append the output / errors and then re-run for a set number of passes. Then extract the final answer.

Here is the discussion link - https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/discussion/519303

Я и сам попробовал запустить ггуф этой модели с помощью llama-cli, результат таков: математическое описание решения задачи сильно укорочено и содержит ошибки, но запуск сгенерированного моделькой питоновского скрипта отображает верный ответ на математическую задачу. Когда же ставишь ту же задачу перед хф спейсом, он справляется на пятёрку с плюсом: выдаёт подробное решение без ошибок и питоновский скрипт решения задачи не только отображается в градио, но и сам запускается на выполнение. Поэтому я и обратился к Вам с просьбой сделать портабельную версию этого хф спейса. Koboldcpp не подходит для работы с этой моделью.