From OpenWebUI:
> Screen Reader Support for Response Messages
All chat responses are now fully compatible with screen readers, making the platform more inclusive and accessible for everyone.
Well um, I mean, I don't use a hearing aid... But um, that's... Good... I'll see if it works.
I appreciate being able to run my own local #LLMs so I can ask it questions like this
The prompt I sent to gemma3:27b locally via #openWebUI was as follows (wrapped in a shell script to populate $topic): "Write one paragraph in markdown format about \"'$topic'\", in the voice of a wikipedia author. For any word in the response that would be a link to its own article, use markdown formatted links to link to an appropriate url. The base url for any path should always be http://localhost:3000/sandbox"
@Gina If I had to choose, I'd probably go with #Ollama (which has been mentioned several times already). It's licensed under the MIT license and the models are about as close to open source as you can get. When I play with LLMs, it's what I use. Locally run and with an API that could be used to integrate with other stuff. I also have #OpenWebUI to make things prettier. Both can run locally, though OpenWebUI can integrate with cloud LLMs too. Of course, tomorrow everything could change.
Сегодня маленький приятный восторг - и опять с нейросетями.
Коллега последние два с чем-то дня пердолился с одной внешней системой, которая хотела очень специфическую подпись запросов.
У системы есть референсный микросервис на Python и невалидные примеры кода на C#.
Он пытался спрашивать ChatGPT, но результат получался неправильный. Кстати, такой же как в дотнете.
Я решил попробовать помочь. Предложил потыкать Claude Sonnet. Но у него нет туда доступа.
Тогда пошёл копаться сам. Нашёл неконсистентности между тем как делается подпись в Python и Go.
Рабочая гипотеза была сформирована.
Пошёл в ChatGPT, попросил написать с учётом своих находок и получил диалог вида:
Я: Напищи мне порт на Go
GPT: Вот
Я: Но тут совсем не то, смотри в чем разница
GPT: Тогда вот
Я: Но это не работает. Смотри какая проблема и ошибка.
GPT: Ну все правильно, ты передашь не то в метод, вот как надо
GPT: *По сути откатывает код назад*
Я: Ебать спасибо нахуй
Меня это тяни-толкание заёбывает, я иду и покупаю кредиты на OpenRouter за крипту.
Выписываю ключ API и подключаю его к своему @openwebui чтобы кроме локальных моделей можно было подключить облачную тяжелую артиллерию когда надо.
Иду в Claude Sonnet.
Я: надо портировать на Go
Claude: Вот
Claude: *пишет код со всеми теми нюансами, которые нашёл и я когда смотрел разницу в биндингах к криптобиблиотекам*
Я: Неплохо, но вот в этом месте стандартной либы Go происходит ошибка.
Claude: И правда. Вот что надо исправить.
И выдаёт полностью рабочий код абсолютно идентичный референсному микросервису, который выдаёт правильные подписи за счёт правильных костылей имитирующих то, что творится в питоне.
Примерно за 5 центов в сумме.
Короче выводы сегодняшнего дня:
- Если вам не помогает GPT с кодом - обязательно сходите к Claude
- Я буду добиваться корпоративного OpenWebUI с доступом к разным ассистентам в компании
Deepseek Model R1 läuft lokal auf dem Mac Studio M3 Ultra
Das Large Language Modell R1 vom Chinesischen Startup Deepseek lässt sich ohne Probleme lokal auf einem vollausgebauten Mac Studio mit M3 Ultra installieren und betreiben. Aber nicht nur das: Es steht dann auch auf iPhone, iPads und Mac im gleichen Netzwerk zur
https://www.apfeltalk.de/magazin/news/deepseek-model-r1-laeuft-lokal-auf-dem-mac-studio-m3-ultra/
#KI #News #AI #GenerativeKI #KI #KnstlicheIntelligenz #Ollama #OpenWebUI
Testing Open WebUi with Gemma:3 on my proxmox mini PC in a LXC. My hardware is limited, 12th Gen Intel Core i5-12450H so I’m only using the 1b (28 token/s) and 4b (11 token/s) version for now.
Image description is functioning, but it is slow; it takes 30 seconds to generate this text with the 4b version and 16G allocated for the LXC.
Next step, trying this on my Mac M1.
The sun has returned!
I mean, it has always been there. Relatively speaking in the same place it was over the last few months. But the Earth’s tilt is such that as it revolves around the nearest star the portion on which I live (the northern hemisphere) is getting ever so slightly closer and faces it just long enough that temperatures are beginning to warm.
And I’m a very happy person […]