toad.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
Mastodon server operated by David Troy, a tech pioneer and investigative journalist addressing threats to democracy. Thoughtful participation and discussion welcome.

Administered by:

Server stats:

206
active users

#openwebui

1 post1 participant0 posts today

I went to the limit for what #openwebui offers to my #sovereignAI, NGL thing is nifty but kinda shoddy sometimes...

Like a voice control so sensitive that ANY movement pauses answers, defeating the whole point of using voice while walking, in a cafe, cleaning, etc.

Reddit community is kinda ineffective, so now I'm writing straight on repo, as issues

github.com/open-webui/open-web

GitHubfeat: Improve Voice Input Usability in Noisy Environments · Issue #14500 · open-webui/open-webuiBy nonlinear

From OpenWebUI:

> 🦻 Screen Reader Support for Response Messages
All chat responses are now fully compatible with screen readers, making the platform more inclusive and accessible for everyone.

Well um, I mean, I don't use a hearing aid... But um, that's... Good... I'll see if it works.

Continued thread

The prompt I sent to gemma3:27b locally via #openWebUI was as follows (wrapped in a shell script to populate $topic): "Write one paragraph in markdown format about \"'$topic'\", in the voice of a wikipedia author. For any word in the response that would be a link to its own article, use markdown formatted links to link to an appropriate url. The base url for any path should always be http://localhost:3000/sandbox"

Replied in thread

@Gina If I had to choose, I'd probably go with #Ollama (which has been mentioned several times already). It's licensed under the MIT license and the models are about as close to open source as you can get. When I play with LLMs, it's what I use. Locally run and with an API that could be used to integrate with other stuff. I also have #OpenWebUI to make things prettier. Both can run locally, though OpenWebUI can integrate with cloud LLMs too. Of course, tomorrow everything could change.

Сегодня маленький приятный восторг - и опять с нейросетями.

Коллега последние два с чем-то дня пердолился с одной внешней системой, которая хотела очень специфическую подпись запросов.

У системы есть референсный микросервис на Python и невалидные примеры кода на C#.

Он пытался спрашивать ChatGPT, но результат получался неправильный. Кстати, такой же как в дотнете.

Я решил попробовать помочь. Предложил потыкать Claude Sonnet. Но у него нет туда доступа.

Тогда пошёл копаться сам. Нашёл неконсистентности между тем как делается подпись в Python и Go.

Рабочая гипотеза была сформирована.

Пошёл в ChatGPT, попросил написать с учётом своих находок и получил диалог вида:

Я: Напищи мне порт на Go
GPT: Вот
Я: Но тут совсем не то, смотри в чем разница
GPT: Тогда вот
Я: Но это не работает. Смотри какая проблема и ошибка.
GPT: Ну все правильно, ты передашь не то в метод, вот как надо
GPT: *По сути откатывает код назад*
Я: Ебать спасибо нахуй

Меня это тяни-толкание заёбывает, я иду и покупаю кредиты на OpenRouter за крипту.

Выписываю ключ API и подключаю его к своему @openwebui чтобы кроме локальных моделей можно было подключить облачную тяжелую артиллерию когда надо.

Иду в Claude Sonnet.

Я: надо портировать на Go
Claude: Вот
Claude: *пишет код со всеми теми нюансами, которые нашёл и я когда смотрел разницу в биндингах к криптобиблиотекам*
Я: Неплохо, но вот в этом месте стандартной либы Go происходит ошибка.
Claude: И правда. Вот что надо исправить.

И выдаёт полностью рабочий код абсолютно идентичный референсному микросервису, который выдаёт правильные подписи за счёт правильных костылей имитирующих то, что творится в питоне.

Примерно за 5 центов в сумме.

Короче выводы сегодняшнего дня:

- Если вам не помогает GPT с кодом - обязательно сходите к Claude
- Я буду добиваться корпоративного OpenWebUI с доступом к разным ассистентам в компании

#dev#log#work

Deepseek Model R1 läuft lokal auf dem Mac Studio M3 Ultra
Das Large Language Modell R1 vom Chinesischen Startup Deepseek lässt sich ohne Probleme lokal auf einem vollausgebauten Mac Studio mit M3 Ultra installieren und betreiben. Aber nicht nur das: Es steht dann auch auf iPhone, iPads und Mac im gleichen Netzwerk zur
apfeltalk.de/magazin/news/deep
#KI #News #AI #GenerativeKI #KI #KnstlicheIntelligenz #Ollama #OpenWebUI

Apfeltalk Magazin · Deepseek Model R1 läuft lokal auf dem Mac Studio M3 UltraLernen Sie die Vorteile der lokalen Nutzung von Ollama auf dem Mac Studio mit M3 Ultra kennen und geniessen Sie schnelle Antworten.

Testing Open WebUi with Gemma:3 on my proxmox mini PC in a LXC. My hardware is limited, 12th Gen Intel Core i5-12450H so I’m only using the 1b (28 token/s) and 4b (11 token/s) version for now.

Image description is functioning, but it is slow; it takes 30 seconds to generate this text with the 4b version and 16G allocated for the LXC.

Next step, trying this on my Mac M1.

The sun has returned!

I mean, it has always been there. Relatively speaking in the same place it was over the last few months. But the Earth’s tilt is such that as it revolves around the nearest star the portion on which I live (the northern hemisphere) is getting ever so slightly closer and faces it just long enough that temperatures are beginning to warm.

And I’m a very happy person […]

https://cdevroe.com/2025/03/13/diversions-9/

I basically have a DIY Perplexity setup running in OpenWebUI (which is running politely alongside Plex). I'm using Mistral-Large with web search via SearXNG and the system prompt that Perplexity uses for their Sonar Pro searches.

And since OpenWebUI has an OpenAI-compatible API, I can connect to it from this GPTMobile app on my phone and query my custom search assistant model.

#AI#LLM#LLMs

I set up #OpenWebUI on one of my more powerful servers, and it is fantastic. I'm running a couple smaller local Llama models, and hooked up my Anthropic and OpenRouter API keys to get access to Claude and a bunch of other models including Mistral, DeepSeek, and others. I also linked up my Kagi search API key to give web search capabilities to the models that don't have a web index. I will probably lower my Kagi Ultimate subscription to Professional since I no longer have a need for their Assistant.

#AI#LLM#LLMs

i think my #windows11 workstation's instance of #ollama is using my GPU, but when i load the model and execute a query via #openwebUI it appears to be using CPU for token generation for some reason? super weird how hard it is to get Ollama to cooperate with other software - the docker images end up being unavailable via host networking entirely, i can sink ollama and openwebUI into a compose stack, but then i can't reach ollama's API outside of Docker.

LM Studio might be where i have to land.