ObviousIdea jest już na GitHubie, a my wspieramy lokalną AI z Ollama
ObviousIdea jest teraz również dostępny na GitHubie: github.com/obviousidea.
To dla nas mały, ale ważny krok. GitHub to praktyczne miejsce do dzielenia się kodem, przykładami, śledzeniem problemów, notatkami technicznymi oraz drobnymi narzędziami dotyczącymi naszych produktów. Daje to także deweloperom i zaawansowanym użytkownikom jaśniejszy sposób śledzenia tego, co tworzymy.
Dlaczego wspieramy Ollamę
Chcemy także okazać wsparcie dla Ollama. Lokalna sztuczna inteligencja staje się poważną opcją dla osób, które nie chcą, aby każdy dokument, zrzut ekranu czy notatka techniczna opuszczała ich komputer.
Lokalne
Modele mogą działać na twoim własnym komputerze. To przydatne, gdy Twój workflow obejmuje prywatne zrzuty ekranu, dane klientów, narzędzia wewnętrzne, materiały prawne lub kod źródłowy.
Elastyczny
Możesz wybierać różne modele do różnych zadań, od małych, szybkich po większe, jeśli sprzęt na to pozwala.
Prywatne i przystępne cenowo
Wnioskowanie lokalne pozwala uniknąć kosztów chmury za każde żądanie i zmniejszyć ekspozycję na dane. W wielu eksperymentach jest to praktycznie darmowe, gdy sprzęt już jest dostępny.
Jest jednak jedno szczere zastrzeżenie: lokalna AI korzysta z mocnego sprzętu. Dla dobrej wydajności na Windowsie najwygodniejszą drogą jest zazwyczaj najnowsza karta graficzna NVIDIA NVIDIA. Własna dokumentacja sprzętowa Ollamy wymienia wsparcie dla kart graficznych NVIDIA z możliwością obliczeniową 5.0+ oraz najnowszymi sterownikami, a wśród obsługiwanych rodzin są karty RTX 30xx, 40xx i 50xx.
Dlaczego to ważne dla Light Capture
Nasz następny produkt, Light Capture, jest zaprojektowany wokół zrzutów ekranu jako rzeczywistych plików roboczych: przechwytywanie, wyszukiwanie, OCR, komentarze, metadane i przegląd. To naturalnie prowadzi do przepływów pracy wspomaganych przez AI.
- Generuj przydatne tagi do kolekcji zrzutów ekranu.
- Podsumuj to, co pojawia się na zrzucie ekranu, nie wysyłając go do usługi chmurowej.
- Usprawnij wyszukiwanie, łącząc OCR, komentarze i lokalne opisy AI.
- Przechowywaj wrażliwe nagrania na komputerze użytkownika, gdy prywatność ma znaczenie.
Chmurowa AI nadal będzie przydatna, gdy priorytetem będą szybkość, wygoda lub jakość modeli. Ale lokalna AI daje użytkownikom inny wybór i uważamy, że wybór ma znaczenie.
Śledź ObviousIdea na GitHubie
Naszą obecność na GitHub znajdziesz pod adresem github.com/obviousidea. Będziemy stopniowo wykorzystywać go jako miejsce dla materiałów skierowanych do deweloperów, przykładów oraz publicznych prac technicznych wokół ObviousIdea produktów.
Źródła: Ollama oraz Dokumentacja GPU Ollama.