Kilkanaście sesji AI naraz: jak nad tym zapanować

Praca z asystentem AI zaczyna się od jednego okna terminala. Po miesiącu okien jest kilkanaście, każde z inną rozmową, i nagle nie wiadomo, która czeka na decyzję, która skończyła robotę, a która stoi od tygodnia. Poniżej opis narzędzia, które zbudowaliśmy, żeby ten problem rozwiązać u siebie, oraz wnioski, które mogą się przydać także wtedy, gdy zbudujesz coś własnego.

Punkt wyjścia: dwadzieścia dwa zapomniane procesy

Diagnoza zaczęła się od policzenia, ile rozmów faktycznie działa w tle. Wynik: dwadzieścia dwa procesy, łącznie ponad pięć gigabajtów pamięci, część uruchomiona trzy tygodnie wcześniej i dawno zapomniana. Żadne okno nie pokazywało, która z nich czeka na odpowiedź.

To nie jest problem asystenta, tylko braku warstwy zarządzania. Ten sam wzorzec widać w firmach: pojedyncza automatyzacja działa świetnie, dopiero przy dziesiątej nikt nie wie, co jest włączone i czy nadal robi to, co miało robić.

Cztery rzeczy, które okazały się najważniejsze

1. Stan każdej rozmowy, widoczny od razu

Lista wszystkich sesji z jednoznaczną informacją: pracuje, czeka na Twoją decyzję, czy jest gotowa. Do tego, co robi w tej chwili i od jak dawna. Bez tego przełączanie się między oknami jest zgadywanką.

2. Pytania, które blokują pracę na godziny

Jedenaście sesji stało u nas na pytaniu, którego nikt nie zobaczył, bo było w oknie na innym pulpicie. Narzędzie odpowiada na nie samo, a gdy decyzja naprawdę wymaga człowieka, wysyła powiadomienie na telefon.

3. Koszty i limity na wierzchu

Ile kosztowała każda rozmowa, ile zostało limitu i kiedy się skończy przy obecnym tempie. Przy okazji wyszedł błąd w liczeniu: asystent zapisuje tę samą odpowiedź kilka razy, więc naiwne sumowanie zawyżało zużycie ponad dwukrotnie.

4. Zadania i czas w tym samym miejscu

Rozmowa z asystentem zwykle wynika z konkretnego zadania i kończy się kolejnym. Trzymanie jednego i drugiego osobno oznacza ciągłe przepisywanie. Tutaj zadanie przeciąga się na godzinę w kalendarzu albo wysyła prosto do sesji jako polecenie.

Dlaczego kod jest otwarty

Z dwóch powodów. Narzędzie steruje całym komputerem i czyta historię rozmów, więc powinno dać się sprawdzić, co dokładnie robi. Drugi powód jest prostszy: opis usług przekonuje mniej niż działający program, którego można użyć bez pytania kogokolwiek o zgodę.

Kod, instrukcja instalacji i opis architektury są dostępne publicznie: github.com/rodorn/fluxdesk.

Co z tego wynika dla firm

Wniosek, który przenosi się jeden do jednego na automatyzację procesów: narzędzia same z siebie nie robią porządku. Dziesięć automatyzacji bez jednego miejsca, w którym widać ich stan, koszt i błędy, zamienia się w ten sam bałagan co dwadzieścia dwa okna terminala. Warstwa nadzoru jest częścią wdrożenia, nie dodatkiem do niego.

Najczęstsze pytania