Rachunek za API OpenAI rośnie za szybko - przyczyny i jak obniżyć koszty

Jak to wygląda

Pierwszy miesiąc wdrożenia kosztował niewiele, a kolejne rachunki są coraz wyższe, choć liczba klientów czy dokumentów się nie zmieniła. Czasem koszt rośnie skokowo w ciągu jednego dnia. W panelu dostawcy widać dużą liczbę tokenów wejściowych, a nikt w firmie nie wie, który proces je zużywa.

• koszt jednej rozmowy z chatbotem rośnie z każdą kolejną wiadomością,
• w panelu zużycia widać nagłe skoki w nocy lub w weekend,
• jeden klucz API jest używany przez kilka projektów i nie da się ich rozdzielić.

Dlaczego tak się dzieje

Dostawcy modeli rozliczają się za tokeny, czyli fragmenty tekstu, osobno za tokeny wysłane do modelu (wejściowe) i wygenerowane przez model (wyjściowe). Ceny różnią się w zależności od modelu, a aktualne stawki publikuje dostawca w cenniku. Rachunek rośnie więc z każdą dodatkową linijką kontekstu, każdym zbędnym wywołaniem i każdym zadaniem obsługiwanym przez droższy model, niż to konieczne.

Zbyt długi kontekst

Chatbot, który przy każdej wiadomości wysyła całą historię rozmowy i całe dokumenty z bazy wiedzy, płaci za te same tokeny wiele razy. Koszt rozmowy rośnie wtedy szybciej niż jej długość.

Jeden model do wszystkiego

Klasyfikacja maila, wyciągnięcie numeru zamówienia czy krótkie streszczenie nie wymagają najmocniejszego modelu. Użycie go do wszystkiego jest najprostszym sposobem na wysoki rachunek.

Zapętlenia, nadużycia i wycieki kluczy

Agent bez limitu kroków, scenariusz wywołujący się sam albo publiczny chatbot bez ograniczeń mogą generować tysiące zapytań. Klucz API zapisany w kodzie strony może zostać przechwycony i wykorzystany na Twój koszt.

Ponawianie zapytań po błędach

Automatyzacja, która po błędzie lub przekroczeniu czasu ponawia zapytanie bez limitu prób, potrafi wysłać ten sam długi dokument do modelu wiele razy. Każda próba jest rozliczana osobno, nawet jeśli wynik zostanie odrzucony przez kolejny krok procesu.

Brak podziału kosztów na projekty

Gdy wszystkie automatyzacje, chatbot i testy programistów korzystają z jednego klucza, rachunek jest jedną liczbą bez wyjaśnienia. Nie wiadomo wtedy, które zadanie jest drogie, więc optymalizacja odbywa się na ślepo. Osobne klucze lub projekty dla każdego zastosowania pozwalają policzyć koszt każdego procesu.

Najczęstsze źródła kosztów i sposoby ich ograniczenia:

• kontekst: przekazuj tylko potrzebne fragmenty dokumentów i streszczenie historii zamiast całej rozmowy,
• model: proste kroki wykonuj tańszym modelem, a mocniejszy zostaw do zadań wymagających rozumowania,
• odpowiedzi: ustaw limit tokenów wyjściowych i poproś o zwięzłe odpowiedzi,
• powtórki: zapisuj wyniki powtarzalnych zapytań, zamiast generować je ponownie,
• zadania wsadowe: przetwarzanie, które nie musi być natychmiastowe, uruchamiaj wsadowo, jeśli dostawca oferuje tańszy tryb.

Ten problem jest jednym z naszej listy 100 problemów z wdrożeniem AI i automatyzacją. Pełne koszty wdrożenia, nie tylko API, omawiamy we wpisie automatyzacja procesów AI - koszty i etapy wdrożenia.