Inżynier Netflixa otworzył za darmo narzędzie do cięcia kosztów AI o 90%

wykop.pl 10 godzin temu

Project Headroom kompresuje tokeny przed wysłaniem do modelu językowego, eliminując powtarzające się dane. Logi serwera odchudza o 90%, JSON o 70%. Łącznie zaoszczędzono grupie użytkowników ponad 700 tys. dol. przy 200 mld tokenów. Kod dostępny na GitHubie.

Idź do oryginalnego materiału