Widziałem ostatnio na Portalu Ludzi z Kijem w Dupie©, jak jakiś analityk (czy tam konsultant IT, bez znaczenia) zachwycał się wykorzystaniem jednego z LLM (large language model) w pisaniu dokumentacji analitycznej. Chodziło dokładnie KSeF (Krajowy System eFaktur) i rozmowę z chatbotem, czego efektem miały być historyjki, wymagania i reguły biznesowe stworzone przez sztuczną inteligencję.
Rewolucja jest już tu u-u, jest pięknie, a będzie jeszcze piękniej, efektywność pracy analityków poszybuje w górę, będziemy nakurwiać dwa razy więcej tematów w dwa razy krótszym czasie, co za przyszłość mlekiem i miodem płynąca.
Tyle, że nie.
Parę lat pracowałem jako analityk w branży ściśle regulowanej, zajmowałem się m.in. analizą aktów prawnych pod kątem wdrożeń systemów informatycznych. To ciężka robota, język ustaw i rozporządzeń różni się od języka powieści. Wymaga skupienia i, w moim przypadku, robienia notatek na boku, szczególnie w przypadkach odwołań z jednego paragrafu do innego, nierzadko oddalonego o dziesiątki innych paragrafów.
Czy LLM mógłby mi w tym pomóc? Jeden rabin powie tak, inny rabin powie nie.
Ja bardziej zaufam temu, co powie nie. Jednym z powodów jest moja wrodzona przekorność i ustawiczne szukanie dziury w całym. Dostrzegam jedno, bardzo istotne ryzyko: ktoś będzie musiał sprawdzić, czy aby ten inteligentny chatbot nie plecie głupot. Ten biedny analityk, co chce sobie pracę usprawnić, będzie i tak musiał poświęcić czas na weryfikację poprawności treści wyplutej przez sztuczną inteligencję. Żeby to zrobić, i tak będzie musiał zapoznać się z analizowanymi przepisami i zrozumieć je do tego stopnia, by być w stanie wykryć DROBNE nieścisłości w analizie prowadzonej przez LLM. Pal sześć, jeśli byłoby to wielbłądy – takie rzeczy łatwo wychwycić. Ale te drobne błędy są najgorsze.
Jak to nieścisłości, jak to drobne? – zapytacie.
Nie ma co ukrywać, że LLM, szczególnie ten spod szyldu OpenAI, to od blisko roku największy buzzword. Chyba każdy giełdowy korpos już opublikował oświadczenie, jako to wdraża lub analizuje wdrożenie AI w swojej firmie. Nie można przegapić swojej szansy na rozgłos.
Na to wszystko nakłada się coraz niższy poziom dziennikarzy technologicznych w mass mediach (nie mówię o hermetycznych, małych portalach, tylko o tych największych wytwórcach treści, których możemy znaleźć w rankingach popularności i “wpływowości” mediów). Ten coraz niższy poziom wynika zresztą z bezwzględnej logiki systemu kapitalistycznego, ale o tym kiedy indziej. Mamy, co mamy, czyli wszechobecne zachwyty nad modelami tzw. sztucznej inteligencji.
Najprostsze wyjaśnienie działania LLM opiera się na regule prawdopodobieństwa. Chodzi o to, że chatbot na podstawie istniejącego kontekstu dobiera słowa, które wydają się najbardziej prawdopodobne w określonym kontekście. On nie myśli w tym sensie, jaki my nadajemy temu słowu. Nie ma tam rozważań nad sensem wypluwanych sekwencji. Oczywiście LLM robi to na bazie modelu, który stworzył po analizie milionów słów składających się na zdania, akapity, artykuły, rozdziały, książki, a nawet wpisy z blogów, takich jak ten.
Istnieje zresztą pojęcie papugi stochastycznej (o której możecie przeczytać tutaj), a śmieszki z internetów zrobiły nawet na ten temat pięknego mema:
Ktoś może powiedzieć, że dobra, dobra, a ja sobie z chatbotem gadam i to są super narzędzia, dużo się mogę nauczyć i ja tam nie zauważyłem, żeby plotły głupoty. Więc specjalnie dla was zajrzałem dzisiaj do dwóch chatbotów opartych o LLM.
Model trenowany przez OpenAI zapytałem o działanie matematyczne 7893×3267 (prawidłowa odpowiedź to 25 786 431). ChatGPT miał jednak inne zdanie:
Ta rozmowa jest o tyle ciekawa, że zanim usiadłem do komputera, korzystałem z chata na telefonie i zadałem mu te same pytania, otrzymując inne wyniki:
Co ciekawe, Bard od Google odpowiada na takie samo pytanie prawidłowo. Mogę się tylko domyślać, że ta sztuczna inteligencja po prostu podpięta jest pod google’owy kalkulator. Bardowi zadałem jednak znaną dziecięcą zagadkę, ile waży cegła? Odpowiedź wygląda, jakby czwartoklasista został zaskoczony przez nauczyciela i zaczął pleść bzdury w nadziei, że może mu się upiecze:
Jebani postmoderniści.
Ja generalnie nie mam nic przeciwko temu, żeby korpo się chwaliły wdrażaniem AI w firmach. Jak ktoś chce sobie używać LLM w swojej pracy (analitycznej, czy jakiejkolwiek innej), to też niech sobie używa. W końcu zepsuty zegar też dwa razy na dobę wskazuje prawidłową godzinę.
Photo by Ryan Wallace on Unsplash
Jeśli czegoś Ci tutaj brakuje, napisz w komentarzu. Dzięki Tobie będę mógł pisać bardziej interesujące teksty!