Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, dzieli złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy proces rozciąga się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od prostego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Osobną sprawą pozostaje sposób oceny własnych działań. Dobrze skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do wcześniejszego etapu, by spróbować innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej oddaniem.