Transformers gaan niet alleen over taal

Transformers gaan niet alleen over taal.

Ze gaan over structuur.

We zien LLMs vaak als tekstmodellen, omdat ChatGPT taal het meest zichtbare gebruik maakte. Maar de diepere les is breder: transformer-modellen kunnen verborgen relaties leren in grote reeksen gebeurtenissen uit de echte wereld.

Daarom zijn transaction foundation models in finance interessant.

Financiële transacties zijn niet zomaar rijen in een database. Het zijn registraties van echte gebeurtenissen: wie met wie interacteerde, wanneer, via welk kanaal, in welke context, en met welke uitkomst.

De oude manier

De oude manier was vaak half handmatig: mensen selecteerden features, ontwierpen signalen, en trainden specialistische modellen voor fraude, krediet, autorisatie, aanbevelingen of risico.

Het probleem is simpel: als mensen een latente structuur niet zien, wordt die structuur misschien nooit aan het model blootgesteld.

De nieuwe richting is anders: geef veel rijkere transactiereeksen aan transformer-achtige modellen en laat ze de structuur van de financiële ruimte leren.

Voorbeelden uit het NVIDIA-artikel

Een paar voorbeelden uit het artikel van NVIDIA:

• Revolut en NVIDIA bouwden PRAGMA, getraind op 24 miljard events, 26 miljoen gebruikersrecords en data uit meer dan 100 landen.
• Mastercard ontwikkelt een large tabular foundation model voor payments.
• Adyen past transaction foundation models toe op payment authorization op grote schaal.
• Stripe gebruikt transactiecontext voor fraudereductie en de opkomende wereld van agentic commerce.

Mijn intuïtie

1. Tijd moet onderdeel zijn van de representatie.

Tijd moet niet worden behandeld als alleen nog een metadata-veld. Het zou in de transactiereeks moeten worden ingebed, vergelijkbaar met hoe position embeddings werken in LLMs.

Gebeurtenissen die samen gebeuren, of dicht bij elkaar in de tijd liggen, kunnen dicht bij elkaar komen te liggen in de representatieruimte. Dat geeft het model een manier om structuren te zien die mensen niet expliciet hebben gecodeerd.

2. Proprietary transaction data is de echte kans.

Publieke foundation models kunnen de private structuur van een bank, payment network of fintech-platform niet makkelijk leren: klantgedrag, merchant-relaties, autorisatie-uitkomsten, fraudefeedback en temporele patronen. Die private event space is de echte trainingsgrond.

3. Het model hoeft niet per se frontier-scale te zijn.

De belangrijke vraag is niet: “hoe groot is het model?” De vraag is: “heeft het model genoeg capaciteit om de complexiteit van de structuur die het probeert te leren te representeren?” Een transaction foundation model moet groot genoeg zijn voor de financiële structuur, niet groot omwille van schaal.

Dit is geen “ChatGPT voor banken”.

Het is interessanter dan dat: een foundation model voor de structuur van financieel gedrag.

Oorspronkelijk artikel: Why Financial Institutions Are Converging on Transaction Foundation Models to Build Their Own Intelligence