Transformer 不只是关于语言

Transformer 不只是关于语言。

它们是关于结构的。

我们常常把 LLM 理解成文本模型，因为 ChatGPT 让语言成为了最显眼的应用场景。但更深一层的启发其实更宽：Transformer 模型可以从大量真实世界事件序列里学到隐藏关系。

这就是为什么金融里的 transaction foundation models 很有意思。

金融交易不只是数据库里的行。它们是真实事件的记录：谁和谁发生了互动，什么时候，通过什么渠道，在什么上下文里，产生了什么结果。

旧方式

过去的方式通常是半人工的：人类挑选特征、设计信号，然后为欺诈、信贷、授权、推荐或风险训练专业模型。

问题很简单：如果人类没有意识到某个潜在结构，它就可能永远不会被暴露给模型。

新的方向不同：把更丰富的交易序列喂给 Transformer 风格的模型，让它们自己学习金融空间里的结构。

NVIDIA 文章里的几个例子

NVIDIA 文章里提到了几个例子：

• Revolut 和 NVIDIA 构建了 PRAGMA，它训练在 240 亿事件、2600 万用户记录，以及 100 多个国家的数据之上。
• Mastercard 正在为支付开发一个 large tabular foundation model。
• Adyen 正在大规模支付授权场景中应用 transaction foundation models。
• Stripe 正在用交易上下文做欺诈降低，并面向正在出现的 agentic commerce。

我的直觉

1. 时间应该成为表示的一部分。

时间不应该只被当成另一个 metadata 字段。它应该被嵌入到交易序列里，类似 LLM 里的 position embeddings。

同时发生或在时间上相近的事件，可能会在表示空间里变得更接近。这让模型有机会看到那些人类没有显式编码的结构。

2. 私有交易数据是真正的机会。

公开基础模型很难学到一家银行、支付网络或 fintech 平台的私有结构：客户行为、商户关系、授权结果、欺诈反馈和时间模式。这个私有事件空间，才是这类模型真正的训练场。

3. 模型不一定需要 frontier-scale。

关键问题不是“模型有多大？”，而是“模型是否有足够容量表达它试图学习的结构复杂度？”交易基础模型需要大到足以覆盖金融结构，而不是为了规模而规模。

这不是“银行版 ChatGPT”。

它比这更有意思：这是一个面向金融行为结构的基础模型。

原文： Why Financial Institutions Are Converging on Transaction Foundation Models to Build Their Own Intelligence