Pular para o conteúdo principal
SEEED STUDIO · ANÁLISE DETALHADA DE ARTIGO

FAST e π0-FAST: Como uma Tokenização de Ações Eficiente Acelera o Aprendizado de Robôs

FAST: Tokenização de Ações Eficiente para Modelos Visão-Linguagem-Ação

  • Tokenização de ações
  • DCT
  • Compressão BPE
  • Políticas autoregressivas
arXivLer o artigo

Relação com π0: O artigo se chama FAST; π0-FAST é a política treinada usando-o. FAST é um método de tokenização, FAST+ um tokenizer universal pré-treinado de ações, e π0-FAST um VLA autoregressivo usando essa representação. Ele compartilha a abordagem de backbone PaliGemma com o π0, mas muda a geração de ações; não é apenas um pré-processador de compressão adicionado ao expert de flow matching do π0.

Fonte de leitura: O PDF original, Seções I–VII e Apêndices A–E, seguindo a estrutura da análise detalhada de π0 anterior. Os números de página se referem às páginas físicas do PDF de 19 páginas, do qual as figuras são extraídas. Derivações adicionais e exemplos numéricos são marcados como explicações em vez de atribuídos ao artigo.

FAST / π0-FAST Paper Deep-Dive: FAST / π0-FAST Paper Deep-Dive (image-08)

Pré-requisitos​

VLAs e Tokenização de Ações​

Explicação: Um VLA converte uma cena visível e uma tarefa em linguagem em controles de robô. Para dobrar uma camiseta, imagens localizam a camiseta e os ganchos, a linguagem define o objetivo, o estado descreve os braços, e o modelo prediz ações futuras dos braços e garras.

Este artigo usa divisão em blocos de ações: predizer HH passos futuros em vez de apenas um. Defina:

At=[at,at+1,…,at+H−1]∈RH×D,ot=(It1,…,Itm,ℓt,qt)A_t=[a_t,a_{t+1},\ldots,a_{t+H-1}]\in\mathbb R^{H\times D},\qquad o_t=(I_t^1,\ldots,I_t^m,\ell_t,q_t)

Aqui tt é o tempo de controle do robô, ata_t uma ação DD-dimensional, e HH o horizonte. ItiI_t^i é a visão de câmera ii, mm o número de câmeras, ℓt\ell_t a instrução e qtq_t a propriocepção. A política aprende πθ(At∣ot)\pi_\theta(A_t\mid o_t), onde θ\theta denota os parâmetros da rede.

Artigo: Os blocos têm principalmente um segundo de duração. Assim, HH depende da taxa de controle: 15 a 15 Hz, 20 a 20 Hz e 50 a 50 Hz. Não assuma que o H=50H=50 de π0 vale para todo dataset aqui.

A tokenização de ações mapeia um bloco contínuo para símbolos discretos:

T(At)=[z1,z2,…,zn],zk∈{0,…,V−1}\mathcal T(A_t)=[z_1,z_2,\ldots,z_n],\qquad z_k\in\{0,\ldots,V-1\}

T\mathcal T é o tokenizer, zkz_k um ID de token de ação, VV o tamanho do vocabulário e nn o comprimento da sequência comprimida. Blocos com a mesma forma podem produzir nn diferentes, assim como frases com o mesmo comprimento podem ter contagens diferentes de subpalavras.

Cuidado: Um ID de token não é um ângulo de junta. Um token FAST não precisa corresponder a um passo de tempo, junta ou ação completa. Gere a sequência primeiro, depois decodifique-a para um bloco contínuo.

Agrupamento Pontual, Flow Matching de π0 e FAST​

FAST / π0-FAST Paper Deep-Dive: 1.2 Pointwise Binning, π0 Flow Matching, and FAST (image-04)

O agrupamento convencional quantiza de forma independente cada passo de tempo e dimensão de ação. Uma configuração comum discutida no artigo usa 256 intervalos uniformes:

D action components at step 1 → D tokens
D action components at step 2 → D tokens
……
D action components at step H → D tokens
Total: H × D tokens

Dados de alta taxa então produzem sequências longas com valores vizinhos altamente semelhantes. Copiar tokens repetidos pode reduzir a perda sem aprender o movimento global.

Exemplo mínimo: Valores [0.200,0.201,0.202,0.203][0.200,0.201,0.202,0.203] podem todos cair em um mesmo intervalo grosseiro. Repetir o token anterior prediz muitos rótulos corretamente, mas falha em expressar a trajetória que muda de forma constante.

FAST usa:

Continuous chunk → frequency coefficients → quantization → frequency-first flattening → BPE
→ fewer action tokens → autoregressive VLA prediction → continuous-chunk decoding

A transformada discreta do cosseno (DCT) expressa uma trajetória como componentes de cosseno em diferentes frequências; a codificação por pares de bytes (BPE) mescla subsequências inteiras comuns. Predizer essa representação comprimida da trajetória remove supervisão redundante.

AspectoVLA autoregressivo pontualπ0 originalπ0-FAST
RepresentaçãoValor discreto por passo de tempo e dimensãoBloco contínuoTokens discretos comprimidos para um bloco
ObjetivoPredição do próximo tokenFlow matching condicionalPredição do próximo token
GeraçãoGera sequencialmente HDHD tokensAtualiza iterativamente o bloco completo com um expertGera nn tokens comprimidos, depois decodifica
Dados de alta taxaMais tokens e repetiçãoA geração contínua evita decodificação dimensão a dimensãoComprime redundância temporal e encurta a saída
Principal limitaçãoDestreza em alta taxa pode ser difícil de aprenderRequer um expert contínuo dedicadoQuantização com perda; a inferência autoregressiva ainda pode ser lenta

Artigo: A Tabela I reduz um bloco de camiseta de um segundo, 50 Hz, 14D de 700 tokens pontuais para uma média de 53 tokens FAST. A decodificação ainda produz 50 × 14 ações; o controle do robô não se torna “53 tokens por segundo”.

FAST / π0-FAST Paper Deep-Dive: 1.2 Pointwise Binning, π0 Flow Matching, and FAST (image-05)

Figura 2: predições da mesma spline cúbica em diferentes densidades de amostragem. Amarelo é agrupamento pontual; verde é DCT. A escala de cores inferior vai de amarelo claro a roxo conforme a contagem de amostras HH aumenta de 25 para 800. Da Figura 3 original, página 3 do PDF.

Lendo a figura: Quatro pontos de entrada definem o mesmo tipo de alvo de interpolação enquanto a densidade aumenta. O erro da tokenização pontual cresce, eventualmente se aproximando de uma predição constante; o erro da DCT permanece baixo. O aprendizado pode falhar por causa da representação, e não por uma tarefa mais difícil. Os valores 25–800 são amostras sintéticas por sequência, não frequências reais de controle de robô.

Treinamento, Inferência e Avaliação​

EstágioEntradas e operaçõesSaída e critério
Treinamento do tokenizerNormalizar ações, aplicar DCT e quantização, e aprender BPE a partir de sequências inteiras.Regras de codificação/decodificação; erro de compressão e reconstrução.
Treinamento da políticaCondicionar em imagens, linguagem e estado; codificar ações futuras demonstradas como rótulos FAST.Otimização de entropia cruzada e pesos do VLA.
Inferência da políticaGerar tokens, reverter BPE, desquantizar e aplicar DCT inversa.Blocos contínuos para o controlador.
Avaliação no robôExecutar tarefas e condições iniciais especificadas.Sucesso na tarefa ou progresso normalizado.

Artigo: A avaliação inclui seis tarefas/configurações de robô real e um benchmark em simulação, além de testes offline separados de compressão FAST+ em diferentes corpos robóticos. Comprimir dados de humanóides não é o mesmo que treinar e validar fisicamente uma política para humanóides.

Cuidado: Perda de token, erro de reconstrução e pontuação de tarefa são distintos. Um achado importante é que rótulos repetitivos podem produzir baixa perda de treinamento enquanto trajetórias e comportamento do robô permanecem ruins.


Resumo​

Tradução​

Modelos de sequência autoregressivos, incluindo VLAs baseados em Transformer, podem representar comportamentos robóticos complexos e generalizáveis, mas exigem um tokenizer para mapear predições discretas para ações contínuas. Os autores constatam que um agrupamento simples por dimensão e por passo de tempo tem desempenho ruim em dados hábeis de alta frequência.

Eles propõem a Tokenização de Sequência de Ações no Espaço de Frequência (FAST), usando compressão baseada em DCT para permitir que VLAs autoregressivos aprendam tarefas hábeis de alta frequência onde a discretização padrão falha.

FAST+ é um tokenizer universal treinado em um milhão de sequências de ações de robôs reais, utilizável como um tokenizer de caixa-preta em diferentes espaços de ação e frequências de controle.

Combinado com a abordagem de VLA π0, FAST escala para 10.000 horas de dados de robôs, iguala o desempenho de VLAs no estilo difusão e reduz o tempo de treinamento em até cinco vezes.

Comentário​

  • Motivação: Ações em alta taxa contêm informação repetida. Tokens pontuais gastam esforço de predição em rótulos com pouca supervisão de novo movimento.

  • Mudança central: Alterar a representação do alvo de aprendizado antes de treinar a política. FAST comprime informações de trajetória sem reduzir a frequência de execução nem descartar pontos de controle.

  • Por que isso pode funcionar: A DCT concentra o formato da trajetória, a quantização cria coeficientes comprimíveis e o BPE encurta combinações comuns. Os três contribuem para os tokens finais.

  • Significado de “universal”: FAST+ evita retreinar um vocabulário BPE específico de cada dataset, mas ainda requer normalização, dimensões e horizontes compatíveis. Seus um milhão de amostras de treinamento são principalmente trechos de um segundo, não um milhão de episódios completos de tarefa.

  • Escopo de “cinco vezes”: Experimentos de política em larga escala reduzem as horas de GPU necessárias em até cerca de cinco vezes. Isso não é inferência mais rápida: a v1 relata cerca de 750 ms por trecho π0-FAST versus geralmente menos de 100 ms para π0.


Introdução​

FAST / π0-FAST Paper Deep-Dive: 3. Introduction (01-tokenization-bottleneck)

Parágrafo 1: Localizar o Gargalo na Tokenização​

  • Ponto principal: Grandes Transformers podem aprender o comportamento do robô do zero ou usar pré-treinamento imagem-texto, mas as ações precisam ser tokenizadas. A discretização ponto a ponto enfrenta dificuldades em tarefas hábeis de alta taxa porque copiar valores recentes correlacionados obtém baixa perda e pode prender o aprendizado em um ótimo local ruim.

  • Problema: Um backbone poderoso não garante aprendizado útil de ações; a representação do alvo pode limitar a supervisão.

  • Configuração: A Seção IV estuda a densidade de amostragem com interpolação sintética; a Seção V propõe compressão.

FAST / π0-FAST Paper Deep-Dive: Paragraph 1: Locate the Bottleneck in Tokenization (02-compress-then-predict)

Parágrafo 2: Comprimir Primeiro, Prever Depois​

  • Ponto principal: Inspirado pela tokenização de linguagem, FAST usa DCT para sinais contínuos de robôs. A predição padrão do próximo token então aprende tarefas que antes falhavam e suporta uma política DROID usada via linguagem em cenários inéditos.

  • Problema: Se a redundância temporal é o obstáculo, reduza a redundância dos rótulos em vez de apenas aumentar a capacidade da rede.

  • Configuração: A Seção V-B apresenta o algoritmo, e a Seção VI avalia tarefas reais e a generalização do DROID.

FAST / π0-FAST Paper Deep-Dive: Paragraph 2: Compress First, Predict Second (03-universal-tokenizer-and-scaling)

Parágrafo 3: Tokenização Universal e Políticas em Larga Escala​

  • Ponto principal: FAST+ aprende um vocabulário a partir de um milhão de sequências cobrindo braço único, bimanual, móvel e interfaces e frequências de controle variadas. π0-FAST escala a autorregressão para 10.000 horas com menos tempo de treinamento do que a comparação em estilo de difusão.

  • Problema: Retreinar um tokenizador para cada robô adiciona sobrecarga, e o método precisa escalar além de datasets individuais.

  • Configuração: A Seção V-C e o Apêndice A descrevem o FAST+; VI-C testa universalidade e VI-F políticas em larga escala.

Atenção: A introdução contém três parágrafos principais, com o primeiro abrangendo as páginas 1–2. Quebras de página e legendas de figuras não são parágrafos extras. Afirmações sobre o “primeiro” resultado DROID refletem a avaliação dos autores na época da publicação, não uma revisão de trabalhos posteriores.


Trabalhos Relacionados​

  • Tokenização de texto, imagem e áudio: O BPE de texto mescla subsequências frequentes; outros modos usam quantização aprendida ou representações em frequência. FAST aplica o princípio de representação e compressão a trechos de ações contínuas. A DCT é analítica; apenas o vocabulário BPE é aprendido.

  • VLAs: RT-2 e OpenVLA transferem conhecimento imagem-texto para controle, mas comumente usam discretização ponto a ponto de ações. FAST altera as saídas para que um backbone autorregressivo possa aprender destreza em alta taxa; o π0 de fluxo contínuo é uma comparação chave.

  • Representações de ação: Subtarefas semânticas e keypoints podem depender de controladores projetados manualmente; a discretização representa diretamente os controles, mas tem redundância temporal; cabeças de regressão e difusão mudam os mecanismos de saída. FAST mantém a predição de sequência discreta. A comparação com compressão aprendida usa quantização escalar finita (FSQ). FAST não precisa de codificador neural e tem melhor desempenho nas reconstruções de alta fidelidade e tarefas hábeis testadas, não necessariamente em todo tokenizador aprendido.


Sistema de Política π0-FAST e Plataformas Experimentais​

Objetivos e Componentes​

FAST é um método de processamento de ações, não um novo hardware de teleoperação. Esta seção do sistema explica como tokenização, a VLA, controle e avaliação se encaixam.

Os objetivos são comprimir ações de alta taxa mantendo trajetórias detalhadas, reutilizar treinamento autorregressivo de VLM, suportar espaços de ação variados, permitir treinamento/reuso fácil de tokenizadores e escalar entre diferentes corpos robóticos.

ComponenteConfiguração no artigoFunção
FAST / FAST+DCT, quantização, achatamento frequência-primeiro, BPECodificar trechos como símbolos previsíveis e decodificá-los.
Backbone π0-FASTPaliGemma-3BCodificar imagens/linguagem e gerar tokens de ação de forma autorregressiva.
Comparação de transferência de backboneOpenVLA baseado em Prismatic 7BTestar se os benefícios se estendem além do PaliGemma.
ImagensDuas ou três visões 224×224224\times224Uma visão externa mais uma visão de punho por braço.
PropriocepçãoDiscretização em 256 faixas, depois tokenização de inteiros em textoFornecer o estado atual do robô.
ExecuçãoControladores de baixo nível específicos da plataformaEnviar valores contínuos decodificados para juntas, garras e outros controles.

Artigo: Todos os pesos de política são ajustados por fine-tuning. Cada imagem é codificada separadamente, depois os tokens visuais são concatenados. O tamanho da imagem e a codificação textual de estado são especificados no Apêndice C em vez de inferidos de π0.

FAST / π0-FAST Paper Deep-Dive: 5.1 Goals and Components (image-01)

Tarefa / cenárioPlataforma e taxa de controleCapacidade testada
LIBEROSimulaçãoGeneralização espacial, de objetos, de objetivos e de longo horizonte.
Limpeza de mesaUR5/UR5e único, 20 HzAgarrar, classificar e guardar 12 objetos.
Dobrar camisetaARX bimanual, 50 HzAgarrar e dobrar com precisão uma camiseta plana.
Ensacamento de comprasUR5/UR5e único, 20 HzEnsacar sete objetos sem colapsar ou rasgar a sacola.
Torrada fora da torradeiraTrossen Viper-X bimanual, 50 HzRemover duas fatias de torrada e colocá-las em um prato.
Dobrar roupaARX bimanual, 50 HzRetirar, estender, dobrar e empilhar roupas de um cesto.
Tarefas de mesa DROID zero-shotDados e implantação em Franka, 15 HzSeguir linguagem para posicionamento, limpeza, operações com gavetas e tarefas relacionadas em novos cenários.

Atenção: Alta frequência de controle significa muitos pontos de controle por segundo; alta frequência em DCT significa variação rápida ao longo de uma trajetória. Movimento suave a 50 Hz ainda pode ser dominado por coeficientes de baixa frequência. Nenhuma delas é a taxa de inferência do modelo completo.

Conectando Codificação, Predição e Execução​

O fluxo de trabalho completo é:

Demonstrations → one-second future chunks → normalization and FAST → action-token labels
Current images + language + state → VLM prefix → learn action-token prediction
↓ after training
New observations → autoregressive tokens → FAST decoding → continuous chunk → execute
↓
observe and predict again

FAST codifica apenas alvos de ação; ele não interpreta imagens nem aplica DCT à propriocepção atual. Durante o treinamento, o modelo vê tokens de ações anteriores de verdade-terreno; na inferência, ele vê seus próprios tokens gerados.

Artigo: Símbolos de ação substituem slots raramente usados no vocabulário da VLM, reutilizando saídas discretas sem um especialista de fluxo ao estilo π0. Experimentos com OpenVLA ainda modificam entradas de múltiplas imagens e saídas em trechos. Compatibilidade com backbones autorregressivos não significa que todo código-base robótico existente não precise de adaptação.

Temporização de execução: DROID prediz 15 passos e executa oito ou 15 em malha aberta antes de atualizar observações. A 15 Hz, isso cobre cerca de 0,53 ou um segundo de pontos de controle, não o total de ciclos de relógio de parede incluindo inferência e comunicação. A v1 não especifica um único comprimento de execução para todas as plataformas.

Justificativa: Trechos preservam a coerência da trajetória; a compressão torna rótulos de alta taxa aprendíveis; saídas autorregressivas permitem que pesos pré-treinados de imagem-texto participem diretamente. Controladores recebem valores contínuos, não IDs de BPE.

Dados, Capacidades e Resultados​

Escala e Configuração do Dataset​

UsoEscopoDistinção
Treinamento do tokenizador FAST+Cerca de um milhão de trechos de ações reais de um segundoAprende BPE, não compreensão visual da VLA.
Cobertura do FAST+Braço único, bimanual, móvel; controles de junta, efetuador final em referencial do mundo e efetuador final em referencial da câmera; frequências variadasUm robô pode contribuir com múltiplas parametrizações de ação.
Política em larga escalaMistura π0: 903M timesteps internos, com dados abertos recebendo peso de amostragem de mistura de 9,1%Fontes abertas incluem Bridge v2, DROID e OXE; 9,1% não é uma fração do volume bruto de dados.
Política específica de DROID75k episódios bem-sucedidos, cerca de 21M amostrasFiltragem leve e remoção de ações ociosas totalmente zero; o treinamento da política ainda é necessário.
Treinamento DROIDLote 256, 240k iterações, cerca de três épocasO Apêndice D relata cerca de quatro dias em oito H100s para essa configuração.

Artigo: O treinamento do FAST+ preenche ações até 32 dimensões. Isso alinha os dados do tokenizador, não o tamanho de saída de toda política, e difere da interface 18D de π0. Novas plataformas ainda precisam que suas dimensões efetivas de ação sejam definidas.

DROID usa uma imagem externa e uma de pulso. O treinamento escolhe aleatoriamente entre duas câmeras externas disponíveis e três anotações de linguagem por episódio, sem informações de calibração de câmera. Os controles são velocidades das juntas e posição absoluta do gripper. A implantação em novos pontos de vista não elimina a necessidade de configurar coordenadas e interfaces de controle.

Compressão: Menos tokens, o mesmo horizonte de ação​

Esses resultados de um segundo reproduzem a Tabela I. A compressão é a contagem pontual de tokens dividida pela contagem média de FAST em erro de reconstrução semelhante.

Conjunto de dados / tarefaDimensão DDTaxa e horizonte HHTokens pontuaisTokens FAST médiosCompressão
BridgeV275 Hz, 5 passos35201.75
DROID715 Hz, 15 passos105293.6
Arrumação de mesa720 Hz, 20 passos140285.0
Dobragem de camiseta1450 Hz, 50 passos7005313.2

Interpretação: Aumentar os pontos de controle não adiciona necessariamente, de forma proporcional, novas informações de movimento. Cerca de 30 tokens por braço por segundo é uma observação empírica aqui, não um comprimento fixo.

Verificação de versão: A Tabela III do apêndice usa alguns conjuntos de dados offline de dimensões diferentes, incluindo DROID Joint 8D e arrumação de mesa, enquanto a Tabela I lista 7D. A convenção da Tabela I é mantida em vez de fundir diferentes parametrizações em uma única especificação.

Avaliação: Sucesso e progresso são diferentes​

TarefaAvaliação
LIBEROSucesso binário por episódio; quatro suítes treinadas em conjunto em cerca de 270k amostras por 40k iterações.
Arrumação de mesaFração de 12 objetos colocados corretamente no lixo ou no recipiente de armazenamento.
Dobragem de camisetaSucesso de dobragem julgado por humanos em cinco camisetas já vistas.
Ensacamento de comprasFração de sete objetos colocados na sacola.
Remoção de torradasUm ponto por fatia removida e um por fatia servida no prato; quatro pontos no total, depois normalizados.
Dobragem de roupaDobragem e empilhamento de roupas julgados por humanos, com cinco peças aleatórias no cesto.
Testes quantitativos de DROID44 tentativas por política, com pontos de progresso específicos da tarefa, como pega correta e destino correto.

Verificação de versão: O texto principal chama a quarta suíte do LIBERO de Libero-10; o apêndice a chama de Libero-Long. Ela é descrita aqui como a suíte de longo horizonte. O Apêndice E menciona 16 tarefas DROID, enquanto a Tabela II lista 17 nomes; as contagens de tentativas ainda somam 44. A discrepância é preservada em vez de ser resolvida silenciosamente.

Limite da evidência: Implantações em Berkeley, Stanford e na Universidade de Washington são demonstrações qualitativas adicionais sem taxas de sucesso reportadas. Zero-shot significa nenhum treinamento adicional para a nova cena de implantação, não ausência de treinamento DROID. O treinamento de vocabulário FAST+ também inclui dados de tarefas reais de avaliação, então a Figura 6 não mostra tanto o tokenizador quanto a política completamente desconhecendo todas as tarefas.

Comparando tokenizadores​

FAST / π0-FAST Paper Deep-Dive: Comparing Tokenizers (image-06)

Em arrumação de mesa a 20 Hz e dobragem de camiseta a 50 Hz, o agrupamento pontual faz pouco progresso, enquanto FAST e FAST+ aprendem políticas úteis. FSQ apoia o valor da compressão, mas geralmente fica atrás de FAST nessas tarefas de destreza. FAST+ universal fica próximo do FAST específico do conjunto de dados, apoiando seu uso como padrão.

Cuidado: A figura faz a média de diferentes pontuações de tarefas, portanto não é uma taxa de sucesso média uniforme. As barras de erro também limitam conclusões sobre pequenas diferenças entre barras semelhantes.

Comparação de conjunto de dados único com π0​

FAST / π0-FAST Paper Deep-Dive: Single-Dataset Comparison with π0 (image-09)

  • Em conjuntos de dados menores como LIBERO e dobragem de camiseta, os autores julgam o desempenho comparável.

  • Em grandes dados de arrumação de mesa, FAST atinge desempenho forte mais cedo; π0 leva cerca de três vezes mais passos para se aproximar disso.

  • Em DROID, π0-FAST segue a linguagem de forma mais confiável enquanto o π0 com flow-matching frequentemente a ignora; o artigo não estabelece a causa subjacente.

Explicação: Teacher forcing calcula perdas para posições de saída em paralelo durante o treinamento; a inferência autoregressiva permanece sequencial. Treinamento mais rápido e inferência mais lenta podem coexistir. Esses resultados não estabelecem superioridade autoregressiva universal.

Generalistas em larga escala e comparação com computação equivalente​

FAST / π0-FAST Paper Deep-Dive: Large-Scale Generalists and Compute-Matched Comparison (image-02)

π0-FAST tem desempenho geral semelhante ao π0 em dobragem, arrumação, ensacamento, torradas e lavanderia. As tarefas individuais variam; torradas não sustentam uma afirmação de superioridade universal do FAST. O π0-FAST avaliado usa cerca de um quinto das horas de GPU.

Cuidado: VI-F descreve de forma ampla a comparação zero-shot, mas o Apêndice E especifica ajuste fino de tarefa de alta qualidade para lavanderia após pré-treinamento em larga escala. Ensacamento e torradas usam modelos pré-treinados diretamente. Nem toda tarefa da Figura 6 está livre de ajuste fino específico da tarefa.

FAST / π0-FAST Paper Deep-Dive: Large-Scale Generalists and Compute-Matched Comparison (image-10)

A equiparação de computação apoia mais diretamente a convergência mais rápida: FAST tem uma média geral mais alta e ganhos claros em arrumação/ensacamento, embora ainda fique atrás em torradas. Isso é evidência de eficiência de treinamento, não de capacidade final mais forte em todas as tarefas.

Limite de implantação: Em uma RTX 4090, VI-E relata geralmente menos de 100 ms para π0 e cerca de 750 ms para π0-FAST por bloco de um segundo. FAST decodifica cerca de 30–60 tokens através de todo o backbone de linguagem; π0 repete principalmente seu especialista menor de 300M por dez atualizações de fluxo. Tarefas estáticas toleram essa latência, mas tarefas dinâmicas e otimização de inferência permanecem trabalho futuro.


Tokenização em espaço de frequência e modelagem de política autoregressiva​

Mecanismo 1: Expressar uma trajetória com DCT​

Problema e intuição​

Pontos de controle vizinhos em trajetórias suaves são semelhantes. Alvos independentes crescem com a taxa de amostragem sem adicionar muita informação. DCT, em vez disso, descreve quais formas de cosseno se combinam, e com quais amplitudes, para formar a trajetória.

Alguns poucos coeficientes de baixa frequência frequentemente descrevem a forma global suave; frequências mais altas representam mudanças rápidas e detalhes. A própria DCT nem descarta altas frequências nem impõe um filtro passa-baixa fixo. DCT completa e DCT inversa são reversíveis; a quantização introduz a perda.

Expressão formal​

Explicação: O artigo aplica DCT de forma independente ao longo de cada dimensão de ação. Uma convenção DCT-II ortonormal é usada abaixo para clareza, sem afirmar que o pseudocódigo especifica essa normalização.

Para um bloco normalizado X∈RH×DX\in\mathbb R^{H\times D}:

Ck,d=αk∑j=0H−1Xj,dcos⁡[πH(j+12)k]C_{k,d}=\alpha_k\sum_{j=0}^{H-1}X_{j,d} \cos\left[\frac{\pi}{H}\left(j+\frac12\right)k\right]

α0=1H,αk=2H(k>0)\alpha_0=\sqrt{\frac1H},\qquad \alpha_k=\sqrt{\frac2H}\quad(k>0)

jj indexa o tempo dentro do bloco, d=1,…,Dd=1,\ldots,D dimensões de ação, e k=0,…,H−1k=0,\ldots,H-1 frequência. C∈RH×DC\in\mathbb R^{H\times D} é a matriz de coeficientes. k=0k=0 é constante; kk mais altos variam mais rápido. DCT atua ao longo do tempo, não entre juntas.

A inversa correspondente é:

Xj,d=∑k=0H−1αkCk,dcos⁡[πH(j+12)k]X_{j,d}=\sum_{k=0}^{H-1}\alpha_k C_{k,d} \cos\left[\frac{\pi}{H}\left(j+\frac12\right)k\right]

Cada ponto no tempo depende de múltiplas frequências; um coeficiente de frequência geralmente afeta todo o bloco.

Exemplo numérico mínimo​

Explicação: Considere H=4,D=2H=4,D=2, com ações normalizadas ilustrativas:

X=[0.20.00.20.10.20.20.20.3]⟹C≈[0.40.30−0.2230000−0.0159]X=\begin{bmatrix} 0.2&0.0\\ 0.2&0.1\\ 0.2&0.2\\ 0.2&0.3 \end{bmatrix} \quad\Longrightarrow\quad C\approx\begin{bmatrix} 0.4&0.3\\ 0&-0.2230\\ 0&0\\ 0&-0.0159 \end{bmatrix}

A primeira dimensão constante precisa de apenas um coeficiente constante diferente de zero. A segunda dimensão crescente é representada principalmente pelo componente constante e pelo primeiro componente variante, com um pequeno coeficiente de frequência mais alta. Ainda há quatro instantes de tempo e duas dimensões; apenas a representação de coordenadas muda.

Por que isso ajuda: Amostras densas de movimento suave adicionam pontos semelhantes sem necessariamente adicionar frequências importantes. Concentrar informações compartilhadas torna possível a compressão em menos tokens informativos.

Escala e limites: Os blocos geralmente têm cerca de um segundo. H=1H=1 não oferece redundância temporal; blocos curtos limitam a compressão, enquanto blocos longos aumentam o horizonte e, se executados em malha aberta, atrasam o feedback. Contato abrupto ou transições do gripper podem exigir frequências mais altas; algumas poucas baixas frequências não podem representar com precisão toda ação.

Mecanismo 2: Quantização, ordenação por frequência primeiro e BPE​

Por que DCT sozinha é insuficiente​

DCT ainda produz HDHD coeficientes reais. Tokenizar cada um separadamente não encurta a sequência, e coeficientes próximos de zero criam rótulos repetidos. FAST, portanto, adiciona quantização e BPE.

FAST / π0-FAST Paper Deep-Dive: Why DCT Alone Is Insufficient (image-00)

Normalização por percentil por dimensão​

Artigo: Mapear os percentis 1 e 99 de cada dimensão dos dados de treinamento para −1-1 e 11, reduzindo diferenças de escala e a influência de outliers.

Explicação: Para uma dimensão não degenerada:

Xj,d=2At[j,d]−LdUd−Ld−1X_{j,d}=2\frac{A_{t}[j,d]-L_d}{U_d-L_d}-1

LdL_d e UdU_d são os percentis 1 e 99, respectivamente; At[j,d]A_t[j,d] é o componente de ação física, e Xj,dX_{j,d} seu valor normalizado sem unidade. Se Ld=0,Ud=2L_d=0,U_d=2 para uma junta, ações físicas 0,1,20,1,2 mapeiam para −1,0,1-1,0,1.

Cuidado: Mapear percentis não força todo valor para dentro de [−1,1][-1,1]. Siga a implementação para recorte (clipping) e para o caso degenerado Ld=UdL_d=U_d; a v1 não detalha isso. Salve as estatísticas de treinamento para implantação em vez de recomputar percentis em cada bloco previsto.

Escalonar e Arredondar para Criar Inteiros Compressíveis​

Qk,d=round⁡(γCk,d),C^k,d=Qk,dγQ_{k,d}=\operatorname{round}(\gamma C_{k,d}),\qquad \widehat C_{k,d}=\frac{Q_{k,d}}{\gamma}

QQ é a matriz de inteiros, γ>0\gamma>0 a escala, e C^\widehat C os coeficientes reconstruídos. Um γ\gamma maior torna a malha mais fina, geralmente melhorando a reconstrução, mas potencialmente aumentando os tokens; valores menores zeram mais coeficientes pequenos e comprimem mais, com erro maior.

Artigo: Os experimentos específicos de conjunto de dados usam γ=10\gamma=10 e vocabulário V=1024V=1024, com sensibilidade limitada na faixa testada. Esses não são ajustes universais para espaços de ação arbitrários.

Continuando o exemplo com γ=10\gamma=10:

Q=[430−20000]Q=\begin{bmatrix} 4&3\\ 0&-2\\ 0&0\\ 0&0 \end{bmatrix}

A alta frequência −0,0159-0{,}0159 torna-se zero, enquanto −0,2230-0{,}2230 torna-se −2-2. Nenhuma regra mantém apenas as duas primeiras frequências; qualquer coeficiente suficientemente grande pode permanecer diferente de zero.

Explicação: O arredondamento comum garante ∥C^k,d−Ck,d∥≤1/(2γ)\|\widehat C_{k,d}-C_{k,d}\|\leq 1/(2\gamma). Isso limita o erro de um coeficiente, não o erro físico da junta diretamente, que também depende da transformação inversa, da escala de ação e do clipping.

Ordenação por Frequência Prioriza a Forma Global​

Antes do BPE, FAST ordena os coeficientes por frequência crescente e, em seguida, por dimensão de ação dentro de cada frequência:

u=[Q0,1,…,Q0,D,Q1,1,…,Q1,D,…,QH−1,D]u=[Q_{0,1},\ldots,Q_{0,D},Q_{1,1},\ldots,Q_{1,D},\ldots,Q_{H-1,D}]

uu contém HDHD inteiros. No exemplo:

Frequency 0, two dimensions: 4, 3
Frequency 1, two dimensions: 0, -2
Frequency 2, two dimensions: 0, 0
Frequency 3, two dimensions: 0, 0
Flattened: 4, 3, 0, -2, 0, 0, 0, 0

Artigo: A ordenação por frequência produz rollouts mais estáveis do que a ordenação por dimensão, ao prever primeiro a forma global de baixa frequência. A matriz original D×HD\times H chama isso de ordem por colunas; a convenção H×DH\times D deste guia a torna ordem por linhas. O que importa é a ordenação semântica, não o rótulo de linha/coluna.

BPE Agrupa Subsequências de Inteiros Comuns​

BPE aprende combinações frequentes de símbolos adjacentes e as adiciona a um vocabulário finito. Um vocabulário ilustrativo pode agrupar [0,0,0,0][0,0,0,0] ou [4,3][4,3] em tokens individuais, encurtando o exemplo de oito inteiros.

Explicação: As regras de mesclagem reais e os IDs dependem dos dados de treinamento; estes não são o vocabulário literal do artigo. Um token pode abranger dimensões ou frequências vizinhas, e a decodificação o expande de volta em inteiros.

Distinção chave: Arredondar coeficientes é com perda; BPE é sem perda na sequência de inteiros quantizados. Posições de zero são preservadas e comprimidas, não removidas. Caso contrário, a transformação inversa perderia suas localizações de frequência e dimensão.

FAST / π0-FAST Paper Deep-Dive: 4. BPE Merges Common Integer Subsequences (image-03)

Lendo a ablação: Sem BPE, DCT ainda concentra informação e supera o binning ponto a ponto, mas tokens de zero repetidos diluem a supervisão e adicionam etapas de decodificação. O desempenho cai em ambas as tarefas reais, apoiando contribuições separadas de DCT e BPE.

Modelando Demonstrações e Reutilizando FAST+ entre Corpos​

Uma Observação Pode Ter Várias Ações Válidas​

Uma pessoa pode segurar qualquer um dos cantos da camisa ou desdobrá-la de forma diferente. A regressão direta de erro quadrático médio pode fazer a média de alternativas válidas em um caminho intermediário inválido. π0 modela uma distribuição contínua; π0-FAST modela probabilidades sobre tokens comprimidos.

Fatorização autoregressiva:

pθ(z1:n∣ot)=∏k=1npθ(zk∣ot,z<k)p_\theta(z_{1:n}\mid o_t) =\prod_{k=1}^{n}p_\theta(z_k\mid o_t,z_{<k})

z1:nz_{1:n} é a sequência FAST e z<kz_{<k} seu prefixo antes do token kk. Cada etapa prevê probabilidades no vocabulário em vez de fazer a média de valores físicos de ação; a sequência completa decodifica para uma trajetória.

Cuidado: FAST não tem codificador CVAE, bloco de ação Gaussiano ruidoso ou entrada de tempo de fluxo como π0. Esta seção explica o modelamento de demonstrações sem importar módulos ACT ou π0. A cobertura ainda depende dos dados, da fidelidade da quantização e do aprendizado.

Por que Rótulos Repetidos em Alta Taxa Enfraquecem o Aprendizado​

Explicação: Quando valores adjacentes mal mudam, a entropia condicional do próximo token pode ser baixa:

H(Zk∣Z<k,ot)\mathrm H(Z_k\mid Z_{<k},o_t)

ZkZ_k é um token de ação aleatório e H\mathrm H entropia condicional, distinta do horizonte HH. Um prefixo previsível explica grande parte do próximo rótulo, então a repetição pode obter boa pontuação sem dependência suficiente da imagem ou da tarefa.

Essa perspectiva de informação explica os resultados sintéticos e de alta taxa; não é prova de que toda política binada falha ou de que menos tokens sempre ajudam. Perda severa de compressão ainda pode produzir comportamento incorreto.

Um Vocabulário Universal com FAST+​

As etapas analíticas de FAST se transferem entre conjuntos de dados, mas um vocabulário BPE específico de conjunto de dados não necessariamente o faz. FAST+ aprende uma cobertura mais ampla a partir de cerca de um milhão de blocos entre corpos diferentes:

Multiple robots, action spaces, and control rates
→ Normalize for each data configuration
→ Pad training actions to 32 dimensions
→ DCT, quantization, frequency-first flattening
→ Train BPE on the pooled integer sequences
→ Reusable FAST+ tokenizer

O vocabulário aprende padrões comuns de coeficientes e zeros, não semântica de câmera ou o controlador cinemático completo de um robô. Uma nova política ainda precisa de dados de imagem, linguagem, estado e ação para aprender o que fazer. Tokenização universal e controle generalista são níveis diferentes.

FAST / π0-FAST Paper Deep-Dive: A Universal Vocabulary with FAST+ (image-12)

Lendo a figura: FAST+ comprime formas, dimensões e frequências variadas. A Seção VI-C chama os testes de dados não vistos, enquanto a Tabela III inclui versões de plataformas/tarefas também nomeadas no treinamento. “Não visto” é, portanto, mantido no nível de divisão de dados do artigo, não estendido a todas as categorias de robô.

Limite: A Figura 10 é compressão offline, não sucesso de locomoção humanoide, mão hábil ou política de direção. A Seção VII observa que políticas físicas são validadas principalmente em manipuladores estacionários. A Tabela III inclui dados humanoides 40D, então o padding de treinamento 32D não é um máximo matemático para o método.

Treinando, Codificando e Decodificando o Tokenizador​

Treinamento do Tokenizador​

Para blocos de demonstração {A(s)}\{A^{(s)}\}, com índice de amostra ss:

  1. Calcule e salve estatísticas de percentil por dimensão para cada configuração de dados.

  2. Normalize para X(s)X^{(s)} e aplique DCT ao longo do tempo de forma independente por dimensão.

  3. Quantize para inteiro Q(s)Q^{(s)} usando γ\gamma fixo.

  4. Achate em ordem de frequência primeiro para u(s)u^{(s)}.

  5. Treine BPE de tamanho fixo em todas as sequências de inteiros para obter o vocabulário e as regras de mesclagem Φ\Phi.

Artigo: BPE é o único componente de tokenizador aprendido. Um vocabulário específico geralmente é treinado em minutos, não nos dias ou mais necessários para um VLA. DCT e quantização não têm pesos neurais e não precisam de codificador/decodificador VQ separado.

Codificação: Transformar Demonstrações Futuras em Rótulos​

A codificação completa é:

z1:n=BPE⁡Φ ⁣(Flatten⁡freq ⁣[round⁡(γDCT⁡[Norm⁡(At)])])z_{1:n}=\operatorname{BPE}_{\Phi}\!\left( \operatorname{Flatten}_{\rm freq}\!\left[ \operatorname{round}\left(\gamma\operatorname{DCT}[\operatorname{Norm}(A_t)]\right) \right]\right)

Norm⁡\operatorname{Norm} é a normalização, Flatten⁡freq\operatorname{Flatten}_{\rm freq} o achatamento com frequência primeiro, e Φ\Phi regras BPE fixas. DCT atua ao longo do tempo por dimensão. A codificação precisa de ações futuras reais, então cria rótulos de treinamento em vez de assumir conhecimento futuro durante a implantação.

Cuidado: O Algoritmo 1 começa em DCT, omitindo a normalização explícita, enquanto a Seção V-B a especifica em prosa. Este guia segue o pipeline completo. O arredondamento não pode ser invertido exatamente, então a decodificação reconstrói uma aproximação das ações pré-quantizadas.

Decodificação: Transformar Previsões em Ações Executáveis​

Após gerar z^1:n^\widehat z_{1:\widehat n}:

u^=BPE⁡Φ−1(z^1:n^),Q^=Unflatten⁡H,D(u^)\widehat u=\operatorname{BPE}^{-1}_{\Phi}(\widehat z_{1:\widehat n}),\qquad \widehat Q=\operatorname{Unflatten}_{H,D}(\widehat u)

C^=Q^/γ,X^=IDCT⁡(C^),A^t=Norm⁡−1(X^)\widehat C=\widehat Q/\gamma,\qquad \widehat X=\operatorname{IDCT}(\widehat C),\qquad \widehat A_t=\operatorname{Norm}^{-1}(\widehat X)

n^\widehat n é a contagem de tokens gerados; Unflatten⁡H,D\operatorname{Unflatten}_{H,D} reconstrói a matriz de coeficientes e IDCT⁡\operatorname{IDCT} é a inversa correspondente. O A^t∈RH×D\widehat A_t\in\mathbb R^{H\times D} final é contínuo. A implantação ainda precisa de H,DH,D alvo; o comprimento variável de tokens não substitui a definição da interface de controle.

Para a normalização linear anterior, a desnormalização é:

A^t[j,d]=Ld+X^j,d+12(Ud−Ld)\widehat A_t[j,d]=L_d+\frac{\widehat X_{j,d}+1}{2}(U_d-L_d)

Explicação: A transformação inversa do exemplo com γ=10\gamma=10 fornece aproximadamente:

X^≈[0.20.01930.20.09590.20.20410.20.2807]\widehat X\approx\begin{bmatrix} 0.2&0.0193\\ 0.2&0.0959\\ 0.2&0.2041\\ 0.2&0.2807 \end{bmatrix}

A segunda dimensão original é [0,0.1,0.2,0.3][0,0.1,0.2,0.3]; a reconstrução preserva sua forma crescente com pequenos erros. A decodificação BPE não adiciona nenhuma mudança a QQ: a quantização causa o erro. Esses são valores normalizados, não diretamente radianos ou milímetros.

Verificar Compressão e Reconstrução em Conjunto​

FAST / π0-FAST Paper Deep-Dive: Check Compression and Reconstruction Together (image-07)

Lendo a figura: FSQ aprendido pode ser eficaz em baixa precisão e com pouquíssimos tokens. Em maior precisão, o erro de FAST diminui mais com a contagem de tokens e se adapta melhor às tarefas de controle fino testadas. A sequência mais curta não é automaticamente a melhor representação de trajetória.

Limites: Escalas de quantização muito pequenas podem apagar coeficientes e produzir movimento quase constante; escalas grandes melhoram a fidelidade, mas criam menos zeros compressíveis e inteiros mais complexos. Vocabulários maiores representam mais combinações, mas consomem mais posições de saída. A faixa testada não estabelece ganhos de desempenho monotônicos.

Nota de engenharia: Tokens previstos ou comprimentos expandidos podem ser inválidos. Verifique o formato do bloco, as dimensões efetivas e os limites de controle antes da execução. A v1 não especifica totalmente reparos, então padding ou truncamento não devem ser apresentados como uma implementação documentada do artigo.

A Rede π0-FAST Completa​

Entradas e Formatos​

Cada predição é condicionada em:

  • Duas ou três imagens RGB de 224×224×3224\times224\times3.

  • Instrução em linguagem natural ℓt\ell_t.

  • Propriocepção qtq_t, com dimensões dependentes da plataforma.

  • Apenas durante o treinamento, ações futuras reais At∈RH×DA_t\in\mathbb R^{H\times D} para supervisão FAST.

O cenário de camisa da Tabela I usa H=50,D=14H=50,D=14, resultando em rótulos 50×1450\times14; seu cenário DROID usa H=15,D=7H=15,D=7, resultando em 15×715\times7. Use o espaço de ação efetivo para a versão real do conjunto de dados.

Diferença em relação a π0: π0 projeta continuamente estado e ações ruidosas em um especialista. FAST v1 discretiza o estado atual em 256 níveis e tokeniza os inteiros como texto, enquanto ações futuras usam FAST. O estado é uma condição atual em vez de uma longa saída em alta taxa, então os autores consideram a discretização simples suficiente nesse caso.

Recursos de Imagem e Texto em um Único Backbone​

Um codificador pré-treinado produz tokens visuais por câmera; strings de tarefa e estado produzem tokens de texto. Juntos, eles formam o prefixo de observação. PaliGemma-3B é o backbone principal, com OpenVLA/Prismatic 7B como comparação de transferência.

Explicação: Com NvN_v tokens por imagem e Nℓ,NqN_\ell,N_q tokens de linguagem/estado, o comprimento do prefixo é:

No=mNv+Nℓ+NqN_o=mN_v+N_\ell+N_q

mm é a contagem de câmeras e NoN_o o comprimento do prefixo, ignorando alguns separadores/tokens especiais. Para largura de embedding EE, a representação é No×EN_o\times E. Isso explica as dimensões, não uma especificação completa da v1; contagens visuais, largura, separadores e codificações de posição não são todos fornecidos.

Sufixo de Ação e Atenção​

FAST codifica ações demonstradas como nn tokens, mapeados para slots de VLM raramente usados e fornecidos como um sufixo de predição após o prefixo de observação.

Explicação: A predição do token kk usa observações e os k−1k-1 tokens de ação anteriores, nunca rótulos futuros. Isso é autoregressão causal, sem codificador CVAE ou decodificador de fluxo contínuo.

Os estados ocultos do backbone se tornam logits de vocabulário e probabilidades de classificação. V=1024V=1024 é o vocabulário de ações em experimentos específicos de conjunto de dados, não o vocabulário completo de linguagem.

Loss de Treinamento da Política​

Explicação: A log-verossimilhança negativa padrão expressa o objetivo declarado de próximo token:

LAR(θ)=E(ot,At)[−∑k=1nlog⁡pθ(zk∣ot,z<k)],z1:n=T(At)\mathcal L_{\rm AR}(\theta) =\mathbb E_{(o_t,A_t)}\left[ -\sum_{k=1}^{n}\log p_\theta(z_k\mid o_t,z_{<k}) \right],\qquad z_{1:n}=\mathcal T(A_t)

LAR\mathcal L_{\rm AR} é o loss autoregressivo, θ\theta os pesos da política, e a expectativa faz a média sobre demonstrações; nn varia por amostra. A v1 não especifica completamente a média sobre tokens ou o tratamento de símbolos de fim.

Teacher forcing usa z<kz_{<k} de verdade-terreno durante o treinamento. Uma máscara causal permite losses em todas as posições em um único forward pass, enquanto a inferência depende de prefixos gerados e prossegue sequencialmente. Alvos mais curtos reduzem overhead sem remover a dependência serial da inferência.

Configuração do artigo: 1.000 passos lineares de aquecimento, depois taxa de aprendizado 5×10−55\times10^{-5}; AdamW com β1=0.9,β2=0.95\beta_1=0.9,\beta_2=0.95, sem weight decay, clipping de gradiente em 1 e coeficiente de média móvel exponencial 0,999. Todos os pesos da política são fine-tunados.

Amostragem e Saídas Contínuas​

A maioria das tarefas usa decodificação gananciosa (greedy). Dobragem de camisa bimanual, remoção de torrada e lavanderia usam temperatura 0,7, o que os autores consideram ajudar a escapar de comportamento quase estacionário em torno de poses iniciais.

Explicação: Para logits rk,vr_{k,v} e temperatura η>0\eta>0:

pk,v=exp⁡(rk,v/η)∑wexp⁡(rk,w/η)p_{k,v}=\frac{\exp(r_{k,v}/\eta)}{\sum_{w}\exp(r_{k,w}/\eta)}

v,wv,w indexam candidatos e pk,vp_{k,v} é a probabilidade de amostragem. Este guia usa η\eta para distinguir temperatura de β1,β2\beta_1,\beta_2 do otimizador; o artigo escreve temperatura β=0.7\beta=0.7. Ela difere da escala de quantização γ=10\gamma=10.

FAST decodifica tokens para A^t∈RH×D\widehat A_t\in\mathbb R^{H\times D} nas unidades físicas do conjunto de dados. DROID usa velocidade de junta e posição absoluta do gripper; outras tarefas usam suas configurações de plataforma. Controladores executam ações válidas, então novas observações geram o próximo bloco.

Ablation: Depois de adicionar entrada multi-imagem e blocos de um segundo ao OpenVLA, substituir a discretização por FAST+ melhora substancialmente a dobragem de camisa. Os benefícios se estendem além do backbone π0, mas o teste não estabelece ganhos iguais para todo VLM.

Fluxo Completo em Comparação com π0​

Training:
Demonstration images + task language + current state + real next-second actions
→ Encode images as visual tokens
→ Tokenize language and discretized state text as the observation prefix
→ Normalize actions; DCT; quantize; frequency-first flatten; BPE
→ Map action tokens to VLM output slots
→ Compute teacher-forced next-token cross-entropy
→ Fine-tune all policy weights to obtain π0-FAST

Inference:
Current images + task language + state
→ Construct observation prefix
→ Greedily decode or sample action tokens at the specified temperature
→ Reverse BPE and restore integer coefficient ordering
→ Dequantize, inverse DCT, denormalize
→ Obtain an H × D continuous chunk
→ Execute the configured steps with the low-level controller
→ Observe and predict again

In one sentence:
The VLM selects actions from the scene and task;
DCT concentrates shared information from densely sampled trajectories;
quantization and BPE turn coefficients into shorter token sequences;
autoregressive training models their conditional distribution, and FAST decoding restores continuous control.
The main benefits are action representation and training efficiency; v1 inference latency remains a major limitation.
Loading Comments...