Resumo

  • Um teste NCCL em todos os enlaces da SoftBank encontrou um link operando em uma fração não especificada do throughput normal, embora o LED estivesse verde, o Link Status fosse UP e a potência óptica estivesse na faixa normal. O estado nominal comprovava presença, não desempenho aceito.
  • A apresentação da JANOG58 lista switch, optics, NIC, fibra e sujeira no connector como superfícies de diagnóstico, mas não divulga causa raiz, proporção exata, BER/FEC do incidente nem reparo medido. Os valores e trocas de optics das páginas didáticas são exemplos.
  • A aceitação rack-scale precisa combinar um baseline portátil por enlace, evidência física, identidade de topologia, mudança limitada e repetição do mesmo teste depois do reparo. GPU instalada, ASN e prefixo alcançável não certificam capacidade interna vendável.

O desperdício começa na diferença entre inventário e serviço. A SoftBank descreve um rack GB200 NVL72 com 18 compute trays, quatro B200 GPU em cada um, e nove switch trays, cada qual com dois NVSwitch. São 72 GPU e 36 CPU em um equipamento que, segundo o deck, consome mais de 100 kW. A documentação da NVIDIA confirma essa forma de referência e acrescenta backplane de cabos passivos, power shelves, busbar e manifolds de refrigeração líquida.

Nada disso mede o enlace degradado. A arquitetura apenas mostra a consequência econômica: hardware caro pode estar presente, ligado e refrigerado enquanto uma dependência de rede reduz o trabalho que o conjunto consegue entregar.

Yasuhiro Uchida e Chaocheng Chang apresentaram o episódio em 16 de julho de 2026, no segundo dia da JANOG58. A sessão da SoftBank, Rack-Scale GPUサーバーのNW設計と運用までの苦悩, registra um NCCL benchmark aplicado a todos os enlaces. Um link ficou em “uma fração” da comunicação normal. O material não publica a proporção e não diz um terço.

Na mesma página, três verificações passam: LED Green, Link Status UP e potência óptica normal. O conjunto é mais útil do que qualquer sinal isolado, porque identifica a pergunta ausente no processo de aceitação. O link estava fisicamente presente e em estado operacional, mas o teste de workload não recebeu a taxa esperada.

O deck final tem 56 páginas. Há também um preread de nove páginas, cujo link oficial conserva o nome j56-lt4.pdf. Esse arquivo fala de switches com refrigeração líquida, interfaces proprietárias de cooling e padronização. É contexto para a dependência de facility, não uma versão resumida do incidente. Não fornece os contadores nem a sequência de reparo que faltam ao deck final.

Cada sinal nominal tem um alcance definido. O LED informa a condição detectada pelo circuito de status. Link Status UP informa que a interface chegou ao estado administrativo ou de protocolo esperado. Potência óptica na faixa informa que a luz recebida não cruzou o limite configurado. Essas medições não prometem margem de correção, integridade de todas as lanes ou throughput end-to-end para o collective.

O erro de operação seria escolher entre estado e benchmark. O caso sustenta uma combinação: manter os sinais locais e acrescentar uma prova que represente o serviço. Um collective NCCL é limitado pelo trecho lento ou degradado do grafo, não pela média das etiquetas dos ports. Por isso, um link nominalmente saudável consegue prender capacidade de compute muito mais valiosa atrás dele.

A divisão de rede da SoftBank reforça esse ponto. Compute Fabric carrega comunicação scale-out entre GPU. Converged Fabric carrega front-end, storage e NCCL bootstrap. OOB Fabric cuida de management de switches e servidores, monitoramento de facility e management de NVSwitch. A separação funcional reduz ambiguidade; não faz os cabos, firmware, alimentação, cooling e processos comuns desaparecerem.

O próprio desenho de gestão contém uma fronteira delicada. A comunicação pelos management ports dos leaf switches pode ser um ponto único. O acesso a loopbacks pelo underlay do Compute Fabric pode melhorar a reachability operacional por um custo de cabeamento muito menor. O deck avisa que isso não substitui OOB. Um caminho útil para reparar o production fabric não deve virar o único caminho que só funciona quando esse mesmo fabric está saudável.

Depois de encontrar a baixa taxa, o material enumera uma cadeia de investigação: switch, optics, NIC, fibra e sujeira no connector. Não há conclusão causal. O problema poderia aparecer no transmissor, receptor, lane, module, connector ou cable, cruzando domínios de suporte antes de se manifestar como throughput menor.

As páginas seguintes explicam pre-FEC BER, post-FEC BER e FEC histogram. Há padrões normais e anormais, além de diagramas que incluem troca de optics. Esses são exemplos de diagnóstico. A SoftBank não declara que o link real exibiu aqueles valores, caiu naqueles bins ou voltou ao normal depois da troca mostrada.

Preservar essa diferença impede que uma hipótese vire fato. BER pode mostrar erros antes da correção. FEC pode mostrar quanto da margem de correção está sendo consumido. A substituição limitada de um componente pode testar uma hipótese. Mas só a repetição do benchmark que descobriu a degradação comprova que a taxa útil voltou.

O registro público não contém benchmark before/after, componente responsável, valor exato da queda ou impacto em tenant. Também não publica uma sequência completa de reparo. Portanto, ele não sustenta uma história fechada de falha e conserto. Sustenta a descoberta de um gap de aceitação.

A mudança operacional proposta é mais clara. A apresentação afirma que Link UP = OK é insuficiente. Recomenda entender indicadores físicos como BER e FEC, coletar e analisar logs de interface e optics semanal e mensalmente e deixar de esperar somente por interface down para procurar sinais de degradação.

Ainda não é prova de manutenção preditiva. Não há thresholds, retenção, false positives, evento previsto ou ganho de disponibilidade. A afirmação responsável é que a SoftBank escolheu aproximar a monitoração do mecanismo físico e registrar tendências; o resultado futuro dessa escolha permanece desconhecido.

O custo de diagnóstico se duplica em um rack integrado. Primeiro vem o custo do compute parado. Depois, o custo de atribuir uma falha que pode atravessar cable cartridge, optics, switch, NIC, firmware e processes comuns, ao lado de busbar e refrigeração líquida. Cada fornecedor pode dizer corretamente que o próprio componente está dentro da especificação, enquanto a composição continua lenta.

A unidade comercial altera quem absorve essa incerteza. O deck compara serviços por rack, tray e GPU e conclui que a SoftBank atualmente entrega unidades rack e tray. A unidade de GPU foi analisada, mas não é apresentada como oferta atual.

O rack inteiro simplifica a partição para um cliente, mas entrega também dependências de Compute Fabric, CDU, NVSwitch, compute tray e busbar. A unidade tray atende um cliente menor e exige NVLink partition. O processo de management de NVSwitch é comum dentro do rack e aparece como single point of failure; para SLA mais alto, o deck aponta redundância em rack ou scalable unit.

Nesse arranjo, a SoftBank controla aceitação, workload admission, monitoring e a decisão de restauração na plataforma operada. NVIDIA e fornecedores de switch, NIC e optics controlam reference designs, firmware, diagnósticos privilegiados, listas de qualificação e remédios de suporte. A equipe de facility controla energia, refrigeração e acesso físico.

A JANOG controla a publicação da sessão. Essa autoridade é real e limitada. Ela torna o relato auditável, mas não certifica o link nem manda na produção. A linguagem de comunidade não substitui propriedade, contrato ou responsabilidade operacional.

Quem paga também pode ser identificado. A SoftBank financia cabeamento denso, optics, switches, spares, laboratório representativo, energia, cooling e especialistas capazes de atravessar as fronteiras de vendor. O dono do workload paga por jobs atrasados e aceleradores ociosos se o link degradado passar por uma aceitação nominal. Um comprador menor enfrenta custo proporcionalmente maior para manter rack de teste e estoque, o que amplia dependência do fornecedor integrado.

Quem se beneficia de uma aceitação melhor é o tenant que recebe performance demonstrada e o operador que transforma hardware em serviço cobrável. Fornecedores se beneficiam das vendas e do suporte. Esse equilíbrio só é legítimo se a prova de desempenho e a saída não ficarem sob controle exclusivo de um único vendedor.

Em dezembro de 2025, a SoftBank declarou que uma plataforma com 1.224 GPU Blackwell começou a operar em 22 de dezembro e que planejava expandir para mais de 4.000. O primeiro número é uma declaração de implantação; o segundo é um plano. Nenhum informa quantos links atendem a um baseline em determinado momento.

O benchmark de outro sistema não corrige essa lacuna. O TOP500 identifica o CHIE-4 da SoftBank como DGX B200 com InfiniBand NDR400. A posição desse sistema não pode ser atribuída ao ambiente GB200 NVL72 apresentado na JANOG58.

O contrafactual útil muda o processo antes da próxima anomalia. Para cada link obrigatório, o operador mantém a distribuição NCCL esperada ou outro baseline portátil, com link state, potência óptica, lane counters, pre/post-FEC BER, FEC histogram, module, fibra, endpoints switch/NIC, firmware, topology e timestamp.

Quando surgir uma divergência, muda-se um componente ou configuração limitada por vez, preservando counters antes e depois. Em seguida, executa-se exatamente o mesmo teste de todos os enlaces. Trend, alert, ticket, troca e verified restoration ficam em registros diferentes.

O tenant talvez não precise receber todos os counters proprietários. O service owner, porém, precisa demonstrar que o link aceito entregou a taxa declarada e que voltou à mesma distribuição após o reparo. Fechar ticket depois de trocar uma peça não demonstra que a capacidade de workload foi restaurada.

Routing externo pertence a outra camada. Prefixos de gestão e de cliente podem continuar alcançáveis enquanto o caminho coletivo dentro do rack entrega menos. ASN e BGP provam identidade de roteamento e acesso ao edge. Não dão a um RIR, a uma organização de standards ou a uma conferência a autoridade para certificar o fabric atrás do prefixo.

O caso da JANOG58 não autoriza a fórmula “BER é melhor”. Ele exige um ciclo que una estado nominal, evidência física e performance de workload, com repetição depois da intervenção. Capacidade vendável é desempenho aceito e reparável, não apenas GPU instalada e link verde.

Fontes