A ByteDance está treinando um modelo de inteligência artificial que pode se aproximar do tamanho do Mythos, o sistema mais avançado da Anthropic, à medida que empresas chinesas continuam reduzindo a distância em relação aos principais laboratórios dos Estados Unidos.
A gigante chinesa de tecnologia está na fase inicial de treinamento de um modelo com até 10 trilhões de parâmetros —três vezes maior que o Kimi K3, da Moonshot, o maior modelo chinês lançado até hoje—, segundo três pessoas a par do assunto.
O modelo da ByteDance está passando pelo pré-treinamento —etapa que normalmente leva de três a seis meses— antes de ser refinado e lançado, caso tudo corra bem, afirmou uma dessas pessoas. O tamanho exato do modelo só será definido posteriormente.
A Anthropic não divulga o tamanho de seus modelos, mas estimativas do setor indicam que o Mythos 5, seu sistema mais avançado, tem cerca de 8 trilhões de parâmetros, enquanto o Fable 5 tem aproximadamente 5 trilhões. Embora a quantidade de parâmetros determine a capacidade fundamental ou os limites de memória dos modelos para armazenar informações, seu desempenho efetivo também depende de outros fatores, como a qualidade dos dados e os métodos de treinamento.
Os esforços da ByteDance para treinar um dos maiores modelos de IA do mundo demonstram a ambição dos laboratórios chineses não apenas de alcançar, mas também de superar seus pares americanos no nível mais avançado da inteligência artificial.
Somente nas últimas semanas, modelos chineses da Moonshot e da Alibaba apresentaram forte desempenho em testes de referência, ficando atrás apenas do Fable 5, da Anthropic, em determinadas áreas. O Mythos 5, modelo mais avançado da Anthropic, está disponível apenas para organizações autorizadas, após uma proibição temporária em junho por preocupações com a segurança.
Fontes do setor afirmam que vários laboratórios chineses estão treinando modelos do porte do Fable 5, enquanto a ByteDance é atualmente a mais ambiciosa na busca pelo maior deles.
A ByteDance, controladora da plataforma de vídeos virais TikTok, tem mantido discrição no desenvolvimento de IA, já que a maioria de seus modelos é fechada, ao contrário dos de muitas de suas concorrentes chinesas. Seu mais recente modelo SeeDance está entre os mais avançados do mundo na geração de vídeos, enquanto o Doubao, seu principal modelo voltado ao consumidor, é o mais popular da China, com 324 milhões de usuários ativos mensais.
Nos últimos três anos, a ByteDance investiu em IA de maneira mais agressiva do que qualquer outra gigante chinesa de tecnologia, ampliando sua rede de centros de dados e contratando pesquisadores. A empresa reforçou os investimentos em sua unidade de computação em nuvem, a Volcano Engine, que vende soluções de IA para empresas. A ByteDance também pretende desenvolver chips próprios para inteligência artificial.
A Seed, sua equipe de desenvolvimento de modelos, liderada pelo ex-cientista do Google DeepMind Wu Yonghui, tem cerca de 2.000 integrantes na China e no exterior. A equipe inclui pesquisadores essenciais, engenheiros de infraestrutura, profissionais de rotulagem de dados e tradutores.
O desenvolvimento de seus modelos também adotou uma abordagem mais independente, que não envolve a “destilação” de modelos existentes de outros laboratórios, segundo uma das pessoas. Essa estratégia está em vigor há mais de um ano e, na avaliação de alguns, contribuiu para que seu desenvolvimento fosse mais lento que o dos concorrentes.
A destilação de modelos é o processo de comprimir um modelo de IA grande e complexo em outro menor e mais rápido, treinando o modelo menor para reproduzir o conhecimento e os resultados do modelo maior, que atua como professor.
A direção da ByteDance, liderada pelo fundador Zhang Yiming, acredita que somente o desenvolvimento independente pode resultar em um modelo capaz de superar os concorrentes.
.gif)
Zhang reiterou sua posição em uma reunião interna há duas semanas, na qual orientou a equipe da Seed a buscar, no longo prazo, “capacidades de modelos líderes mundiais”, sem se preocupar excessivamente com uma eventual defasagem no curto prazo, segundo a pessoa.
Os veículos chineses Latepost e The Information foram os primeiros a noticiar os comentários de Zhang na recente reunião interna.
A ByteDance não respondeu a um pedido de comentário.
Autor: Folha
