BNN News 
A OpenAI removeu na semana passada Aleksander Madry, um dos principais executivos de segurança da OpenAI, de sua função e o transferiu para um cargo focado no raciocínio de IA, confirmaram fontes familiarizadas com a situação à CNBC.
Madry era o chefe de preparação da OpenAI, uma equipe “encarregada de rastrear, avaliar, prever e ajudar a proteger contra riscos catastróficos relacionados a modelos de IA de fronteira”, de acordo com um biografia para Madry.
Madry ainda trabalhará no trabalho central de segurança de IA em sua nova função, disse OpenAI à CNBC.
Madry também é diretor do Center for Deployable Machine Learning do MIT e co-líder do corpo docente do MIT AI Policy Forum, funções das quais está atualmente afastado, de acordo com o relatório da universidade. local na rede Internet.
A decisão de transferir Madry ocorreu menos de uma semana antes de um grupo de senadores democratas enviar uma carta ao CEO da OpenAI, Sam Altman, sobre “questões sobre como a OpenAI está abordando questões emergentes de segurança”.
O cartaenviado na segunda-feira e visto pela CNBC, também declarou: “Buscamos informações adicionais da OpenAI sobre as medidas que a empresa está tomando para cumprir seus compromissos públicos de segurança, como a empresa está avaliando internamente seu progresso nesses compromissos e sobre os compromissos da empresa. identificação e mitigação de ameaças à segurança cibernética.”
A OpenAI não respondeu imediatamente a um pedido de comentário.
Os legisladores solicitaram que a OpenAI respondesse com uma série de respostas a perguntas específicas sobre suas práticas de segurança e compromissos financeiros até 13 de agosto.
Tudo faz parte de um verão de crescentes preocupações de segurança e controvérsias em torno da OpenAI, que junto com Google, Microsoft, Meta e outras empresas está no comando de uma corrida armamentista de IA generativa – um mercado que deverá crescer. mais de US$ 1 trilhão em receita dentro de uma década – à medida que empresas de aparentemente todos os setores correm para adicionar chatbots e agentes com tecnologia de IA para evitar serem deixadas para trás pelos concorrentes.
No início deste mês, a Microsoft desistiu de seu assento de observador no conselho da OpenAI, afirmando em carta vista pela CNBC que agora pode se afastar porque está satisfeita com a construção do conselho da startup, que foi reformulado nos oito meses desde um levante que levou à breve demissão do CEO Sam Altman e ameaçou o enorme investimento da Microsoft na OpenAI.
Mas no mês passado, um grupo de atuais e ex-funcionários da OpenAI publicou um carta aberta descrevendo preocupações sobre o rápido avanço da indústria de inteligência artificial, apesar da falta de supervisão e da ausência de proteções aos denunciantes para aqueles que desejam se manifestar.
“As empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz e não acreditamos que estruturas personalizadas de governação corporativa sejam suficientes para mudar esta situação”, escreveram os funcionários na altura.
Dias após a publicação da carta, uma fonte familiarizada com o assunto confirmou à CNBC que a FTC e o Departamento de Justiça estavam preparados para abrir investigações antitruste sobre OpenAI, Microsoft e Nvidia, com foco na conduta das empresas.
A presidente da FTC, Lina Khan, descreveu a ação de sua agência como uma “investigação de mercado sobre os investimentos e parcerias que estão sendo formadas entre desenvolvedores de IA e os principais provedores de serviços em nuvem”.
Os atuais e ex-funcionários escreveram na carta de junho que as empresas de IA têm “informações substanciais não públicas” sobre o que sua tecnologia pode fazer, a extensão das medidas de segurança que implementaram e os níveis de risco que a tecnologia apresenta para diferentes tipos. de dano.
“Também compreendemos os sérios riscos colocados por estas tecnologias”, escreveram, acrescentando que as empresas “atualmente têm apenas obrigações fracas de partilhar algumas destas informações com os governos, e nenhuma com a sociedade civil. para compartilhá-lo voluntariamente.”
Em maio, a OpenAI decidiu dissolver sua equipe focada nos riscos de longo prazo da IA apenas um ano depois de anunciar o grupo, confirmou uma pessoa familiarizada com a situação à CNBC na época.
A pessoa, que falou sob condição de anonimato, disse que alguns dos membros da equipe estão sendo transferidos para outras equipes da empresa.
A equipe foi dissolvida depois que seus líderes, o cofundador da OpenAI, Ilya Sutskever e Jan Leike, anunciaram suas saídas da startup em maio. Leike escreveu em um post no X que “a cultura e os processos de segurança da OpenAI ficaram em segundo plano em relação aos produtos brilhantes”.
CEO Sam Altman disse na época do X ele ficou triste com a saída de Leike e que a empresa tinha mais trabalho a fazer. Logo depois, o cofundador da OpenAI, Greg Brockman postou uma declaração atribuída a Brockman e Altman no X, afirmando que a empresa “aumentou a conscientização sobre os riscos e oportunidades da AGI para que o mundo possa se preparar melhor para ela”.
“Entrei porque pensei que a OpenAI seria o melhor lugar do mundo para fazer esta pesquisa”, Leike escreveu no X no momento. “No entanto, já faz algum tempo que discordo da liderança da OpenAI sobre as principais prioridades da empresa, até que finalmente chegamos a um ponto de ruptura.”
Leike escreveu que acredita que muito mais da largura de banda da empresa deveria ser focada em segurança, monitoramento, preparação, proteção e impacto social.
“Esses problemas são muito difíceis de resolver e estou preocupado por não estarmos no caminho certo para chegar lá”, escreveu ele. “Nos últimos meses, minha equipe navegou contra o vento. Às vezes, estávamos lutando para [computing resources] e estava ficando cada vez mais difícil realizar essa pesquisa crucial.”
Leike acrescentou que a OpenAI deve se tornar uma “empresa AGI que prioriza a segurança”.
“Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, escreveu ele na época. “A OpenAI está assumindo uma enorme responsabilidade em nome de toda a humanidade. Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.”
A informação primeiro relatado sobre a transferência de Madry.
