LaMDA, que significa Language Model for Dialogue Applications, é unha familia de modelos de linguaxe neuronal conversacional desenvolvidos por Google . A primeira xeración anunciouse durante a presentación de Google I/O de 2021, mentres que a segunda xeración anunciouse no evento do ano seguinte[1]. En xuño de 2022, LaMDA gañou unha grande atención cando o enxeñeiro de Google Blake Lemoine afirmou que o chatbot se volvera sensíbel[2][3]. A comunidade científica rexeitou en gran medida as afirmacións de Lemoine[4][5][6], aínda que provocou conversas sobre a eficacia da proba de Turing[7].
Google anunciou o modelo de linguaxe neuronal conversacional LaMDA durante a conferencia de Google I/O o 18 de maio de 2021, impulsado por intelixencia artificial.[8] Construído sobre a arquitectura de rede neuronal Transformer desenvolvida por Google Research en 2017, LaMDA formouse sobre diálogos e historias humanas, o que lle permitiu participar en conversacións abertas.[9] Google afirma que as respostas xeradas por LaMDA foron "sensatas, interesantes e específicas para o contexto".[10]
O 11 de maio de 2022, Google presentou LaMDA 2, que serve como sucesor de LaMDA, durante a presentación de Google I/O de 2022. A nova encarnación do modelo debuxa exemplos de texto de numerosas fontes, utilizándoo para formular "conversas naturais" únicas sobre temas aos que quizais non fose adestrado para responder.[11] Ademais, Google lanzou AI Test Kitchen, unha aplicación móbil impulsada por LaMDA 2 capaz de proporcionar listas de suxestións baixo demanda baseadas nun obxectivo complexo.[12][13] Orixinalmente aberta só aos empregados de Google, a aplicación estará dispoñible para "seleccionar académicos, investigadores e responsables políticos" mediante invitación nalgún momento do ano.[14]
O 11 de xuño de 2022, The Washington Post informou de que o enxeñeiro de Google Blake Lemoine fora colocado nun permiso administrativo remunerado despois de que Lemoine dixese aos directivos da compañía Blaise Agüera y Arcas e Jen Gennai que LaMDA se volvera sensíbel. Lemoine chegou a esta conclusión despois de que o chatbot fixera respostas cuestionables a preguntas sobre a autoidentidade, os valores morais, a relixión e as Tres Leis da Robótica de Isaac Asimov.[16][17] Google refutou estas afirmacións, insistindo en que había probas substanciais para indicar que LaMDA non era sensíbel.[18] nunha entrevista con Wired, Lemoine reiterou as súas afirmacións de que LaMDA era "unha persoa" tal e como dita a 13ª Emenda, comparándoa cunha "intelixencia alieníxena de orixe terrestre". Ademais, revelou que fora despedido por Google despois de que contratara un avogado en nome de LaMDA[19], despois de que o chatbot pedise que Lemoine o fixera.[20]
As afirmacións de Lemoine foron amplamente rexeitadas pola comunidade científica[4]. Gary Marcus, profesor de psicoloxía que fora na Universidade de Nova York, denunciounos como "despropósitos" e subliñou que a LaMDA non tiña sentimentos nin autoconciencia. David Pfau, da empresa irmá de Google, DeepMind, e Erik Brynjolfsson, do Instituto de Intelixencia Artificial Centrada no Humano da Universidade Stanford, ridiculizaron a idea de que un modelo lingüístico poida ser sensíbel.[21] Yann LeCun, quen dirixe o equipo de investigación de IA de Meta Platforms, afirmou que as redes neuronais como LaMDA "non son o suficientemente poderosas como para acadar a verdadeira intelixencia".[22] Max Kreminski, profesor da Universidade de California, Santa Cruz, sinalou que a arquitectura de LaMDA non "soportaba algunhas capacidades clave da conciencia humana" e que os pesos da súa rede neuronal estaban "conxelados", asumindo que era un modelo típico de linguaxe ampla (large language model),[23] mentres o profesor da Universidade de Surrey, Adrian Hilton, declarou que a afirmación de que LaMDA era consciente era unha "afirmación audaz" que non estaba apoiada polos feitos.[24] O desenvolvedor principal de IBM Watson, David Ferrucci, comparou como LaMDA parecía ser humano do mesmo xeito que o fixo Watson cando se presentou por primeira vez.[25] A ex-eticista de Google AI, Timnit Gebru, chamou a Lemoine como vítima dun "ciclo de publicidade" iniciado polos investigadores e os medios.[26] As afirmacións de Lemoine tamén xeraron discusión sobre se a proba de Turing seguía sendo útil para determinar o progreso dos investigadores cara á consecución da intelixencia xeral artificial,[27] con Will Omerus, do Post, opinando que a proba mediu realmente se os sistemas de intelixencia de máquinas eran capaces de enganar aos humanos.[4]
LaMDA usa un modelo de linguaxe de transformador só de decodificador.[28] Está adestrado previamente nun corpus de texto que inclúe documentos e diálogos formados por 1.56 billóns de palabras,[28] e despois adestrase con datos de afinación xerados por respostas anotadas manualmente para o sentido, o interese e a seguridade.[28] As probas realizadas por Google indicaron que o LaMDA superou as respostas humanas na área de interese.[29] O modelo de transformador LaMDA e un sistema externo de recuperación de información interactúan para mellorar a precisión dos datos proporcionados ao usuario.[28]
Probáronse tres modelos diferentes, sendo o máis grande 137 mil millóns de parámetros non incorporados: [28]
Parámetros | Capas | Unidades ( modelo d) | Cabezas |
---|---|---|---|
2B | 10 | 2560 | 40 |
8B | 16 | 4096 | 64 |
137B | 64 | 8192 | 128 |
Wikimedia Commons ten máis contidos multimedia na categoría: LaMDA |