Connect with us

Innovación & Emprendimiento

Se necesita mucha energía para que las máquinas aprendan: aquí está la razón por la que la IA está tan hambrienta de energía

Published

3 años ago

on

Este mes, Google expulsó a una destacada investigadora de ética en inteligencia artificial después de que ella expresó su frustración con la compañía por obligarla a retirar un trabajo de investigación . El documento señaló los riesgos de la inteligencia artificial de procesamiento del lenguaje, el tipo que se usa en la Búsqueda de Google y otros productos de análisis de texto.

Entre los riesgos se encuentra la gran huella de carbono de desarrollar este tipo de tecnología de IA. Según algunas estimaciones , entrenar un modelo de IA genera tantas emisiones de carbono como se necesitan para construir y conducir cinco automóviles durante su vida útil.

Soy un investigador que estudia y desarrolla modelos de IA , y estoy muy familiarizado con los costos energéticos y financieros que se disparan de la investigación de la IA. ¿Por qué los modelos de IA se han vuelto tan hambrientos de energía y en qué se diferencian de la computación tradicional del centro de datos?

El entrenamiento de hoy es ineficiente

Los trabajos tradicionales de procesamiento de datos realizados en centros de datos incluyen transmisión de video, correo electrónico y redes sociales. La IA es más computacionalmente intensiva porque necesita leer una gran cantidad de datos hasta que aprende a comprenderlos, es decir, se entrena.

Esta formación es muy ineficaz en comparación con la forma en que aprende la gente. La IA moderna utiliza redes neuronales artificiales , que son cálculos matemáticos que imitan las neuronas del cerebro humano. La fuerza de conexión de cada neurona con su vecina es un parámetro de la red llamado peso. Para aprender a entender el lenguaje, la red comienza con pesos aleatorios y los ajusta hasta que el resultado coincide con la respuesta correcta.

Cómo funcionan las redes neuronales artificiales.

Una forma común de entrenar una red de idiomas es alimentarla con mucho texto de sitios web como Wikipedia y medios de comunicación con algunas de las palabras enmascaradas y pedirle que adivine las palabras enmascaradas. Un ejemplo es «mi perro es lindo», con la palabra «lindo» enmascarada. Inicialmente, el modelo los equivoca todos, pero, después de muchas rondas de ajuste, los pesos de conexión comienzan a cambiar y a captar patrones en los datos. La red eventualmente se vuelve precisa.

Un modelo reciente llamado Representaciones de codificador bidireccional de Transformers (BERT) utilizó 3.300 millones de palabras de libros en inglés y artículos de Wikipedia. Además, durante el entrenamiento, BERT leyó este conjunto de datos no una vez, sino 40 veces. En comparación, un niño promedio que aprende a hablar podría escuchar 45 millones de palabras a los cinco años, 3,000 veces menos que BERT.

Buscando la estructura adecuada

 

Lo que hace que la construcción de modelos de lenguaje sea aún más costosa es que este proceso de capacitación ocurre muchas veces durante el curso del desarrollo. Esto se debe a que los investigadores quieren encontrar la mejor estructura para la red: cuántas neuronas, cuántas conexiones entre neuronas, qué tan rápido deben cambiar los parámetros durante el aprendizaje, etc. Cuantas más combinaciones intenten, mayores serán las posibilidades de que la red logre una alta precisión. Los cerebros humanos, por el contrario, no necesitan encontrar una estructura óptima; vienen con una estructura prediseñada que ha sido perfeccionada por la evolución.

 

A medida que las empresas y los académicos compiten en el espacio de la IA, existe la presión para mejorar el estado del arte. Incluso lograr una mejora del 1% en la precisión en tareas difíciles como la traducción automática se considera significativo y conduce a una buena publicidad y mejores productos. Pero para obtener esa mejora del 1%, un investigador podría entrenar el modelo miles de veces, cada vez con una estructura diferente, hasta encontrar la mejor.

Investigadores de la Universidad de Massachusetts Amherst calcularon el costo energético de desarrollar modelos de lenguaje de IA midiendo el consumo de energía del hardware común utilizado durante el entrenamiento. Descubrieron que entrenar BERT una vez tiene la huella de carbono de un pasajero que vuela de ida y vuelta entre Nueva York y San Francisco. Sin embargo, al buscar usando diferentes estructuras, es decir, al entrenar el algoritmo varias veces en los datos con números ligeramente diferentes de neuronas, conexiones y otros parámetros, el costo se convirtió en el equivalente a 315 pasajeros, o un avión 747 completo.

Más grande y más caliente

Los modelos de inteligencia artificial también son mucho más grandes de lo necesario y se hacen más grandes cada año. Un modelo de lenguaje más reciente similar a BERT, llamado GPT-2 , tiene 1.500 millones de pesos en su red. GPT-3, que causó revuelo este año debido a su alta precisión, tiene 175 mil millones de pesos.

Los investigadores descubrieron que tener redes más grandes conduce a una mejor precisión, incluso si solo una pequeña fracción de la red termina siendo útil. Algo similar sucede en el cerebro de los niños cuando primero se agregan y luego se reducen las conexiones neuronales , pero el cerebro biológico es mucho más eficiente energéticamente que las computadoras.

Los modelos de IA están entrenados en hardware especializado como unidades de procesador de gráficos, que consumen más energía que las CPU tradicionales. Si posee una computadora portátil para juegos, probablemente tenga una de estas unidades de procesador de gráficos para crear gráficos avanzados para, por ejemplo, jugar Minecraft RTX. También puede notar que generan mucho más calor que las computadoras portátiles normales.

Todo esto significa que el desarrollo de modelos avanzados de IA se suma a una gran huella de carbono. A menos que cambiemos a fuentes de energía 100% renovables, el progreso de la IA puede estar en desacuerdo con los objetivos de reducir las emisiones de efecto invernadero y ralentizar el cambio climático. El costo financiero del desarrollo también se está volviendo tan alto que solo unos pocos laboratorios selectos pueden permitírselo, y serán ellos quienes establezcan la agenda para qué tipos de modelos de IA se desarrollan.

Haciendo más con menos

¿Qué significa esto para el futuro de la investigación de la IA? Puede que las cosas no sean tan sombrías como parecen. El costo de la capacitación podría reducirse a medida que se inventen métodos de capacitación más eficientes. De manera similar, aunque se predijo que el uso de energía del centro de datos aumentaría enormemente en los últimos años, esto no ha sucedido debido a las mejoras en la eficiencia del centro de datos, hardware más eficiente y refrigeración.

También existe una compensación entre el costo de entrenar los modelos y el costo de usarlos, por lo que gastar más energía en el tiempo de entrenamiento para crear un modelo más pequeño en realidad podría hacer que su uso sea más económico. Debido a que un modelo se utilizará muchas veces durante su vida útil, eso puede suponer un gran ahorro de energía.

En la investigación de mi laboratorio , hemos estado buscando formas de hacer que los modelos de IA sean más pequeños compartiendo pesos o usando los mismos pesos en varias partes de la red. Llamamos a estas redes de cambiaformas porque un pequeño conjunto de pesos se puede reconfigurar en una red más grande de cualquier forma o estructura. Otros investigadores han demostrado que compartir el peso tiene un mejor rendimiento en la misma cantidad de tiempo de entrenamiento.

De cara al futuro, la comunidad de la IA debería invertir más en el desarrollo de planes de formación energéticamente eficientes. De lo contrario, se corre el riesgo de que la IA sea dominada por unos pocos que pueden permitirse establecer la agenda, incluidos los tipos de modelos que se desarrollan, los tipos de datos que se utilizan para entrenarlos y para qué se utilizan los modelos.

Fuente/The Conversation
Chile Desarrollo Sustentable
www.chiledesarrollosustentable.cl 
www.facebook.com/pg/ChiledesarrollosustentableCDS 
twitter.com/CDSustentable  
#CDSustentable,#Sostenible
#DesarrolloSostenible #MedioAmbiente,#ECOXXI
Related Topics:
Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Innovación & Emprendimiento

MadeInnConce: LA INTELIGENCIA ARTIFICIAL SE TOMÓ LA AGENDA EN EL EPICENTRO DE LA INNOVACIÓN Y EL EMPRENDIMIENTO  

Published

1 día ago

on

9 mayo, 2024

By

En la instancia, el vicepresidente de Entel Digital, Julián San Martín, enfatizó en las oportunidades para el crecimiento y el desarrollo que ofrece esta tecnología, instando a su aprovechamiento ético y responsable para un futuro más inteligente, conectado y sostenible.

Concepción se transformó en el epicentro de la creatividad, la innovación y el emprendimiento. Y es que, hasta este jueves 9 de mayo, se está desarrollando el encuentro MadeInnConce en el Teatro Biobío, donde diversos exponentes y representantes del ecosistema de innovación han compartido experiencias y diálogos, sobre las tendencias que están marcando la convivencia con la tecnología.

Y precisamente una de las compañías que estuvo presente en la actividad inaugural fue Entel, que este 2024 cumple 60 años, y que promete seguir impulsando un futuro con historia por mucho tiempo más. 

Al respecto, Julián San Martín, vicepresidente de Entel Digital, abordó las oportunidades y desafíos de la Inteligencia Artificial (IA), indicando que “es mucho más que una simple tecnología. Podríamos decir, perfectamente, que es una fuerza disruptiva que llegó para quedarse e impulsar la innovación en todos los sectores, cambiando así la forma en que entendemos y hacemos las cosas”.

En su exposición, San Martín resaltó las diversas formas en que la IA puede impactar positivamente en el emprendimiento, destacando su capacidad para personalizar y mejorar la experiencia de cliente, mediante el análisis de grandes volúmenes de datos en tiempo real que posibilitan el anticipar necesidades y preferencias, así como ofrecer productos y servicios personalizados.

En cuanto a la relación entre las personas y las nuevas tecnologías, el vicepresidente de Entel Digital destacó el papel transformador de la IA, ya que ésta permite liberar tiempo y recursos para enfocarse en actividades que agreguen valor y fomenten el desarrollo, tanto a nivel personal como profesional. Destacó también que facilitará un mejor acceso a la información y conocimiento, fortaleciendo la creatividad y la innovación.

Finalmente, el ejecutivo concluyó su intervención enfatizando que «la Inteligencia Artificial ofrece numerosas oportunidades para promover el crecimiento y el desarrollo del país», instando a aprovechar su potencial de manera ética y responsable para crear un futuro más inteligente, conectado y sostenible.

Chile Desarrollo Sustentable
www.chiledesarrollosustentable.cl  
www.facebook.com/pg/ChiledesarrollosustentableCDS  
twitter.com/CDSustentable   
#CDSustentable , #Sostenible 
#DesarrolloSostenible #MedioAmbiente,
#ChileDesarrolloSustentable, #ECOXXI
Continue Reading

Business

ANITA MARAMBIO DE FUNDACIÓN MININNOVA FUE ELEGIDA COMO LA PRIMERA PRESIDENTA DE COMPROMISO MINERO

Published

5 días ago

on

5 mayo, 2024

By

Este primer directorio, que además es paritario, tendrá el desafío de orientar las decisiones estratégicas, junto a la directora ejecutiva de la iniciativa, para seguir promoviendo una minería cada vez más sostenible.

La red Compromiso Minero, que agrupa a más de 100 organizaciones del ecosistema minero nacional, concretó recientemente su primera sesión de directorio donde Anita Marambio fue elegida como la primera en presidir esta gran iniciativa que ya lleva más de dos años promoviendo una minería cada vez más sustentable e inclusiva. Anita cuenta con más de 20 años de experiencia en la industria y es reconocida por su extensa carrera para hacer una minería más inclusiva, abordando los desafíos desde la colaboración.

Anita Marambio, presidenta del directorio de Compromiso Minero señaló que “en Mininnova, nos sentimos profundamente honrados de haber sido elegidos para formar parte del primer Directorio de Compromiso Minero. Ahora, asumiendo la presidencia a través de mi representación, enfrentamos un desafío apasionante que nos motiva y nos impulsa a demostrar que estar comprometidos con la minería significa estar comprometidos con las personas, con las futuras generaciones, con las comunidades; con el medio ambiente y el desarrollo constante de nuevas tecnologías que permitan disminuir las emisiones de los procesos productivos y cuidar la biodiversidad de los ecosistemas; con el desarrollo económico de las personas, emprendedores, proveedores locales, la economía regional y finalmente, con el futuro de nuestro país. Estoy emocionada de liderar este esfuerzo y de trabajar incansablemente para que nuestro compromiso se refleje en cada acción que emprendamos».

El directorio de Compromiso Minero, además de ser paritario, refleja la diversidad de actores del ecosistema, incluyendo adherentes de la academia, agrupaciones profesionales, a la gran, mediana y pequeña minería, gremios, asociaciones regionales, innovadores y proveedores, entre otros, donde todos aportan distintas miradas que enriquecen la visión a largo plazo de la iniciativa y el proceso de toma de decisiones.

Paula Arenas, directora ejecutiva de Compromiso Minero sostuvo que “hemos cumplido un gran hito en la historia de Compromiso Minero, al realizar nuestra primera sesión de directorio. Contar con esta nueva estructura de gobernanza, reafirma y fortalece nuestro propósito de trabajar colaborativamente para promover una minería cada vez más responsable, innovadora e inclusiva”.

A poco más de dos años de su conformación, Compromiso Minero ha consolidado su rol y transversalidad en la industria, trabajando colaborativamente en generar iniciativas que agregan valor, tanto a sus adherentes como a las personas, promoviendo una minería responsable que contribuye al desarrollo sostenible de Chile.

Chile Desarrollo Sustentable
www.chiledesarrollosustentable.cl  
www.facebook.com/pg/ChiledesarrollosustentableCDS  
twitter.com/CDSustentable   
#CDSustentable , #Sostenible 
#DesarrolloSostenible #MedioAmbiente,
#ChileDesarrolloSustentable, #ECOXXI
Continue Reading

Empresa & Sociedad

KRAN: INNOVACIÓN TECNOLÓGICA LIDERANDO EL FUTURO DEL AGUA

Published

1 semana ago

on

2 mayo, 2024

By


La startup fue recientemente galardonada con el premio Siemens Water Innovation Challenge en el Congreso ACADES 2024, gracias a su innovadora tecnología de nanoburbujas.

Su fundador, Jaime de la Cruz, destaca que “la innovación es liberar la imaginación, romper los miedos y avanzar, para eso se requiere de gente preparada, valiente y resiliente ya que innovar es asumir el riesgo del fracaso y en Kran están esas personas”.

Kran nació como un sueño desde el corazón de Puerto Varas, en el sur de Chile. Su fundador, Jaime De La Cruz, quiso honrar con el nombre del dios de la cultura Selknam, pueblo que logró habitar y adaptarse a las zonas más extremas de la Patagonia en perfecta armonía con la naturaleza. Bajo esta premisa inició este emprendimiento que fuera reflejo de su compromiso con el medio ambiente, y que, a la vez, tuviera tal nivel de innovación que dejara una huella importante, posicionando a Chile -con la nobleza de sus orígenes- en la vanguardia a nivel mundial.

Su crecimiento ha sido exponencial. Iniciaron este proyecto desde la Patagonia chilena, pasando por la capital y logrando instalarse en Silicon Valley junto a las empresas más exitosas de los últimos años. Hace solo unos meses, la empresa fue nombrada como una de las 10 “Top Innovators” por el Foro Económico Mundial, y en marzo, recibió el premio Siemens Water Innovation Challenge del Congreso ACADES 2024, gracias a su tecnología que ofrece soluciones basadas en nanoburbujas para optimizar el uso del agua en procesos productivos.

Su CEO, Jaime de la Cruz, explica la inspiración de este proyecto que ha logrado crear equipos adaptados a las necesidades de cada cliente en sectores industriales, de agricultura y acuicultura, promoviendo la eficiencia y sostenibilidad hídrica.

¿Cuál ha sido el principal impulso detrás de la innovación en Kran y cómo se refleja esto en las soluciones que ofrecen actualmente?

«Kran nace de un sueño, un sueño que tenía que ver con desarrollar una compañía que tuviera tres pilares fundamentales: ‘estar en la frontera de la ciencia’, ‘ser high tech’ y ‘que fuera 100% verde’. Esos pilares se han mantenido como el motor de todo el equipo humano de Kran».

Respecto al premio que obtuvieron este año, el Siemens Water Innovation Challenge del Congreso ACADES, menciona que «este tipo de reconocimiento confirma que el camino trazado es el correcto. Es un estímulo maravilloso”. Agrega que este premio ayuda a ser un referente mundial en la industria de la nanoburbuja, “principalmente como un generador de soluciones a los distintos dolores de las industrias, tan variadas como la acuicultura, la agricultura, la minería, el procesamiento de alimentos y bebidas, el tratamiento de aguas residuales, reutilización de aguas y producción de agua potable, entre muchas otras”.

¿Cuál consideras que es el mayor impacto ambiental positivo que las soluciones de Kran pueden ofrecer a largo plazo?

«Nuestra tecnología se refleja en tres impactos principales: eficiencia hídrica, ahorro de energía y químicos. Esto resulta en una mayor producción de alimentos, menor huella de carbono y mayor

productividad industrial. Este enfoque demuestra que el compromiso ambiental es una parte integral de la misión de Kran, que busca no solo ofrecer soluciones tecnológicas avanzadas, sino también contribuir a un futuro más sostenible”.

Entre sus múltiples beneficios, las nanoburbujas incluyen una eficiencia en el riego que puede resultar en ahorros hídricos superiores al 50%. También mejoran la eficiencia en el lavado en fábricas de alimentos, reduciendo el consumo de químicos y agua; y permiten ahorros energéticos en el tratamiento de aguas residuales, facilitando el reúso de agua de procesos industriales para riego.

“La innovación es un pilar fundacional de Kran, y estamos seguros de que para generar un mejor mundo se necesita la innovación que te permite liberar la imaginación, romper los miedos y avanzar. Para eso se requiere de gente preparada, valiente y resiliente ya que innovar es asumir el riesgo del fracaso y en Kran están esas personas”, explica De la Cruz.

Tomando este principio de innovación, el trabajo de Kran no se estanca en el inmenso aporte que ya realizan, sino que apuntan a seguir aumentando la productibilidad agrícola, disminuir el uso del agua potable para los mismos procesos en que hoy se utilizan, regenerar y/o recuperar ambientes contaminados, y generar soluciones que disminuyan el consumo de productos químicos dañinos para la naturaleza a través de la tecnología de las nanoburbujas.

Chile Desarrollo Sustentable
www.chiledesarrollosustentable.cl  
www.facebook.com/pg/ChiledesarrollosustentableCDS  
twitter.com/CDSustentable   
#CDSustentable , #Sostenible 
#DesarrolloSostenible #MedioAmbiente,
#ChileDesarrolloSustentable, #ECOXXI
Continue Reading

Trending