fbpx
Close

Login

Close

Register

Close

Lost Password

Probando Google Bard vs. ChatGPT: ¿cuál es mejor?

Probamos la habilidad de Google Bard para conectarse a internet, para escribir código y para generar textos creativos. Conoce los resultados.

El pasado 11 de mayo se liberó Google Bard en 180 países. Está disponible en inglés, coreano y japonés. Estaré disponible en otros 40 idiomas antes de cerrar el 2023.

Lee también: Google I/O: análisis a la experiencia de búsqueda con Bard

Google Bard es un LLM (Largue Language Model) como ChatGPT. Sin embargo, su tecnología no es la misma. Este sistema de generación de texto funciona con el Language Model for Dialogue Applications (o LaMDA).

La versión que se liberó al público opera con un modelo ligero de LaMDA. “Este modelo mucho más pequeño requiere significativamente menos potencia de cálculo, lo que nos permite escalar a más usuarios, permitiendo recibir más retroalimentación”, afirma Google en un comunicado.

El próximo mes (en junio de 2023), Google incorporará a desarrolladores individuales, creadores y empresas para que puedan probar la API de Lenguaje Generativo, inicialmente impulsada por LaMDA con una gama de modelos a seguir.

Google quiere crear un conjunto de herramientas y APIs que facilitarán a otros la construcción de aplicaciones con IA.

Dicho esto, es probable que ya puedas probar Google Bard en tu país tan solo ingresando a https://bard.google.com

En Crónicatech ya llevamos varios días poniendo a prueba las capacidades de Google Bard. El modelo exhibe notables fortalezas, aunque también presenta algunas debilidades que se han hecho evidentes cuando empezamos a poner tareas complejas al modelo.

¿Está conectado en tiempo real?

En el papel, una de las fortalezas de Bard es que, a diferencia de ChatGPT, se puede conectar a internet para buscar información en tiempo real. Sin embargo, en la práctica he descubierto notables limitaciones. Parece ser que logra recabar información en tiempo real de ciertos temas, pero no de todos.

Si le preguntamos por las noticias de última hora, nos arroja la siguiente información:

Experimento con Google Bard

Google Bard nos arroja una serie de noticias que ocurrieron hace más de un mes. El paro de mineros en el Bajo Cauca ocurrió a comienzos de abril y las conversaciones entre el ELN y el Gobierno también iniciaron en ese periodo de tiempo. En esta prueba Google Bard no parece estar conectándose a internet para encontrar información actualizada, sino que está acudiendo a una base de datos que, por lo visto, no se actualiza hace un mes.

¿Qué ocurre si le preguntamos por el precio más reciente del dólar en Colombia?

Experimentos con Google Bard

En este caso, Google Bard sí extrae información actualizada e incluso brinda datos de contexto para comprender por qué el valor del dólar está tan alto.

Otra de las habilidades de Google Bard es su presunta capacidad para leer una páginas web. Es una característica que se debe usar con cuidado. Si bien parece que Bard es capaz de leer una parte de los sitios web, hay indicios de que no escanea todo el contenido. En el siguiente ejemplo le pido extraer información de una página con un gran número de elementos gráficos y textuales. Le solicito el precio de la Asus ROG Ally (699 dólares) y responde con un valor que no está presente en ningún módulo del sitio web.

Este es un caso extraño, la mayoría de datos que arroja la plataforma no están presentes en el sitio web y son inventados. ¿Realmente Google Bard es capaz de leer un sitio web o en este caso en particular tiene inconvenientes por sus características de diseño? Las pruebas invitan a pensar que solo lee la metadata de los sitios web, es decir el título y la metadescripción. De hecho, el mismo fenómeno ocurre con plugins de ChatGPT como WebPilot.

Experimentos con Google Bard

Si le pido a Google Bard que me arroje las últimas noticias con base en un sitio web de noticias concreto tampoco hace el ejercicio como cabría esperar. Arroja un listado de noticias viejas. Todo indica que Google Bard no es capaz, en realidad, de conectarse a internet en tiempo real, pero su base de datos sí tiene información más actualizada que ChatGPT, sin duda. Al parecer con temas álgidos, dicha base de datos es actualizada a diario, como ocurre con el dólar, y en otros casos, mensualmente, como ocurre con las noticias.

image 11

No deja de ser, sin embargo, decepcionante porque una de las capacidades que, en teoría, destacan a Bard es que se puede conectar en tiempo real a internet. Por otro lado, es importante tener en cuenta que OpenAI ya está probando, en beta, una versión de ChatGPT con capacidad para conectarse a internet. No tardará en desplegarse al público y, por ahora, está siendo probada por un grupo reducido de testers y desarrolladores con acceso temprano a futuras versiones del sistema.

¿Es capaz de citas fuentes de información reales?

Si Google Bard está conectado a internet, debería ser capaz de citas fuentes, pero cuando se le pide hacerlo, afirma que “no está programado” para cumplir esa tarea:

Experimentos con Google Bard

Uno de los puntos débiles de ChatGPT es su corta memoria. Si estás conversando con el chatbot y le preguntas por una respuesta que dio hace más de tres interacciones, no recordará su propio ‘input’.

¿Google Bard lo hace mejor? No, Google Bard no es capaz de ‘recordar’ ni siquiera el contenido de la última interacción:

Experimentos con Google Bard.

¿Cómo le va a Google Bard haciendo cálculos matemáticos?

No solo Bard acusa problemas para ejecutar tareas con el lenguaje, sino también con los cálculos matemáticos. En el siguiente ejemplo le pedí que calculara el valor de 599 dólares en pesos colombianos tomando en cuenta una TRM de 5.000 pesos. Al valor resultante debe sumarle 20 % más. Este ejercicio es ejecutado a la perfección por ChatGPT 3.5 y 4:

Experimento con ChatGPT

Sin embargo, Google Bard ejecuta la misma tarea con un resultado diferente e ilógico:

image 15

¿359.400 pesos? Google Bard leyó los 599 dólares como 59,9 dólares. ¿Por qué? El problema en este caso no parece redundar en falta de capacidad de cálculo, sino en errores de lectura de la instrucción brindada.

¿Cómo le va programando en Python?

En el siguiente test le pido a ChatGPT-4 que me arroje un código en Python para crear artículos en WordPress, de forma automática, usando un archivo de Excel como base. La plataforma de OpenAI no solo crea un código correcto sino funcional, acudiendo a librerías y funciones reales:

Experimento con ChatGPT

Si se le brinda la misma instrucción a Google Bard, el resultado es significativamente más pobre. En este código ni siquiera se solicitan las credenciales de acceso a WordPress, como es lógico hacerlo. La librería openpyxl, por otro lado, opera con archivos de Excel 2010. No es un código funcional.

image 17

¿Cómo le va creando un texto creativo?

En el siguiente experimento, le pido a ChatGPT-4 y a Google Bard que ideen una historia de caperucita roja moderna. Los resultados son muy diferentes. Esta es la versión de ChatGPT-4. Como se puede constatar, la plataforma de OpenAI hace un esfuerzo creativo por cambiar la historia original de caperucita roja añadiéndole elementos modernos como los hackers, los drones y hasta la seguridad informática:

Título: La Odisea Virtual de Roja

Había una vez en una bulliciosa ciudad, una chica inteligente e independiente llamada Roja. Era conocida por su sudadera con capucha roja, que siempre llevaba puesta, un regalo de su abuela que vivía en los tranquilos suburbios de la ciudad. Aunque vivían separadas, estaban más unidas que nunca gracias a las maravillas de la tecnología moderna.

Un día, la abuela de Roja cayó enferma. Siendo una mujer anciana, era difícil para ella salir de su casa, especialmente durante los meses de invierno. La madre de Roja le pidió que le llevara algo de comida y medicinas, pero con un giro. "Roja, no necesitas ir allí físicamente. Usemos el dron. Es más seguro y rápido."

Roja, que era experta en tecnología, rápidamente programó el dron familiar para transportar un pequeño paquete de sopa casera y medicinas. Mientras preparaba el lanzamiento del dron, se conectó a una videollamada con su abuela.

Mientras tanto, un notorio hacker llamado Wolfgang, conocido por su astucia y travesuras en el mundo virtual, se percató del dron de Roja. Intrigado, decidió hackear el sistema del dron y redirigirlo a su ubicación, pensando que podría obtener algunos bienes valiosos.

Mientras Roja pilotaba el dron a través de su casco de realidad virtual, notó algo extraño. El dron no respondía correctamente, y el GPS mostraba que se desviaba del curso. Rápidamente, activó los protocolos de seguridad del dron, pero parecía que alguien estaba luchando contra su control.

Recordó una importante lección de su clase de ciberseguridad en la escuela sobre cómo manejar tales situaciones. Roja ejecutó rápidamente una serie de medidas defensivas, lanzando una herramienta de contrahacking para rastrear al intruso.

Finalmente, logró recuperar el control del dron, no sin antes rastrear la ubicación del hacker. "Bonito intento, Wolfgang", murmuró entre dientes, reconociendo la firma del hacker. Reportó el incidente a la División de Seguridad Cibernética de la ciudad.

Mientras tanto, el dron finalmente llegó a la casa de su abuela. La abuela de Roja, conectada a través de la videollamada, agradeció a Roja y quedó encantada con la sopa y las medicinas. "Oh, Roja, en qué tiempo vivimos. Drones y videollamadas, todo es tan fascinante."

De vuelta en la ciudad, Wolfgang se quedó asombrado cuando la policía apareció en su casa. Fue arrestado por intento de robo y hacking. La ciudad elogió el rápido pensamiento y las acciones de Roja, y se convirtió en una figura inspiradora para los jóvenes codificadores y programadores.

Y así, Roja y su abuela continuaron compartiendo su amor y calidez a través de las maravillas de la tecnología, demostrando que no importa cuánto cambie el mundo, el vínculo de una familia permanece fuerte. Vivieron felices, navegando por los desafíos del mundo moderno con valentía y sabiduría. 

Roja, con su capucha roja y su conocimiento tecnológico, se convirtió en un faro de esperanza en la ciudad, ayudando a otros a navegar por los intrincados caminos del mundo digital. Aprendió que, aunque los lobos pueden haber cambiado de forma, la astucia y la valentía siempre serían sus mejores defensas.

Mientras tanto, en los suburbios, la abuela de Roja recuperó su salud gracias a la sopa casera y las medicinas. A pesar de su edad, se esforzó por aprender más sobre la tecnología para poder seguir el ritmo del mundo en constante cambio en el que vivía su nieta. Aprendió a usar el dron para recibir las visitas virtuales de Roja y a manejar las videollamadas para que siempre pudieran estar juntas.

En cuanto a Wolfgang, después de pagar su deuda con la sociedad, decidió usar sus habilidades de hacking para el bien. Inspirado por la valentía de Roja, se convirtió en un defensor de la seguridad cibernética, ayudando a proteger a la ciudad de futuros ataques.

Y así, en un mundo de drones, realidad virtual y ciberseguridad, Roja, su abuela y Wolfgang encontraron su lugar, demostrando que incluso las historias más antiguas pueden encontrar nueva vida en la era moderna. La lección final, como siempre, es que el amor, la valentía y la sabiduría son los verdaderos héroes en cualquier historia, sin importar cuán moderna sea la configuración.

Google Bard hace un ejercicio muy pobre. Tan solo replicó la historia original de caperucita roja sin hacerle ninguna modificación significativa al argumento para adaptar el relato a los tiempos modernos salvo, quizá, la inclusión de un hospital:

Por supuesto, aquí está una versión moderna de la historia de Caperucita Roja:

Había una vez, una joven llamada Caperucita Roja que vivía en un pequeño pueblo. Un día, su madre le pidió que llevara una cesta de comida a su abuela, que vivía en el bosque. Caperucita Roja aceptó y emprendió su viaje.

Mientras caminaba por el bosque, se encontró con un lobo. El lobo era muy amigable y preguntó a Caperucita Roja a dónde iba. Caperucita Roja le dijo al lobo que iba a la casa de su abuela. El lobo se ofreció a caminar con ella.

Caperucita Roja estaba un poco asustada del lobo, pero aceptó que él caminara con ella. Caminaron un rato, y el lobo contó a Caperucita Roja historias sobre el bosque. Caperucita Roja comenzó a relajarse y a disfrutar de la compañía del lobo.

Cuando llegaron a la casa de la abuela, el lobo le dijo a Caperucita Roja que entrara y le dijera a su abuela que él estaría allí enseguida. Caperucita Roja entró y encontró a su abuela en la cama. La abuela parecía muy enferma. Caperucita Roja le preguntó a su abuela qué le pasaba, y la abuela le dijo que había comido algo que la había puesto enferma.

Caperucita Roja fue a la cocina a buscar un vaso de agua para su abuela. Cuando volvió, vio al lobo sentado en la silla de su abuela. El lobo llevaba la ropa de su abuela y tenía una gran sonrisa en su cara.

Caperucita Roja estaba asustada. Intentó huir, pero el lobo la atrapó. El lobo abrió la boca para comer a Caperucita Roja, pero antes de que pudiera, un cazador le disparó con una escopeta. El lobo cayó al suelo, muerto.

El cazador entró en la casa y ayudó a Caperucita Roja y a su abuela. Las llevó al hospital, donde fueron tratadas por sus heridas.

Caperucita Roja y su abuela se recuperaron de sus heridas. Estaban muy agradecidas con el cazador por haberles salvado la vida. El cazador les dijo que había estado rastreando al lobo durante mucho tiempo. Estaba contento de haber podido atraparlo finalmente.

Caperucita Roja y su abuela aprendieron una valiosa lección ese día. Aprendieron que es importante tener cuidado al hablar con extraños, especialmente en el bosque. También aprendieron que hay personas dispuestas a ayudar a otros en necesidad.

En conclusión

Si bien Google Bard cuenta con una interfaz de usuario mejor a la de ChatGPT, aún no arroja respuestas tan precisas y notables como las de ChatGPT-4. Muestra falencias a la hora programar, hacer cálculos y comprender, con precisión, la instrucción que se le brinda. Por otro lado, la promesa de que sí está conectado a internet es falsa o, cuanto menos, imprecisa.

Google Bard, por el momento, no solo no está disponible en español sino que presenta profundas falencias en su modelo de generación de texto, código y análisis. En este momento, no sería aventurado afirmar que Google Bard posee las capacidades de un ChatGPT 2.0.

La brecha, en términos de funcionalidad, es significativa y no resulta claro que Google logre dar alcance a OpenAI en el futuro cercano -aunque haber abierto al público la plataforma sin duda acelerará su desarrollo-. Cabe resaltar que OpenAI ya prepara futuras actualizaciones que ofrecen funcionalidades relevantes como la capacidad de interpretar imágenes, de leer gigantescas bases de datos y de conectarse a internet en tiempo real.

Lo cierto es que la presencia de Google en este escenario de seguro conllevará a una significativa mejora en las plataformas de IA generativa en menor tiempo. La competencia es bienvenida y era necesaria. Sin embargo, ten cuidado: Bard aún se encuentra rezagada en esta contienda de titanes.

Anuncios

Suscríbete

Recibe los últimos artículos en tu correo electrónico:

Síguenos

El autor

Edgar Medina es el fundador de Crónicatech. Ha escrito para medios reconocidos como El Tiempo, revista Donjuán, Portafolio, La República, revista Semana y Canal RCN. Ha trabajado en marketing digital con candidatos presidenciales, entidades del sector público como Icetex y la Alcaldía de Bogotá.
0
0

    Escribe tus comentarios

    Tu dirección de correo no será publicada Los campos requeridos marcados con *

    ¡Gracias por tu comentario!

    Anuncios

    Suscríbete

    Recibe los últimos artículos en tu correo electrónico:

    Síguenos

    El autor

    Edgar Medina es el fundador de Crónicatech. Ha escrito para medios reconocidos como El Tiempo, revista Donjuán, Portafolio, La República, revista Semana y Canal RCN. Ha trabajado en marketing digital con candidatos presidenciales, entidades del sector público como Icetex y la Alcaldía de Bogotá.