Plataformas
Adoptar
Probar
-
24. Databricks Unity Catalog
es una soluci¨®n de gobernanza de datos para recursos, tales como archivos, tablas o modelos de machine learning presentes en un . Es una versi¨®n administrada de la soluci¨®n open-source que puede ser usada para administrar y consultar datos guardados externamente o bajo el entorno de Databricks. Nuestros equipos han trabajado con una variedad de soluciones para administraci¨®n de datos en el pasado, tales como o . Sin embargo, el soporte combinado de Unity Catalog para gobernanza, administraci¨®n de metastore y data discovery la hacen atractiva, debido a que reduce la necesidad de administrar diferentes herramientas. Una complicaci¨®n que nuestro equipo pudo descubrir en Unity Catalog administrada por Databricks, fue la falta de recuperaci¨®n de desastre autom¨¢tica. Si bien se pudo configurar una funcionalidad propia de respaldo y restauraci¨®n, habr¨ªa sido m¨¢s conveniente tener una soluci¨®n provista por Databricks. Hay que tener en cuenta que a pesar de que estas plataformas de gobernanza usualmente implementan una soluci¨®n centralizada para asegurar la consistencia entre workspaces y workloads, la responsabilidad de gobernar puede ocurrir de forma federada, habilitando a equipos individuales a administrar sus propios recursos.
-
25. FastChat
es una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Nuestros equipos usan la funcionalidad de servir modelos para alojar distintos modelos ¡ª , y ¡ª con distintos prop¨®sitos, todos en el formato consistente de OpenAI API. FastChat opera en una arquitectura ejecutor-controlador, permitiendo a m¨²ltiples ejecutores alojar modelos diferentes. Soporta tipos de ejecutores como vLLM, LiteLLM y MLX. Nosotros usamos por su alto rendimiento. Dependiendo del caso de uso ¡ª latencia o rendimiento ¡ª se pueden crear o escalar distintos tipos de ejecutores del modelo FastChat. Por ejemplo, el modelo usado para sugerencias de c¨®digo en los entornos de desarrollo requiere una latencia baja y puede escalarse con m¨²ltiples ejecutores de FastChat para gestionar peticiones concurrentes eficientemente. Por el contrario, el modelo usado para Text-to-SQL no necesita muchos ejecutores por su baja demanda o requisitos de rendimiento distintos. Nuestros equipos se valen de la escalabilidad de FastChat para hacer pruebas A/B. Configuramos ejecutores FastChat con el mismo modelo pero con distintos valores para los hiper par¨¢metros y planteamos las mismas preguntas a cada uno, identificando as¨ª hiper par¨¢metros ¨®ptimos. Cuando migramos modelos de servicios en producci¨®n, llevamos a cabo pruebas A/B para asegurar que no haya interrupciones del servicio. Por ejemplo, migramos hace poco de a para sugerencias de c¨®digo. Ejecutando ambos modelos concurrentemente y comparando sus salidas, verificamos que el nuevo modelo cumpl¨ªa o exced¨ªa el rendimiento del modelo anterior sin afectar la experiencia de desarrollo.
-
26. Constructor de Agentes de GCP Vertex AI
El proporciona una plataforma flexible para crear agentes de IA utilizando tanto lenguaje natural como un enfoque basado en c¨®digo. Esta herramienta se integra perfectamente con datos de negocio a trav¨¦s de conectores de terceros y tiene todas las herramientas necesarias para construir, prototipar y desplegar agentes de IA. A medida que crece la necesidad de agentes de IA, muchos equipos tienen problemas para entender sus beneficios e implementaci¨®n. Por eso, el Constructor de Agentes de GCP Vertex AI facilita a los desarrolladores el prototipado r¨¢pido de agentes, as¨ª como el manejo de tareas de datos complejas con una m¨ªnima configuraci¨®n. Nuestros desarrolladores lo han encontrado particularmente ¨²til para construir sistemas basados en agentes, como bases de conocimiento o sistemas de soporte automatizados, que manejan eficientemente tanto datos estructurados como no estructurados, lo que lo convierte en una valiosa herramienta para desarrollar soluciones basadas en IA.
-
27. Langfuse
Los LLMs funcionan como cajas negras, lo que dificulta determinar sus comportamientos. La observabilidad es crucial para abrir esta caja negra y comprender c¨®mo las aplicaciones LLM operan en producci¨®n. Nuestros equipos han tenido experiencias positivas con observando, monitoreando y evaluando aplicaciones basadas en LLMs. Su trazabilidad, an¨¢lisis y capacidades de evaluaci¨®n nos permiten analizar el rendimiento y precisi¨®n, administrar costos y latencia, y comprender patrones usados en producci¨®n, como por ejemplo, facilitando continuas mejoras basadas en datos. Los datos de instrumentaci¨®n proporcionan una trazabilidad completa del flujo de petici¨®n-respuesta y de los pasos intermedios, la cual puede ser usada para datos de prueba, validando la aplicaci¨®n antes de desplegar los cambios. Nosotros hemos utilizado Langfuse con RAG (generacion mejorada por recuperacion), entre otras arquitecturas de LLM, y agentes aut¨®nomos impulsados por LLMs.
En una aplicaci¨®n basada en RAG, por ejemplo, analizar trazas de conversaciones con puntuaci¨®n baja, ayuda a identificar qu¨¦ partes de la arquitectura - pre-entrenado, entrenado o generaci¨®n - necesitan refinamiento. Otra opci¨®n que merece la pena considerar en este ¨¢mbito es .
-
28. Qdrant
es un motor de b¨²squeda de similitud vectorial y base de datos de c¨®digo abierto escrito en Rust. Es compatible con una amplia y densa gama de texto multimodales. Nuestros equipos han utilizado modelos de incrustaci¨®n de c¨®digo abierto como y para m¨²ltiples bases de conocimiento de productos. Utilizamos Qdrant como almac¨¦n vectorial empresarial con para almacenar incrustaciones vectoriales como colecciones separadas, aislando la base de conocimiento de cada producto en el almacenamiento. Las pol¨ªticas de acceso de los usuarios se gestionan en la capa de aplicaci¨®n.
-
29. Vespa
es un motor de b¨²squeda de c¨®digo abierto y una plataforma de procesamiento de big data. Es especialmente adecuado para aplicaciones que requieren baja latencia y alto rendimiento. A nuestros equipos les gusta la capacidad de Vespa para implementar b¨²squedas h¨ªbridas con m¨²ltiples t¨¦cnicas de recuperaci¨®n, filtrar y ordenar eficazmente muchos tipos de metadatos, implementar ranking multifase, indexar m¨²ltiples vectores (por ejemplo, para cada chunk) por documento sin duplicar todos los metadatos en documentos indexados por separado y recuperar datos de m¨²ltiples campos indexados a la vez.
Evaluar
-
30. Azure AI Search
, anteriormente conocido como Cognitive Search, es un servicio de b¨²squeda basado en la nube dise?ado para manejar datos estructurados y no estructurado como bases de conocimientos, particularmente en configuraciones de retrieval augmented generation (RAG). Soporta varios tipos de b¨²squeda, como b¨²squeda por palabras clave, vectorial e h¨ªbrida, lo que consideramos que ser¨¢ cada vez m¨¢s importante. El servicio es capaz de ingerir autom¨¢ticamente formatos de datos no estructurados de los m¨¢s comunes, como PDF, DOC y PPT, lo que agiliza el proceso de creaci¨®n de contenidos con capacidad de b¨²squeda. Adem¨¢s, se integra con otros servicios de Azure, como Azure OpenAI, permitiendo a los usuarios construir aplicaciones con un esfuerzo de integraci¨®n manual m¨ªnimo. Desde nuestra experiencia, Azure AI Search funciona de forma fiable y es id¨®nea para proyectos alojados en el entorno Azure. A trav¨¦s de sus , los usuarios pueden adicionalmente definir pasos espec¨ªficos para el procesamiento de datos. En general, si trabajas en el ecosistema Azure y necesitas una soluci¨®n de b¨²squeda robusta para una aplicaci¨®n RAG, vale la pena considerar Azure AI Search.
-
31. Databricks Delta Live Tables
es un framework declarativo dise?ado para construir pipelines de procesamiento de datos que sean confiables, mantenibles y comprobables. Permite a los ingenieros de datos definir transformaciones de datos utilizando un enfoque declarativo y gestiona autom¨¢ticamente la infraestructura subyacente y el flujo de datos. Una de las caracter¨ªsticas m¨¢s destacadas de Delta Live Tables es su robusta capacidad de monitoreo. Proporciona un Grafo Ac¨ªclico Dirigido (DAG) de todo tu pipeline de datos, representando visualmente el movimiento de datos desde la fuente hasta las tablas finales. Esta visibilidad es crucial para pipelines complejas, ayudando a los ingenieros de datos y a los cient¨ªficos de datos a rastrear la procedencia y las dependencias de los datos. Delta Live Tables est¨¢ profundamente integrado en el ecosistema de Databricks, lo que tambi¨¦n presenta algunos desaf¨ªos para personalizar las interfaces. Recomendamos a los equipos evaluar cuidadosamente la compatibilidad de las interfaces de entrada y salida antes de usar Delta Live Tables.
-
32. Elastisys Compliant Kubernetes
es una distribuci¨®n especializada de Kubernetes que est¨¢ dise?ada para cumplir con requerimientos regulatorios y de cumplimiento rigurosos, particularmente para organizaciones que operan en industrias altamente reguladas tales como salud, finanzas o gobierno. Tiene procesos de seguridad automatizados, proporciona soporte a entornos de m¨²ltiples nubes (multicloud) y on-premise y est¨¢ construido sobre una arquitectura de seguridad de confianza cero. El ¨¦nfasis en cumplimiento incorporado para leyes tales como GDPR y HIPAA y controles como ISO27001 la convierte en una opci¨®n atractiva para las empresas que necesiten un entorno de Kubernetes seguro, conforme a regulaciones y confiable.
-
33. FoundationDB
es una base de datos multimodelo adquirida por Apple en 2015 y luego liberada como c¨®digo abierto en abril de 2018. El n¨²cleo de FoundationDB es un almac¨¦n distribuido de clave-valor, lo cual proporciona transacciones con serializaci¨®n estricta. Desde que lo mencionamos por primera vez en el Radar, ha experimentado mejoras significativas ¡ª incluyendo distribuciones de datos inteligentes para evitar hotspots de escritura, un nuevo motor de almacenamiento, optimizaciones de rendimiento y soporte para . Estamos utilizando FoundationDB en uno de nuestros proyectos en curso y estamos muy impresionados con su . Esta arquitectura nos permite escalar diferentes partes del cl¨²ster de manera independiente. Por ejemplo, podemos ajustar el n¨²mero de registros de transacciones, servidores de almacenamiento y proxies en funci¨®n de nuestra carga de trabajo y hardware espec¨ªficos . A pesar de sus extensas funcionalidades, FoundationDB sigue siendo notablemente sencillo de ejecutar y operar en grandes cl¨²sters.
-
34. Golem
La computaci¨®n duradera, un movimiento reciente en computaci¨®n distribuida, usa un estilo de arquitectura de m¨¢quina de estados expl¨ªcita para persistir la memoria de servidores serverless para una mejor tolerancia a fallas y recuperaci¨®n. es uno de los promotores de este movimiento. El concepto puede funcionar en algunos escenarios, como sagas de microservicios de larga duraci¨®n o flujos de trabajo de larga duraci¨®n en la orquestaci¨®n de agentes de IA. Hemos evaluado Temporal en radares anteriores para fines similares y Golem es otra opci¨®n. Con Golem puedes escribir componentes WebAssembly en cualquier lenguaje compatible, adem¨¢s de que Golem es determinista y admite tiempos de inicio r¨¢pidos. Creemos que Golem es una plataforma emocionante que vale la pena evaluar.
-
35. Iggy
, una plataforma de streaming de mensajes con persistencia escrita en Rust, es un proyecto relativamente nuevo con caracter¨ªsticas interesantes. Soporta caracter¨ªsticas como m¨²ltiples streams, t¨®picos y particiones, m¨¢ximo una entrega, expiraci¨®n de mensajes y soporte para TLS sobre los protocolos QUIC, TCP y HTTP. Iggy se ejecuta en un ¨²nico servidor ofreciendo un alto rendimiento para operaciones de lectura y escritura. Con el pr¨®ximo soporte a clusterizaci¨®n y a io_uring, Iggy puede ser una una alternativa potencial a Kafka.
-
36. Iroh
es un sistema de almacenamiento de archivos distribuido y entrega de contenido relativamente nuevo, dise?ado como una evoluci¨®n de sistemas descentralizados existentes como IPFS (InterPlanetary File System). Tanto Iroh como IPFS se pueden utilizar para crear redes descentralizadas para almacenar, compartir y acceder a contenido direccionado utilizando identificadores de contenido opacos. Sin embargo, , como no tener un tama?o m¨¢ximo de bloque y proporcionar un mecanismo de sincronizaci¨®n de datos a trav¨¦s de la sobre documentos. El roadmap del proyecto incluye llevar la tecnolog¨ªa al navegador a trav¨¦s de WASM, lo que plantea algunas posibilidades interesantes para incorporar la descentralizaci¨®n en aplicaciones web. Si no se desea alojar propios nodos de Iroh, se puede utilizar su servicio en la nube, . Ya hay varios SDKs disponibles en una variedad de lenguajes, y uno de los objetivos es ser m¨¢s amigable para el usuario y m¨¢s f¨¢cil de usar que los sistemas IPFS alternativos. Aunque Iroh a¨²n est¨¢ en sus primeras etapas, vale la pena seguirlo de cerca, ya que podr¨ªa convertirse en un actor importante en el espacio de almacenamiento descentralizado.
-
37. Plataformas de modelos de visi¨®n de gran tama?o (LVM)
Los modelos de lenguaje de gran tama?o (LLMs, por sus siglas en ingl¨¦s), han captado tanta de nuestra atenci¨®n, que tendemos a pasar por alto los avances en los modelos de visi¨®n de gran tama?o (LVMs). Estos modelos pueden ser usados para segmentar, sintetizar, reconstruir y analizar videos e im¨¢genes, a veces en combinaci¨®n con modelos de difusi¨®n o redes neuronales convolucionales est¨¢ndar. A pesar del potencial de las LVMs para revolucionar la manera que trabajamos con datos visuales, a¨²n nos enfrentamos a retos significativos al adaptarlos y aplicarlos en ambientes de producci¨®n. Los datos de video, por ejemplo, presentan retos de ingenier¨ªa ¨²nicos para recolectar datos de entrenamiento, segmentar y etiquetar objetos, refinar modelos y luego desplegar los modelos resultantes y monitorearlos en producci¨®n. As¨ª que mientras los LLMs se prestan a simples interfaces chat o APIs de texto plano, un ingeniero de visi¨®n computarizada o ingeniero de datos debe manejar, versionar, anotar y analizar grandes cantidades de datos de video; este trabajo requiere de una interfaz visual. Las plataformas LVM son una nueva categor¨ªa de herramientas y servicios - incluyendo , y ¡ª que surgen para atender estos retos. Deepstream y Roboflow son particularmente interesantes para nosotros, dado que combinan un ambiente de desarrollo con interfaz de usuario gr¨¢fica integrada para el manejo y creaci¨®n de anotaciones en video con un conjunto de APIs REST, de Python o C++ para invocar los modelos desde el c¨®digo de la aplicaci¨®n.
-
38. OpenBCI Galea
Hay un en el uso de interfaces cerebro-computadora (BCIs) y su potencial aplicaci¨®n en tecnolog¨ªas de asistencia. Las tecnolog¨ªas no invasivas que utilizan electroencefalograf¨ªa (EEG) y otras se?ales electrof¨ªsicas ofrecen una alternativa de menor riesgo a los implantes cerebrales para aquellos que se est¨¢n recuperando de lesiones. Ahora est¨¢n surgiendo plataformas sobre las cuales investigadores y emprendedores pueden desarrollar aplicaciones innovadoras sin tener que preocuparse por los desaf¨ªos de procesamiento e integraci¨®n de se?ales a bajo nivel. Ejemplos de tales plataformas son y , que ofrecen hardware y software de c¨®digo abierto para desarrollar aplicaciones BCI. El ¨²ltimo producto de OpenBCI, el , combina BCI con las capacidades de un auricular de realidad virtual. Ofrece a los desarrolladores acceso a una variedad de flujos de datos fisiol¨®gicos sincronizados en el tiempo, junto con sensores de posicionamiento espacial y seguimiento ocular. Esta amplia gama de datos de sensores se puede utilizar para controlar una variedad de dispositivos f¨ªsicos y digitales. El SDK es compatible con varios lenguajes y hace que los datos de los sensores est¨¦n disponibles en Unity o Unreal. Estamos entusiasmados de ver esta capacidad ofrecida en una plataforma de c¨®digo abierto, brindando a los investigadores acceso a las herramientas y datos que necesitan para innovar en este campo.
-
39. PGLite
es una compilaci¨®n en WASM de una base de datos PostgreSQL. A diferencia de intentos anteriores que requer¨ªan una m¨¢quina virtual Linux, PGLite construye directamente PostgreSQL en WASM, lo que permite ejecutarlo completamente en el navegador web. Se puede crear una base de datos ef¨ªmera en la memoria o persistir en el disco mediante indexedDB. Desde la ¨²ltima vez que mencionamos local-first applications en el Radar, las herramientas han evolucionado considerablemente. Con Electric y PGlite, ahora se puede crear aplicaciones locales y reactivas en PostgreSQL.
-
40. SpinKube
es un entorno de ejecuci¨®n serverless de c¨®digo abierto para WebAssembly en Kubernetes. Mientras Kubernetes ofrece capacidades de auto escalado robustas, el tiempo de arranque en fr¨ªo de los contenedores a¨²n puede requerir un aprovisionamiento previo para cargas m¨¢s elevadas. Creemos que el tiempo de inicio de milisegundos de WebAssembly proporciona una soluci¨®n serverless m¨¢s din¨¢mica y flexible para cargas de trabajo bajo demanda. Desde nuestra discusi¨®n anterior de Spin, el ecosistema WebAssembly ha hecho avances significativos. Nos entusiasma destacar SpinKube, una plataforma que simplifica el desarrollo y despliegue de cargas de trabajo basadas en WebAssembly en Kubernetes.
-
41. Unblocked
ofrece descubrimientos de los ciclos de vida del desarrollo del software (SDLC) y de artefactos. Se integra con herramientas comunes de gesti¨®n del ciclo de vida de las aplicaciones (ALM) y con herramientas de colaboraci¨®n para ayudar a los equipos a comprender las bases de c¨®digo y los recursos relacionados. Mejora la comprensi¨®n del c¨®digo al brindar un contexto relevante e inmediato sobre el c¨®digo, lo que facilita la navegaci¨®n y la comprensi¨®n de sistemas complejos. Los equipos de ingenier¨ªa pueden acceder de manera segura y conforme a las normas a debates, activos y documentos relacionados con su trabajo. Unblocked tambi¨¦n captura y comparte el conocimiento local que a menudo reside en miembros experimentados del equipo, lo que hace que la informaci¨®n valiosa sea accesible para todos, independientemente del nivel de experiencia.
Resistir
?No encontraste algo que esperabas ver?
?
Cada edici¨®n del Radar presenta noticias que reflejan lo que hemos encontrado durante los seis meses anteriores. Es posible que ya hayamos cubierto lo que busca en un Radar anterior. A veces seleccionamos cosas simplemente porque hay demasiadas de las que hablar. Tambi¨¦n es posible que falte alg¨²n dato porque el Radar refleja nuestra experiencia, no se basa en un an¨¢lisis exhaustivo del mercado.
