00
ENLAZANDO ENLACE ISR CARGANDO RUNTIME YOLO11 CALIBRANDO LUT TÉRMICA HUD EN LÍNEA

Inteligencia Táctica en el Borde

C++17 · ONNX / CPU · OPENGL / IMGUI

Un sistema nativo en C++17 que integra FFmpeg, OpenCV DNN y una interfaz OpenGL / ImGui. Del vídeo al seguimiento visual, con decisiones de memoria explícitas.

YOLOv8 ONNX OPENCV DNN FFMPEG
SYSTEM DRN-ISR-01
STATUS
DEMO SYSTEM
STACK YOLOv8 / ONNX
INGEST FFmpeg / Stream
PERF RUTA C++ NATIVA
VERIFICATION SOURCE REVIEWED
C++17 / ENGINEERING INSPECTOR

Del frame al HUD.

Explora las cinco etapas de la revisión actual. Los diagramas explican el código; no representan telemetría en vivo.

VISIONDRON / DATA PATHEsquema conceptual
Selecciona una etapa para explorar la arquitectura

FFmpeg abre y decodifica la fuente de vídeo. La entrada establece el ritmo y la resolución del resto del sistema.

FFmpegC++17

Base técnica: master · revisión 693d178 · src/main.cpp · 9 oct 2026. VisionDron-ISR ↗

Los filtros IR son pseudocolor aplicado a vídeo visible: no equivalen a un sensor térmico. Swarm AI se presenta como una arquitectura futura.
Arquitectura

Sistemas de Misión

ACTIVE CHANNEL

01 · COMPUTER VISION

Captura y decodificación FFmpeg; inferencia YOLOv8 ONNX con OpenCV DNN en CPU; FastTracker; composición OpenGL / ImGui. CUDA participa en la ruta gráfica.

STATUS · VALIDATED

02 · TELEMETRÍA Y HUD

Procesamiento de video (RTMP/WebRTC) con pseudocolor ilustrativo con LUTs y telemetría de coordenadas.

STATUS · SIMULATED

03 · TARGET LOCK SYSTEM

Ventana ISR secundaria con zoom digital suavizado y vector predictivo dedicado al seguimiento autónomo del objetivo bloqueado.

STATUS · PROTOTYPE
FFmpeg → FramePool → YOLOv8 ONNX / OpenCV DNN CPU → FastTracker → OpenGL / ImGui CUDA / PBO: graphics path · Benchmark: pending
ENGINEERING LOG · EDGE COMPUTING

Desafíos de Ingeniería: Optimizando para el Edge

La revisión actual del repositorio utiliza C++17 y CMake. El rendimiento depende de la fuente, la resolución, el modelo ONNX y el hardware: cada etapa necesita medirse por separado.

01 — El cuello de botella

Decodificar, detectar, seguir y dibujar al mismo tiempo exige controlar la vida de los frames. Las copias de memoria y las colas sin límite pueden aumentar la latencia aunque la interfaz siga respondiendo.

02 — La intervención

FramePool reutiliza buffers y FastTracker mantiene el seguimiento. YOLOEngine carga modelos ONNX con OpenCV DNN y ejecuta actualmente el backend OpenCV en CPU. CUDA y los PBO participan en la ruta gráfica, no acreditan inferencia TensorRT.

03 — Estado verificado

La arquitectura observada conecta FFmpeg, procesamiento, tracking y composición OpenGL / ImGui. Los vídeos conservan evidencia de versiones anteriores. No hay un benchmark reproducible publicado aquí para atribuir 270 FPS o una latencia fija a esta revisión.

Hardware de pruebaRTX 4060 Laptop GPU
ModeloONNX / CPU
Pipeline completoRUTA C++ NATIVA
IngestaRTMP/RTSP vía MediaMTX
InferenciaYOLOv8 ONNX + OpenCV DNN
TrackingFastTracker + Kalman
DespliegueEdge / On-Premise
Medición actualMedición pendiente
FFmpeg → FramePool → YOLOv8 ONNX / OpenCV DNN CPU → FastTracker → OpenGL / ImGui
CUDA / PBO: graphics path · Benchmark: pending

Valor Empresarial

Optimizar primero para hardware portátil obliga a controlar el consumo de recursos, la latencia y el flujo de datos desde el diseño. Para una organización, esto abre la posibilidad de procesar video localmente, reducir la dependencia de conectividad constante y adaptar la infraestructura a las necesidades reales de cada operación.

Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.

Génesis del Proyecto

Rendimiento Comprobado

Todo comenzó como un experimento para llevar la inferencia de visión artificial al borde (edge computing). El objetivo inicial era capturar el feed de video directo de un dron y procesarlo localmente sin una latencia inaceptable. En esta etapa temprana, establecí la arquitectura base: ingesta de video crudo, primeros pipelines de inferencia ligera y transmisión básica en la red local. Este fue el cimiento técnico que me permitió más tarde incorporar modelos pesados.

FEED · INICIO REC ●
FPS: 30 RAW INGEST

Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.

Evolución

Operativa Táctica

Así es como funciona el sistema en su estado maduro: El feed de vuelo es interceptado por un servidor MediaMTX que distribuye el flujo hacia el pipeline de inferencia principal. Aquí, YOLO11 (acelerado por TensorRT para máximo rendimiento) detecta objetivos en milisegundos, mientras que ByteTrack mantiene la persistencia de identidad de cada objetivo a través de los cuadros (incluso si se ocultan temporalmente). Finalmente, aplico un post-procesado agresivo que simula visión térmica táctica mediante LUTs calibradas, añadiendo telemetría simulada y enviando el resultado final al navegador web.

FEED · PRUEBA-4-WEB LIVE
TARGET LOCK: ENGAGED YOLO11 + TRACKING

Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.

Simulación de Hardware

Filtros de Hardware

FEED · WHITE HOT SIMULATED
LUT: IRON / W-HOT CONTRAST: HI

Simulación de cámara térmica "White Hot" (Calor). Extrae el contraste puro a través de LUTs aplicadas en tiempo real.

FEED · NIGHT VISION SIMULATED
LUT: GREEN PHOSPHOR EDGE ENHANCE

Simulación de "Visión Oscura". Filtro táctico para visibilidad comprometida que realza los contornos sin destruir el contraste de los negros.

Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.

Escenario Avanzado

Simulación Avanzada

El resultado final es un sistema táctico de alto nivel. En esta demostración se expone un escenario de mayor complejidad, validando la integración total y simultánea de los sistemas de visión artificial, seguimiento predictivo, interfaz de usuario (HUD) y filtros térmicos.

▶

Demostración Táctica · LinkedIn

Inferencia YOLO11, TensorRT y Streaming WebRTC

[ EXTERN ] Ver demostración táctica en LinkedIn ↗
[ R&D / EXPERIMENTAL ]

Siguiente Fase: Inteligencia de Enjambre (Swarm AI)

El concepto

El siguiente salto arquitectónico para este sistema es escalar de la inferencia en una sola unidad a la orquestación de múltiples drones operando de forma coordinada. En lugar de pilotaje manual tradicional, el sistema permitiría emitir comandos tácticos de alto nivel a toda la flota (ej. "Fijar y rastrear objetivo a través de múltiples ángulos"), delegando la sincronización al motor de Inteligencia Artificial.

El cuello de botella (Hardware & Red)

Actualmente, este concepto se encuentra en fase de diseño experimental. Ejecutar tracking persistente sobre múltiples fuentes de video simultáneas exige un salto brutal en la infraestructura. Requiere hardware de inferencia de grado servidor (Data Center GPUs) para no saturar el pipeline, y un ancho de banda masivo en frecuencias de radio dedicadas para soportar la transmisión de múltiples streams RTSP/WebRTC sin pérdida de paquetes o latencia crítica.

Spec Sheet

01 · INGEST
RTMP / RTSP
MediaMTX Server
H.264 / H.265 Decoding
[ ONLINE ]
02 · INFERENCE
YOLOv8 ONNX
OpenCV DNN / CPU
CUDA Acceleration
[ VALIDATED ]
03 · TRACKING
FastTracker
FramePool
Tracking IDs
[ PROTOTYPE ]
04 · VISUAL
LUT Simulation (Iron/WH/BH)
Dead Pixel Noise
Edge Enhancement
[ SIMULATED ]
05 · DISTRIB
WebRTC / HLS
Low Latency Sync
Browser Frontend
[ ONLINE ]
Licenciamiento & Integración

Consultar integración C++

Describe tu fuente de vídeo, hardware y objetivo de integración. Revisaremos el alcance técnico y la viabilidad del proyecto.

CONTACTO DIRECTO
jarmando2050@outlook.com
// CLASIFICACIÓN: CONCEPTUAL BLUEPRINT

Manifiesto Arquitectónico: Swarm AI

Este proyecto de HUD e inferencia visual es el primer bloque fundamental de una visión mucho más grande. Sin embargo, para escalar de un solo dron a un enjambre táctico autónomo, la realidad de la industria nos enfrenta a límites de hardware y software que la Inteligencia Artificial actual apenas comienza a comprender.

No existe aún un framework "plug-and-play" para este nivel de orquestación. Para llevar esta idea a producción, la arquitectura debe resolver tres cuellos de botella críticos:

01. Lógica de Enjambre y Latencia de Red

Transmitir video crudo desde 20 drones a una estación central satura cualquier red de radiofrecuencia estándar. La solución real exige Edge Computing Distribuido: cada dron debe procesar su propia inferencia localmente y solo transmitir "vectores de estado" (coordenadas, identificadores) mediante una red Mesh descentralizada.

02. Razonamiento Espacial Conjunto

Los modelos de visión actuales detectan objetos, pero carecen de razonamiento predictivo. Si el Dron A pierde de vista a un objetivo detrás de un edificio, el sistema central debe predecir su trayectoria matemática y reasignar al Dron B (en otro ángulo) para interceptarlo automáticamente. Esto requiere IA espacial compleja acoplada a telemetría topográfica.

03. Fusión de Sensores Masiva

La cámara óptica por sí sola no sirve en operaciones complejas. Un sistema robusto requiere integrar LiDAR y cámaras termográficas (SWIR/LWIR) nativas. El software debe amalgamar estas fuentes en un modelo 3D del entorno en tiempo real, multiplicando el consumo computacional y requiriendo arquitecturas de GPU paralelas.

En resumen: La interfaz táctica está diseñada. El motor de inferencia visual es funcional. El siguiente gran paso es una labor de ingeniería profunda en infraestructura de red, algoritmos de predicción espacial y presupuesto de hardware para laboratorios de I+D.