Navegación / Navigation
Inteligencia Táctica en el BordeSistemas de MisiónDesafíos de Ingeniería: Optimizando para el EdgeLos IniciosHUD Termal & Pruebas en WebFiltros CrudosIntegración CompletaSiguiente Fase: Inteligencia de Enjambre (Swarm AI)Solicitar Auditoría de FlotaPortafolio / PortfolioInteligencia Táctica en el Borde
Un sistema nativo en C++17 que integra FFmpeg, OpenCV DNN y una interfaz OpenGL / ImGui. Del vídeo al seguimiento visual, con decisiones de memoria explícitas.
Del frame al HUD.
Explora las cinco etapas de la revisión actual. Los diagramas explican el código; no representan telemetría en vivo.
FFmpeg abre y decodifica la fuente de vídeo. La entrada establece el ritmo y la resolución del resto del sistema.
Base técnica: master · revisión 693d178 · src/main.cpp · 9 oct 2026. VisionDron-ISR ↗
Sistemas de Misión
01 · COMPUTER VISION
Captura y decodificación FFmpeg; inferencia YOLOv8 ONNX con OpenCV DNN en CPU; FastTracker; composición OpenGL / ImGui. CUDA participa en la ruta gráfica.
02 · TELEMETRÍA Y HUD
Procesamiento de video (RTMP/WebRTC) con pseudocolor ilustrativo con LUTs y telemetría de coordenadas.
03 · TARGET LOCK SYSTEM
Ventana ISR secundaria con zoom digital suavizado y vector predictivo dedicado al seguimiento autónomo del objetivo bloqueado.
Desafíos de Ingeniería: Optimizando para el Edge
La revisión actual del repositorio utiliza C++17 y CMake. El rendimiento depende de la fuente, la resolución, el modelo ONNX y el hardware: cada etapa necesita medirse por separado.
01 — El cuello de botella
Decodificar, detectar, seguir y dibujar al mismo tiempo exige controlar la vida de los frames. Las copias de memoria y las colas sin límite pueden aumentar la latencia aunque la interfaz siga respondiendo.
02 — La intervención
FramePool reutiliza buffers y FastTracker mantiene el seguimiento. YOLOEngine carga modelos ONNX con OpenCV DNN y ejecuta actualmente el backend OpenCV en CPU. CUDA y los PBO participan en la ruta gráfica, no acreditan inferencia TensorRT.
03 — Estado verificado
La arquitectura observada conecta FFmpeg, procesamiento, tracking y composición OpenGL / ImGui. Los vídeos conservan evidencia de versiones anteriores. No hay un benchmark reproducible publicado aquí para atribuir 270 FPS o una latencia fija a esta revisión.
FFmpeg → FramePool → YOLOv8 ONNX / OpenCV DNN CPU → FastTracker → OpenGL / ImGui CUDA / PBO: graphics path · Benchmark: pending
Valor Empresarial
Optimizar primero para hardware portátil obliga a controlar el consumo de recursos, la latencia y el flujo de datos desde el diseño. Para una organización, esto abre la posibilidad de procesar video localmente, reducir la dependencia de conectividad constante y adaptar la infraestructura a las necesidades reales de cada operación.
Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.
Rendimiento Comprobado
Todo comenzó como un experimento para llevar la inferencia de visión artificial al borde (edge computing). El objetivo inicial era capturar el feed de video directo de un dron y procesarlo localmente sin una latencia inaceptable. En esta etapa temprana, establecí la arquitectura base: ingesta de video crudo, primeros pipelines de inferencia ligera y transmisión básica en la red local. Este fue el cimiento técnico que me permitió más tarde incorporar modelos pesados.
Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.
Operativa Táctica
Así es como funciona el sistema en su estado maduro: El feed de vuelo es interceptado por un servidor MediaMTX que distribuye el flujo hacia el pipeline de inferencia principal. Aquí, YOLO11 (acelerado por TensorRT para máximo rendimiento) detecta objetivos en milisegundos, mientras que ByteTrack mantiene la persistencia de identidad de cada objetivo a través de los cuadros (incluso si se ocultan temporalmente). Finalmente, aplico un post-procesado agresivo que simula visión térmica táctica mediante LUTs calibradas, añadiendo telemetría simulada y enviando el resultado final al navegador web.
Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.
Filtros de Hardware
Simulación de cámara térmica "White Hot" (Calor). Extrae el contraste puro a través de LUTs aplicadas en tiempo real.
Simulación de "Visión Oscura". Filtro táctico para visibilidad comprometida que realza los contornos sin destruir el contraste de los negros.
Registro histórico · los vídeos y la narrativa de esta sección corresponden a iteraciones anteriores. Consulta el inspector C++ para la revisión actual.
Simulación Avanzada
El resultado final es un sistema táctico de alto nivel. En esta demostración se expone un escenario de mayor complejidad, validando la integración total y simultánea de los sistemas de visión artificial, seguimiento predictivo, interfaz de usuario (HUD) y filtros térmicos.
Demostración Táctica · LinkedIn
Inferencia YOLO11, TensorRT y Streaming WebRTC
Spec Sheet
MediaMTX Server
H.264 / H.265 Decoding
OpenCV DNN / CPU
CUDA Acceleration
FramePool
Tracking IDs
Dead Pixel Noise
Edge Enhancement
Low Latency Sync
Browser Frontend
Consultar integración C++
Describe tu fuente de vídeo, hardware y objetivo de integración. Revisaremos el alcance técnico y la viabilidad del proyecto.