Saltar a contenido

Holomat

Banco de trabajo holográfico open-source de concept bytes inspirado en JARVIS/Iron Man: Raspberry Pi 5 + proyector cenital + cámara, con calibración Charuco + 4 puntos, gestos por MediaPipe e IA por voz. Es el proyecto de referencia más cercano al objetivo del usuario.

Contexto

El usuario citó el Holomat como inspiración directa. Demuestra que el concepto es realizable hoy y aporta un stack concreto reutilizable. Importante: es proyección sobre superficie + AR espacial, no un holograma aéreo.

Contenido

  • Hardware: Raspberry Pi 5; proyector de alta resolución (techo o stand) que proyecta sobre un mat enrollable; cámara cenital para gestos/calibración; superficie táctil interactiva.
  • Software: Python 3.6+, OpenCV 4.0+, MediaPipe, NumPy, PyAutoGUI. Repo Concept-Bytes/Holomat (MIT). Scripts reales (raíz, branch main): camera_manager.py, hand_calibartion.py, home_screen.py, run.py, sample.env; matriz de homografía guardada M.npy; carpetas apps/ audio/ resources/ scans/. (No existe calibration.py; lo nombraban mal fuentes secundarias.)
  • Calibración: calibración de 4 puntos — homografía cv2.findHomography(calibration_points, target_points) capturada poniendo el dedo sobre 4 puntos proyectados (pantalla 1920×1200), guardada en M.npy. En runtime cv2.perspectiveTransform mapea landmarks de mano cámara→proyector. El repo publicado no muestra ChArUco/calibrateCamera/undistort pese a lo que dicen fuentes secundarias — ver gap. Ver calibracion camara proyector.
  • Interacción: hand tracking con mediapipe; el "touch" es hover 2D (posición del índice sobre la UI, sin profundidad). Ver deteccion toque gestos. IA por voz con la API en tiempo real de OpenAI.
  • Integración: control de impresoras 3D y cortadoras láser; visualización/manipulación de modelos 3D.
  • El repo es "tutorial part 2" (calibración); part 1 (hand tracking) está en Patreon.

Relaciones

Citas / evidencia

  • "camera calibration using a Charuco board pattern and 4-point calibration to map projector output accurately onto the mat surface" — holomat
  • "I strongly suggest following along with my video on patreon as there is a lot of debugging required to run this." — holomat

Abierto / gaps

  • Specs exactas de proyector/cámara y BOM con precios. Detalle del flujo run.py y M.npy.