Awesome GitHub RepositoriesHead Pose Estimation

OpenFace este un framework de affective computing și un set de instrumente pentru analiza comportamentului facial, conceput pentru extragerea trăsăturilor faciale și recunoașterea mișcărilor musculare în scopul analizării comportamentului emoțional uman. Acesta oferă o platformă de cercetare pentru analizarea emoțiilor umane și a tiparelor de interacțiune socială prin computer vision. Software-ul implementează o suită de instrumente pentru detectarea punctelor de reper faciale (landmarks), calcularea poziției capului în spațiul 3D față de o cameră și urmărirea direcției privirii prin analizarea poziției și orientării ochilor. Include, de asemenea, capabilități de recunoaștere a unităților de acțiune facială (facial action units) pentru a identifica mișcări musculare specifice. Proiectul acoperă o gamă largă de primitive de analiză facială, inclusiv extragerea trăsăturilor faciale pentru a procesa imagini brute în fețe aliniate și descriptori standardizați.

PRNet este o bibliotecă Python pentru reconstrucția facială 3D. Utilizează un model de regresie bazat pe deep learning pentru a prezice geometria facială 3D și culorile vertex-urilor dintr-o singură imagine 2D, generând un mesh texturat. Proiectul oferă instrumente pentru schimbarea digitală a feței (face swapping), permițând înlocuirea unei fețe țintă cu o imagine nouă și îmbinarea texturilor pentru a se potrivi cu poziția originală. Include, de asemenea, un framework pentru schimbarea și îmbinarea texturilor faciale pentru a se adapta la poziții 3D specifice. Capabilitățile suplimentare acoperă analiza facială, inclusiv detectarea și alinierea punctelor de reper faciale (landmarks) și estimarea poziției capului și a matricelor de orientare a camerei.

AniPortrait este un pipeline de sinteză video AI conceput pentru a genera portrete vorbitoare fotorealiste și animații faciale. Funcționează ca un generator de talking head și animator bazat pe audio care sincronizează mișcările buzelor, expresiile și pozițiile capului cu surse de vorbire sau video de referință. Sistemul include un instrument de transfer al expresiilor faciale pentru reenactment-ul mișcărilor dintr-un video sursă pe o imagine de referință statică. Utilizează un model de difuzie latentă cu condiționare a imaginii bazată pe referință pentru a menține identitatea vizuală și consistența pe cadrele generate. Pipeline-ul acoperă maparea audio-la-expresie, controlul mișcării ghidat de poziție și sinteza video fotorealistă. Încorporează upsampling prin interpolarea cadrelor pentru a accelera procesul de generare și a reduce timpul total de randare.

lite.ai.toolkit este un toolkit C++ de viziune computerizată conceput pentru implementarea AI pe dispozitive edge. Acesta permite execuția modelelor pre-antrenate pentru detecția obiectelor, clasificarea imaginilor și segmentare pe dispozitive cu resurse limitate. Proiectul include un motor de inferență multi-backend care suportă runtime-ul de modele ONNX, permițând modelelor AI să ruleze pe diferite ținte hardware. Include un pipeline accelerat prin GPU, specific pentru hardware-ul NVIDIA, pentru a reduce latența și a crește viteza de procesare. Toolkit-ul acoperă o gamă largă de capabilități de analiză facială, inclusiv detecția emoțiilor, estimarea genului și vârstei, și analiza poziției capului. De asemenea, oferă instrumente pentru recunoaștere facială prin extragerea embedding-urilor de trăsături și calcularea similarității cosinus pentru verificarea identității. Capabilitățile suplimentare includ matting-ul imaginilor pentru izolarea prim-planului, colorizarea imaginilor grayscale și transferul de stil artistic.

3DDFA is a 3D face reconstruction tool that generates three-dimensional facial meshes and 68 structural landmarks from a single two-dimensional input image. The project provides utilities for estimating facial pose and depth maps to determine the orientation and position of a face. It includes a geometry exporter to save reconstructed facial shapes into standard file formats for use in external 3D modeling software. The software further covers automated face cropping using landmark-based and landmark-free identification methods, as well as the extraction of specialized mathematical represent

This project is a computer vision tool designed to calculate the pitch, yaw, and roll of a human head in real time. It functions as a facial landmark detection library that identifies sixty-eight specific points on a face to enable precise orientation tracking from video streams. The system utilizes a high-performance inference engine to execute pre-trained machine learning models, ensuring that geometric analysis is performed efficiently on input frames. By mapping detected facial coordinates to a three-dimensional model, the software determines the camera-relative rotation of the head throu