Được phát triển trên cơ sở SkipGen2, bộ điều khiển thông tin giải trí eCockpit của công ty Panasonic, AR HUD 2.0 tích hợp ETS, sử dụng hệ thống quang học tiên tiến của Panasonic.
Công nghệ tích hợp tiên tiến độc quyền này là sự kết hợp một camera hồng ngoại IR với máy chiếu AR HUD và quang học tiên tiến của Panasonic loại bỏ sự cần thiết phải có một camera riêng biệt hướng về khuôn mặt của lái xe. ETS nhận dạng tầm nhìn của lái xe, tối ưu hóa hình ảnh thực tế tăng cường AR rõ ràng và chính xác, cho phép người lái xe nhìn nhận môi trường trực quan và thoải mái hơn.
Andrew Poliak, giám đốc công nghệ (CTO) Công ty Hệ thống Ô tô Panasonic tại Mỹ cho biết, Panasonic AR HUD 2.0 tiếp tục định hướng tích hợp các miền hiển thị như như Cluster và HUD vào module máy tính thông tin giải trí trung tâm.
Giải pháp tích hợp công nghệ theo dõi mắt độc quyền Panasonic vào AR HUD tăng cường độ trung thực hình ảnh trong trường nhìn của người lái xe, xác định chính xác tiêu điểm người lái xe đang nhìn, tích hợp và tập trung hình ảnh AR vào thế giới thực chính xác.
Điểm đặc biệt là công nghệ ETS xác định chiều cao và chuyển động của người lái, đồng thời tự động điều chỉnh và bù trừ hình ảnh trong “khuôn hình của mắt”.
Hoạt động lái xe được hỗ trợ bằng phần mềm điều hướng Trí tuệ Nhân tạo (AI) của Phiar Technologies phù hợp với môi trường thay đổi bằng lớp phủ và các biểu tượng, tín hiệu AR, cho phép lái xe nhận thức trực quan rõ nét hơn những tình huống và môi trường xung quanh cũng như dự đoán được sự kiện.
Hệ thống phân loại các đối tượng trên cơ sở từng pixel với tốc độ lên đến 120 khung hình/giây. Các mối nguy hiểm tiềm ẩn, như lối đi bộ sắp tới hoặc người đi bộ sắp băng qua đường, được làm nổi bật bằng hoạt ảnh AR.
Mô hình tổng hợp của Phiar đào tạo AI về thời tiết phức tạp, ánh sáng kém và các điều kiện khác, hình thành một bức tranh đáng tin cậy về môi trường quanh xe. Hệ thống không yêu cầu bản đồ kỹ thuật số chi tiết, khả năng tính toán tốc độ cao hoặc những cảm biến đắt tiền như radar hoặc lidar. Công nghệ AR của Panasonic sử dụng một camera phía trước, khoảng 720p, liên kết với hệ thống thông tin giải trí và máy tính trên xe.
Những tính năng kỹ thuật của AR HUD 2.5D Panasonic bao gồm: Phần mềm điều hướng hỗ trợ bởi AI với lớp phủ 3D, biểu tượng và AR, biểu tượng và ánh xạ; Công nghệ xử lý ánh sáng kỹ thuật số (DLP) cho hình ảnh và biểu tượng sắc nét, độ phân giải cao; Mô phỏng 3D bằng cách sử dụng mặt phẳng hình ảnh kép, nghiêng;
Tính năng theo dõi mắt được cấp bằng sáng chế (ETS) của Panasonic cho phép: Điều chỉnh độ cao người lái tự động; Bù thị sai (để căn chỉnh chính xác những biểu tượng AR trong đường dẫn quang học trình điều khiển); Tự động lấy nét động (khi thay đổi tiêu điểm của mắt người lái xe); Giám sát tình trạng người lái xe để tăng cường độ an toàn.
Lắp đặt camera hồng ngoại IR bên trong AR HUD làm tăng độ chính xác của AR HUB và tăng cường thêm tính năng giám sát trạng thái làm việc của lái xe, phát hiện tình trạng buồn ngủ, suy nhược và mất tập trung để có thể báo động và ngăn chặn kịp thời nguy cơ mất an toàn.
Dữ liệu trực quan được thu thập, được xử lý và đưa đến màn hình trung tâm, HUD hay màn hình giải trí của hành khách. Màn hình hành khách được sử dụng cho các trò chơi Pokémon, Metaverse hoặc những ứng dụng games kết hợp thực và ảo.
