Logo

NGHIÊN CỨU VÀ PHÁT TRIỂN GIẢI PHÁP
THEO DÕI CHUYỂN ĐỘNG MẮT
HỖ TRỢ TRẺ RỐI LOẠN PHÁT TRIỂN

Nghiên cứu sinh: Nguyễn Thị Quỳnh Hoa

Người hướng dẫn: PGS.TS. Lê Thanh Hà & TS. Ngô Thị Duyên

Chuyên ngành: Khoa học máy tính
Mã số: 9480101
I. NỘI DUNG BÁO CÁO
2/73
I
Mở đầu
  • Đặt vấn đề & Thực trạng
  • Hạn chế phương pháp cũ
  • Mục tiêu & Phạm vi
II
Xây dựng bộ dữ liệu đa phương thức
  • Kiến trúc thu thập đồng bộ
  • Kịch bản kích thích ASD
  • Kịch bản Dyscalculia
III
Trích xuất đặc trưng thị giác tự động trong chuỗi khung hình động
  • Thuật toán PeyeMMV
  • Mô hình SAM
  • Định lượng dấu ấn (SQ)
IV
Hỗ trợ can thiệp cá nhân hoá
  • Giả thuyết Mắt - Tâm
  • Phân loại SVM (ASD)
  • Mạng Bayesian động (DBN)
V
Hỗ trợ đa nền tảng
  • Nền tảng di động
  • Nền tảng web
VI
Kết luận & Đóng góp
  • Tổng kết đóng góp khoa học
  • Hạn chế & Hướng tương lai
  • Công trình công bố
I. CÔNG NGHỆ THEO DÕI CHUYỂN ĐỘNG MẮT
3/73

Bối cảnh

  • Khai phá dữ liệu hành vi: mô hình hóa nhận thức là bài toán có độ phức tạp cao.
  • Thách thức gia tăng: trẻ rối loạn phát triển gặp rào cản ngôn ngữ, vận động và độ nhiễu dữ liệu lớn.
  • Dữ liệu chuyển động mắt: nguồn tín hiệu vi mô liên tục, khách quan và giàu hàm lượng thông tin nhận thức.

Diễn giải hành vi thị giác & dữ liệu tính toán

ÁNH XẠ DỮ LIỆU Vector: (x,y,t) PHÂN TÍCH CẤU TRÚC ĐƯỜNG QUÉT FIXATION SACCADE ĐO LƯỜNG SỰ HỖN LOẠN NHẬN THỨC Entropy Thấp (Ổn định) Trẻ dễ dàng tìm thấy quy luật Entropy Cao (Quá tải) Quỹ đạo mất phương hướng, bối rối
=> Công nghệ theo dõi chuyển động mắt khắc phục hạn chế quan sát chủ quan.
RỐI LOẠN PHÁT TRIỂN
4/73

Thực trạng & thách thức toàn cầu

  • Rối loạn phát triển: là nhóm hội chứng xuất hiện sớm trong quá trình trưởng thành, gây suy giảm khả năng tương tác xã hội và hạn chế năng lực tiếp thu kiến thức của trẻ. Nhóm này bao gồm các tình trạng phổ biến như rối loạn phổ tự kỷ, chứng khó đọc và chứng khó tính toán.
  • Hậu quả: suy giảm hiệu quả học tập, tạo rào cản hòa nhập xã hội và làm tăng nguy cơ mắc các vấn đề sức khỏe tâm thần (lo âu, trầm cảm).

Đặc trưng thị giác của trẻ RLPT

  • Trẻ có rối loạn phổ tự kỉ 1/36 trẻ em: ưu tiên quan sát các hình khối và giảm sự tập trung vào khuôn mặt người.
  • Trẻ khó tính toán 3-7% học sinh: sự thiếu tập trung vào vị trí mục tiêu và mất nhiều thời gian hơn để nhận diện các ký hiệu số học.
  • Trẻ khó đọc 7-20% học sinh: có xu hướng dừng mắt lâu hơn và thường xuyên nhìn ngược lại các phần nội dung văn bản đã qua.
=> Trẻ rối loạn phát triển có nhu cầu cần được hỗ trợ
=> Công nghệ theo dõi chuyển động mắt là một giải pháp hỗ trợ tiềm năng
II. PHẠM VI BÀI TOÁN
5/73

Khoảng trống liên ngành

Thiếu hụt một khung hiểu biết hệ thống về bản chất của dữ liệu liên ngành, dẫn đến tính ứng dụng thực tế còn hạn chế.

Nguyên nhân chính ở sự thiếu hụt khung lý thuyết đồng bộ.

Nhu cầu về tính diễn giải

Các nghiên cứu hiện tại thường ứng dụng mô hình học máy thiếu tính diễn giải.

Trong bối cảnh lâm sàng, khả năng giải thích là yêu cầu tiên quyết để đảm bảo độ tin cậy trong chẩn đoán và can thiệp cho trẻ.

⇒ Động lực của hệ thống hoá tài liệu

Sự cần thiết: chuyển hóa các biểu hiện lâm sàng phức tạp thành các bài toán thành phần có thể giải quyết bằng tính toán. Do vậy, hệ thống hóa tài liệu đóng vai trò xác định các hướng nghiên cứu trọng tâm thay vì chỉ tổng hợp đơn thuần.

Mục tiêu: tạo ra nền tảng lý thuyết vững chắc cho các thuật toán đề xuất ở giai đoạn sau của luận án.

II. HỆ THỐNG HOÁ TÀI LIỆU
6/73

Phương pháp luận

Xác định: truy vấn đa nguồn PubMed, Google Scholar, Scopus, WoS và ACM.

Sàng lọc: kiểm tra tiêu đề, tóm tắt theo tiêu chí mức độ liên quan.

Đánh giá: phân tích toàn văn, loại bỏ trùng lặp và công trình không phù hợp.

Phạm vi và phân loại

Cơ sở dữ liệu: 170 nghiên cứu về RLPTK, 169 nghiên cứu về khó tính toán và nhóm tham chiếu về khó đọc.

Phân loại: các công trình được hệ thống theo bài toán dữ liệu, đặc trưng thị giác, mô hình chẩn đoán và ứng dụng can thiệp.

4 hướng nghiên cứu chính

  • Phân tích đặc trưng: trích xuất và định lượng các mẫu hành vi thị giác vi mô.
  • Chẩn đoán: sử dụng dữ liệu thị giác để nhận diện sớm các dấu hiệu rối loạn.
  • Can thiệp: điều hướng sự chú ý và tối ưu hóa giao diện tương tác.
  • Đánh giá: đo lường sự thay đổi nhận thức theo chuỗi thời gian.

Hạn chế về dữ liệu

Quá trình hệ thống hóa chỉ ra rằng tập dữ liệu chính là rào cản trọng tâm quyết định hiệu quả của các mô hình.

Về thu thập: phương pháp kiểm thử trực tiếp tạo ra tập dữ liệu nhỏ, nhiều nhiễu, hạn chế khả năng tổng quát hóa.

Về xử lý: gán nhãn thủ công dữ liệu động tốn nguồn lực lớn, gây thiếu hụt dữ liệu huấn luyện.

II. Mục tiêu nghiên cứu
7/73
  • Mục tiêu 1: Đề xuất phương pháp xây dựng bộ dữ liệu đa phương thức làm cơ sở mô hình hóa hành vi tương tác của trẻ rối loạn phát triển.
  • Mục tiêu 2: Đề xuất giải pháp trích xuất tự động đặc trưng hành vi thị giác trên các nội dung hiển thị thay đổi.
  • Mục tiêu 3: Đề xuất phương pháp hỗ trợ can thiệp cá nhân hóa dựa trên dữ liệu hành vi thị giác và phản hồi tương tác.
DỮ LIỆU TRÍCH XUẤT MÔ HÌNH HỆ THỐNG Quy trình xử lý
III. MỤC TIÊU NGHIÊN CỨU 1
8/73
PHƯƠNG PHÁP XÂY DỰNG BỘ DỮ LIỆU
ĐA PHƯƠNG THỨC
III. VẤN ĐỀ NGHIÊN CỨU
9/73

Sự lệch pha đa phương thức

Audio Âm thanh phát Mắt Mắt phản xạ Chuột Click Chuột Sai số lệch pha T

Mô hình căn chỉnh thời gian

Gaze (Mắt) Audio (Tai) Mouse (Tay) Alignment Mô hình nhận thức (Nghe câu hỏi + Mắt tìm kiếm) Lỗi kết nối?

Yêu cầu

  • Tính đồng bộ: khớp nối chuỗi thời gian giữa ánh nhìn, âm thanh và tương tác.
  • Tính đặc trưng: dữ liệu phản ánh đặc điểm riêng biệt của từng nhóm trẻ RLPT.
  • Chuẩn đầu ra: xác định các thông số như Fixations, Saccades từ nhiều nguồn thiết bị.

Mục tiêu trọng tâm

Chuyển hóa nhu cầu lâm sàng thành bài toán kỹ thuật hợp nhất dữ liệu.

III. CÁC NGHIÊN CỨU LIÊN QUAN
10/73
Bộ dữ liệu /
mô hình nghiên cứu 		Đối tượng/tuổi Mô hình phần cứng /
thiết bị theo dõi mắt 		Tần số lấy mẫu Thiết lập /
môi trường thí nghiệm
Tập dữ liệu CopCo 23 Chứng khó đọc / Người lớn EyeLink 1000 Plus 1000 Hz Phòng thí nghiệm
ETDD70 23 Chứng khó đọc/9–10 tuổi Điều khiển từ xa SMI RED 250 Hz Phòng thí nghiệm
Dự án DIDUNAS Nguy cơ mắc chứng khó tính toán/lớp 1 Tobii Pro X3-120
(tông thường)		 120 Hz Trường học
Saliency4ASD 3 Trẻ em mắc chứng tự kỷ và trẻ em phát triển bình thường Điện thoại di động SMI RED 60 Hz Phòng thí nghiệm
Sàng lọc máy tính bảng 16 Chứng khó đọc/ 8–13 tuổi Galaxy Tab S5e (VisualCamp SeeSo) ~30 Hz Trường học
Đọc WebGazer 33 Rối loạn thần kinh khác biệt (ADHD, ASD) Webcam tiêu chuẩn (WebGazer SDK) ~30 Hz Trực tuyến
III. PHƯƠNG PHÁP ĐỀ XUẤT
11/73

Quy trình xây dựng bộ dữ liệu đa phương thức

Thiết kế kịch bản

Tích hợp kích thích thị giác & tương tác

Triển khai hệ thống

Thiết lập phần cứng & kiến trúc luồng

Đồng bộ & hợp nhất

Kỹ thuật Master Clock & Data Fusion

Bộ dữ liệu

Do sự khác biệt về biểu hiện lâm sàng, kịch bản được chia làm 2 nhánh

Nhóm trẻ tự kỷ (ASD)

  • Kịch bản kích thích thị giác tĩnh và động.
  • Tập trung vào dữ liệu kích thích xã hôi và quy luật.
  • Mục tiêu đo lường: sự chú ý xã hội

Nhóm trẻ khó tính toán

  • Tích hợp các bài toán số học đa dạng.
  • Yêu cầu tương tác đa bước (kéo thả, click).
  • Kết hợp chỉ dẫn bằng giọng nói để giảm tải nhận thức.
III. KỊCH BẢN KÍCH THÍCH CHO TRẺ ASD - RLPTK (TT)
12/73

Thuyết siêu hệ thống hóa

Não bộ trẻ RLPTK được ví như những cỗ máy "siêu hệ thống hóa", luôn tìm kiếm các quy luật:
Đầu vào → Quy tắc → Đầu ra.

Thiết kế kịch bản lâm sàng: đồ chơi "Gấu & Nút"

  • Tạo ra một xung đột thị giác trên cùng một màn hình.
  • Tác nhân cơ học: nút bấm vật lý, tất định, hoàn hảo, có thể giải mã 100%.
  • Tác nhân xã hội: khuôn mặt gấu chuyển động, cảm xúc, ngẫu nhiên, phi logic.
  • Đo lường: eye-tracking xác định hệ thống nào được trẻ ưu tiên "khóa" ánh nhìn.

Minh họa kịch bản kích thích

Minh họa logo cho kịch bản kích thích

Bộ lọc nhận thức & xung đột

BỘ LỌC QUY LUẬT Cơ học Dự đoán 100% Xã hội KHÔNG QUY LUẬT Lỗi Dự đoán
III. KỊCH BẢN KÍCH THÍCH CHO TRẺ ASD - RLPTK (TT)
13/73

Kích thích thực nghiệm

  • Giai đoạn tĩnh: tay quay hộp nhạc xoay đều đặn (dễ dự đoán, entropy thấp). Trẻ thiết lập mô hình an toàn.
  • Đột biến: chú hề 3D bật nắp. Sự kiện này phá vỡ mô hình an toàn, tạo ra một lỗi dự đoán.

Cơ chế quá tải nhận thức

SỰ BẤT NGỜ (LỖI DỰ ĐOÁN) Trẻ Điển hình (TD) Lọc linh hoạt DUNG NẠP (Tò mò & Khám phá) Trẻ RLPTK (ASD) Khuếch đại MÔ HÌNH CỨNG NHẮC QUÁ TẢI NHẬN THỨC!

Minh họa đáp trả lâm sàng

Minh họa đáp trả lâm sàng

Phân ly quỹ đạo ánh nhìn

Vùng Tĩnh (2D) Vùng Động (3D) Tò mò Né tránh QUÁ TẢI!
II. ĐÁP TRẢ LÂM SÀNG: sỰ ÁC CẢM & LẢNG TRÁNH ÁNH NHÌN
14/90

Minh họa đáp trả lâm sàng

Minh họa logo cho đáp trả lâm sàng

Phân ly quỹ đạo ánh nhìn

Vùng Tĩnh (2D) Vùng Động (3D) Tò mò (Dopamine) Saccade (Né tránh) QUÁ TẢI!
III. Kịch bản kích thích cho trẻ khó tính toán
14/73

1. Hình nền thị giác

Đánh giá khả năng bóc tách thông tin quan trọng (số, hình học) ra khỏi các nhiễu nền xung quanh. Đây là tiền đề quan trọng giúp trẻ không bị nhìn nhảy dòng hay nhầm lẫn các con số khi đặt tính.

3 Quét tìm mục tiêu
Minh họa logo cho hình nền thị giác

2. Ký hiệu mũi tên

Kiểm tra năng lực định hướng không gian (Trái/Phải, Lên/Xuống). Sự nhạy bén với hướng của mũi tên là cơ sở để trẻ hiểu về sự tăng/giảm trên trục số và các phép tính có hướng.

Khóa mắt vào hướng
Minh họa logo cho ký hiệu mũi tên

3. Tương quan vị trí

Đánh giá khả năng phân biệt vị trí tương đối giữa các vật thể (Ví dụ: hình tròn nằm bên trong hay bên ngoài chiếc hộp). Đây là yếu tố cốt lõi của tư duy hình học và phân số.

TRONG NGOÀI Saccade đối chiếu
Minh họa logo cho tương quan vị trí
III. Kịch bản kích thích cho trẻ khó tính toán(tt)
15/73

4. Đếm dấu chấm

Là khả năng nhận diện ngay lập tức số lượng nhỏ (1-4) mà không cần đếm. Trẻ khó tính toán thường mất khả năng này và phải đếm từng điểm một.

Minh họa logo cho bài đếm dấu chấm
Điển hình 1 Fixation Dyscalculia 3 Fixations

5. Nhận dạng số

Yêu cầu trẻ tìm một số cụ thể lẫn lộn giữa các chữ cái hoặc ký hiệu có hình dáng tương đồng, ví dụ số 5 lẫn với chữ S hoặc số 2.

S E 2 Z 5 8 Sự nhầm lẫn do hình thái tương tự
III. Kịch bản kích thích cho trẻ khó tính toán (tt)
16/73

6. Ánh xạ không gian - số học

Khả năng ước lượng vị trí của một số trên trục là biểu hiện rõ nhất của "Mental Number Line". Thử nghiệm chia làm 3 phiên bản độ khó tăng dần.

  • V1 (cơ bản): trục 0-10 có đầy đủ vạch chia. Đo khả năng đếm/nhảy vạch.
  • V2 (trung bình): trục 0-100 chỉ có mốc hai đầu và mốc giữa (50). Đo lường khả năng dùng "neo".
  • V3 (trừu tượng): trục không có vạch chia. Yêu cầu tính toán tỷ lệ thuần túy.

Minh họa đường số

Minh họa logo cho kịch bản đường số

Quỹ đạo ánh nhìn tìm kiếm

Tìm vị trí số "75" V2: trục neo 0 50 100 TD dùng neo 50 nhảy lên V3: trừu tượng 0 100 Dyscalculia quét hỗn loạn (mất phương hướng không gian)
III. Kịch bản kích thích cho trẻ khó tính toán (tt)
17/73

7. Đồng bộ đa phương thức

  • Nhiệm vụ: loa phát âm thanh "số bốn", trên màn hình hiển thị các số [2, 4, 7, 9].
  • Đo lường: tính toán độ trễ thời gian phản ứng (RT_AV) từ lúc kết thúc âm thanh đến khi ánh mắt khóa chặt vào đúng mục tiêu.
  • Đặc trưng Dyscalculia: trẻ gặp khó khăn trong việc gán nhãn ngữ âm vào biểu tượng, dẫn đến độ trễ RT_AV rất cao, ánh mắt lơ đễnh hoặc nhìn nhầm số.

Đo lường độ trễ phản hồi

Audio Phát: "SỐ BỐN" Audio Offset (T₀) 4 2 7 RT_AV (Delay) Gaze Lock
III. Kiến trúc thu dữ liệu đối với trẻ RLPTK
18/73
  • Luồng xử lý mô-đun: kiến trúc hệ thống tích hợp chặt chẽ giữa phần cứng (thiết bị theo dõi mắt Eye-tracker) và một ngăn xếp phần mềm chuyên dụng để phân tích hành vi thị giác của trẻ Rối loạn Phổ Tự kỷ.
  • Các tiến trình cốt lõi: cung cấp kích thích thị giác → Ghi nhận chuyển động mắt → Tiền xử lý dữ liệu → Nhận dạng vùng quan tâm (AOI) → Trích xuất đặc trưng và phân loại tự động.
Kiến trúc Tổng thể ASD
III. Kiến trúc thu dữ liệu đối với trẻ khó tính toán
19/73
  • Tùy biến cho nhận thức số học: hệ thống được thiết kế chuyên biệt để ghi nhận phản xạ của trẻ Dyscalculia khi tương tác trực tiếp với các bài tập toán học, trục số và không gian trên màn hình máy tính.
  • Ánh xạ và trực quan hóa: luồng dữ liệu cho phép liên kết tọa độ ánh nhìn của trẻ với các tương tác phần mềm, từ đó xuất ra các bản đồ nhiệt và quỹ đạo quét mắt chi tiết để chẩn đoán chiến lược nhận thức.
Kiến trúc Tổng thể Dyscalculia
III. KIẾN TRÚC ĐỒNG BỘ
20/73

Quy trình đồng bộ dữ liệu đa nguồn

Quy trình chuyển đổi dữ liệu ET, Mouse, Video màn hình và Audio thành dữ liệu đồng bộ, trong đó mỗi sự kiện được liên kết với thời gian, frame và AOI tương ứng.

Các nguồn dữ liệu ET mắt nhìn Mouse, Video Audio Hợp nhất trục thời gian Chuẩn hóa timestamp Hiệu chỉnh độ lệch thời gian Bù offset giữa kênh Tách khung hình và gán nhãn AOI Hợp nhất sự kiện theo khung hình Gaze/click/audio → AOI Dữ liệu đồng bộ Time · Frame AOI · Event
III. Quy trình đồng bộ dữ liệu (tt)
23/73

4. Hợp nhất sự kiện theo khung hình

Mỗi frame được xem như một khoảng thời gian. ET, Mouse và Audio được gắn vào frame dựa trên tcorrected.

Ghép theo khoảng thời gian

Với frame Fi, lấy các mẫu/sự kiện có thời gian nằm trong khoảng bắt đầu–kết thúc của frame.

Gán vào AOI

Kiểm tra tọa độ gaze hoặc mouse có nằm trong AOI của frame đó hay không.

Ánh xạ audio

Audio được gắn vào các frame thuộc khoảng audio_start → audio_end.

Nguyên tắc: ghép theo timestamp trước, sau đó ánh xạ vào frame/AOI; không ghép theo số dòng.

5. Dữ liệu đồng bộ

Đầu ra là bảng dữ liệu hợp nhất theo thời gian – frame – AOI – sự kiện – nguồn.

ET gaze/fixation Mouse move/click Audio start/duration frame AOI Bảng đồng bộ time frame AOI event 12.30 F25 A1 gaze 12.36 F27 Btn click session_id + t_corrected + frame_id + AOI + event + source

Kết quả: dữ liệu sẵn sàng cho phân tích chú ý, tương tác và mô hình can thiệp.

III. Quy trình đồng bộ dữ liệu (tt)
21/73

1. Các nguồn dữ liệu thu được

Dữ liệu được thu từ nhiều kênh trong phiên học; mỗi kênh có tần số và cách ghi timestamp riêng.

Eye-tracking
Chuỗi gaze liên tục
et_time, gaze_x, gaze_y
Ví dụ: 90 Hz
Mouse
Sự kiện rời rạc
click, move, scroll
Timestamp riêng
Video màn hình
Chuỗi frame giao diện
frame_id, frame_time
60 FPS có thể tụt
Audio
Âm thanh hệ thống/người dùng
start_time, duration
Timestamp riêng

Vấn đề: khác tần số và định dạng nên không ghép theo số dòng dữ liệu.

2. Hợp nhất trục thời gian

Hợp nhất theo timestamp thực tế, không ép tất cả nguồn về cùng tần số lấy mẫu.

Nguyên tắc xử lý

  • Không ghép theo số dòng dữ liệu.
  • Quy đổi timestamp về cùng mốc T0.
  • Bảo toàn đặc trưng của từng nguồn.

Chuẩn hóa timestamp

tglobal = traw − T0

Đưa mọi thời gian về cùng đơn vị, bắt đầu từ t = 0 của phiên học.

ET: giữ gaze theo timestamp gốc.

Mouse: giữ sự kiện phát sinh.

Audio: dùng start-time, duration.

Video: dùng frame_time thực tế.

Kết quả: mỗi mẫu có t_global, sẵn sàng hiệu chỉnh lệch thời gian và gán vào frame/AOI.

III. Quy trình đồng bộ dữ liệu (tt)
22/73

3. Hiệu chỉnh độ lệch thời gian

Sau khi có t_global, các nguồn vẫn có thể lệch do trễ ghi màn hình, trễ âm thanh hoặc thiết bị khởi động không đồng thời.

Mục tiêu

Đưa gaze, click, audio và frame video về đúng quan hệ thời gian của cùng một hành vi thực tế.

Cách ước lượng offset

  • Dùng mốc sự kiện quan sát được: click → thay đổi giao diện, âm thanh bắt đầu, màn hình chuyển trạng thái.
  • So sánh thời điểm sự kiện giữa các nguồn để tính offset_source.

Công thức hiệu chỉnh

tcorrected = tglobal + offsetsource

Offset dương: dịch về sau; offset âm: dịch về trước.

Kết quả: mỗi nguồn có timestamp đã hiệu chỉnh, sẵn sàng liên kết với frame và AOI.

3. Tách khung hình và gán nhãn AOI

Video màn hình được tách thành các frame có timestamp đã hiệu chỉnh; trên mỗi frame xác định các vùng quan tâm phục vụ phân tích hành vi.

Video frame_time Tách frame AOI Câu hỏi Đáp án / nút frame_id + time_start/end + AOI_name + tọa độ

Frame: xác định khoảng thời gian bắt đầu/kết thúc của từng khung hình.

AOI: gán nhãn vùng câu hỏi, đáp án, nội dung, nút thao tác.

Kết quả: bảng AOI theo frame, dùng để gán gaze/click/audio event ở bước tiếp theo.

III. Thực nghiệm
25/90

Thực nghiệm: môi trường thực hiện

Hệ thống được mang trực tiếp đến các trung tâm giáo dục đặc biệt và trường học, đảm bảo trẻ được kiểm thử trong không gian quen thuộc, giảm thiểu áp lực tâm lý.

Thực nghiệm: đối tượng tham gia

  • Nhóm Đối chứng: trẻ phát triển điển hình (TD).
  • Nhóm ASD: trẻ rối loạn phổ tự kỷ.
  • Nhóm Dyscalculia: trẻ khó khăn về tính toán.

Bộ dữ liệu với các thông số

~2.43 GB

Tổng kích thước dữ liệu hợp nhất

1,230

Lượt trình bày nhiệm vụ kích thích

~2.7k

Điểm dừng trung bình/phiên

III. THÔNG TIN VỀ HAI BỘ DỮ LIỆU
24/73
Đặc điểm chung Trẻ RLPTK (660 phiên) Trẻ khó tính toán (82 phiên)
Thời lượng kích thích ~78 giây ~342 giây
Tổng thời lượng kích thích ~51.480 giây ~28.000 giây
Thời lượng phiên thực nghiệm 1.200–1.800s/phiên 1.200–1.800s/phiên
Tổng thời lượng thực nghiệm ~792.000–1.188.000s ~98.640–147.600s
Tần số lấy mẫu ET 90 Hz ~68,7 Hz
Số mẫu gaze/phiên ~7.020 mẫu ~23.508 mẫu
Tổng số mẫu gaze ~4,63 triệu mẫu ~1,93 triệu mẫu
Dữ liệu ET ~500 KB/phiên ~600 KB/phiên
Dữ liệu chuột - ~50 KB/phiên
Dữ liệu audio - ~1,3 MB/phiên
Dữ liệu video màn hình - ~25 MB/phiên
File dữ liệu đồng bộ ~700 KB/phiên ~2,67 MB/phiên
Tổng dung lượng bộ dữ liệu ~1,2 MB/phiên ~29,6 MB/phiên
Số điểm dừng trung bình ~200 điểm dừng/phiên ~33 điểm dừng/phiên
Tổng số điểm dừng ước tính ~132.000 điểm dừng ~2.700 điểm dừng
Kích thích/nhiệm vụ 12 ảnh 15 tác vụ
Tổng lượt trình bày kích thích 7.920 lượt 1.230 lượt
Ngưỡng dữ liệu hợp lệ ≥70% ≥70%
Tỷ lệ thời gian có âm thanh - ~3,1%
Tỷ lệ thời gian có tương tác chuột - ~0,1–10%
III. TOÁN HỌC HÓA DẤU ẤN SINH HỌC (BIOMARKERS)
27/90

Chuyển hóa Tọa độ thành Nhận thức

Dữ liệu thô (tọa độ x, y theo thời gian) không mang ý nghĩa lâm sàng cho đến khi được ánh xạ vào Vùng quan tâm (AOI) và chuyển hóa thành 3 dấu ấn sinh học cốt lõi:

  • 1. Thời gian Khóa mục tiêu (TTFF): tính từ lúc kích thích xuất hiện (t₀) đến khi điểm nhìn đầu tiên rơi vào AOI. Phản ánh tốc độ phản xạ và khả năng định hướng sự chú ý.
  • 2. Tổng thời lượng Chú ý (Dwell Time): tổng thời gian mắt lưu lại bên trong AOI. Chỉ số này đại diện cho mức độ hứng thú hoặc sự tập trung xử lý thông tin.
  • 3. Số lần Dừng mắt (Fixation Count): đếm số lượng cụm Fixation rớt vào AOI. Phản ánh chiến lược quét tìm kiếm (Quét liên tục hay Khóa chặt một chỗ).

Mô phỏng Quỹ đạo Sinh học (Eye-tracking Scanpath)

VÙNG QUAN TÂM (AOI) Bắt đầu (t0) 1. TTFF (Tốc độ) 3. Fixation Count = 3 2. Tổng Dwell Time (Σ thời gian nằm trong AOI)
III. ĐÓNG GÓP CỦA CHƯƠNG 2
25/73
1

Tính thực tiễn

Giải quyết rào cản về thiếu hụt dữ liệu đa nguồn trong nghiên cứu.

2

Tính kỹ thuật

Đề xuất phương pháp xây dựng bộ dữ liệu đa nguồn.

3

Vai trò nền tảng

Tạo tiền đề để trích xuất đặc trưng thị giác ở chương tiếp theo.

IV. MỤC TIÊU NGHIÊN CỨU 2
26/73
PHƯƠNG PHÁP TRÍCH XUẤT ĐẶC TRƯNG
THỊ GIÁC TỰ ĐỘNG TRONG
CHUỖI KHUNG HÌNH ĐỘNG
IV. VẤN ĐỀ NGHIÊN CỨU
27/73

Mô tả bài toán

  • Xác định vấn đề: dữ liệu tọa độ ánh nhìn thô thiếu tính định lượng. Việc gán nhãn vùng quan tâm (AOI) thủ công trên khung hình động tốn kém thời gian và dễ sai lệch chủ quan.
  • Yêu cầu: tự động hóa định vị AOI trên chuỗi khung hình động.
  • Mục tiêu: chuyển đổi dữ liệu ánh nhìn thô thành các chuỗi không gian - thời gian đồng bộ, phản ánh khách quan mức độ chú ý và tải nhận thức.

Minh họa bài toán AOI động

ẢNH TĨNH Vẽ 1 lần duy nhất VIDEO ĐỘNG (DI CHUYỂN THEO THỜI GIAN) Khung t Đã vẽ khớp Khung t+1 Phải vẽ lại Khung t+n Lại phải vẽ... Time HẠN CHẾ VỀ NHÂN LỰC Nhiều đối tượng × 1800 khung hình = 1p Video ➡ Mất ~60p lao động thủ công cho mỗi phút dữ liệu.
IV. NGHIÊN CỨU LIÊN QUAN
28/73
Thuật toán nhận dạng sự kiện
Thuật toán nhận dạng Cơ chế phân loại chính Phương pháp vận hành và trường hợp sử dụng
I-VT
(Ngưỡng vận tốc)		 Vận tốc góc giữa các điểm Áp dụng ngưỡng vận tốc nghiêm ngặt; hiệu quả tính toán cao nhưng nhạy cảm với nhiễu cảm biến.
I-HMM
(Mô hình Markov ẩn)		 Phân tích chuyển đổi trạng thái dựa trên xác suất Sử dụng mô hình thống kê hai trạng thái về phân bố vận tốc; có độ ổn định cao trong môi trường nhiễu.
I-DT
(ngưỡng phân tán)		 Sự phân bố điểm không gian theo thời gian Phân tích sự tán xạ hình học trong một cửa sổ thời gian di chuyển; rất tốt để xác định các điểm nhìn tập trung ổn định khi đọc.
I-MST
(Cây bao trùm tối thiểu)		 Lý thuyết đồ thị và tỷ lệ độ dài cạnh Xây dựng cấu trúc cây và cắt các cạnh dài (chuyển động mắt nhanh) để cô lập các cụm điểm dày đặc (điểm nhìn cố định).
I-AOI
(Khu vực quan tâm)		 Giao điểm không gian với các vùng được xác định trước Phân loại phụ thuộc vào ngữ cảnh; được sử dụng rộng rãi trong nghiên cứu UX để xác định xem các yếu tố giao diện người dùng cụ thể có được hiển thị hay không.
Tổng quan về các phương pháp thuật toán được sử dụng để phân tích các luồng tọa độ nhìn thô liên tục thành các sự kiện vận động mắt riêng biệt có thể phân tích được.
IV. NGHIÊN CỨU LIÊN QUAN
29/73
Loại kích thích Phương pháp nhận dạng Khả năng tái tạo Mức độ lao động Đánh giá của chuyên gia
Tĩnh Vẽ tay Thấp Cao Tránh sử dụng phương pháp này để so sánh giữa các nghiên cứu khác nhau.
Tĩnh Voronoi / LRVT Cao Thấp Tiêu chuẩn vàng cho phân tích tĩnh khách quan.
Năng động Lập bản đồ ánh nhìn Cao Vừa phải Thích hợp nhất cho việc cuộn hoặc di chuyển trên bề mặt phẳng.
Năng động AutoAOI (Học sâu) Vừa phải Thấp Cần thiết cho việc phân tích video quy mô lớn.
Tương tác Dựa trên DOM Rất cao Rất thấp Lý tưởng cho nghiên cứu UX và tối ưu hóa công cụ tìm kiếm.
3D / VR Chiếu tia Cao Thấp Tiêu chuẩn tương tác; nhạy cảm với tiếng ồn.
3D / VR Đúc hình cầu Cao Thấp Thích hợp nhất cho môi trường 3D phức tạp.
Lâm sàng Căn chỉnh độ nổi bật Rất cao Thấp Khả năng chẩn đoán cao nhờ trí tuệ nhân tạo.
Tổng quan về các phương pháp nhận dạng AOI trên khung hình tĩnh và động.
IV. PHƯƠNG PHÁP ĐỀ XUẤT
30/73

Tổng quan: tích hợp thuật toán phát hiện điểm dừng PeyeMMV và mô hình phân đoạn (SAM) kết hợp luồng quang học.

Giải pháp đề xuất: PeyeMMV

  • Phát triển dựa trên họ thuật toán I-DT (ngưỡng phân tán không gian).
  • Không dựa vào vận tốc mà dựa vào mật độ phân bố của tọa độ (x, y).
  • Kết quả: thuật toán bền vững trước các nhiễu động tần số cao, khôi phục lại trọn vẹn ý nghĩa nhận thức của một điểm nhìn.

Giải pháp đề xuất: SAM

  • Để vượt qua giới hạn của việc khoanh vùng thủ công, nghiên cứu ứng dụng (SAM) để tự động hóa gán nhãn AOI trong khung hình động.
Dữ liệu ET Trích xuất độc lập Ánh xạ không gian Đặc trưng cơ sở
Lưu đồ trích xuất đặc trưng
IV. Thuật toán PeyeMMV
31/73

Cơ chế phân cụm dữ liệu 3 bước

  • 1. Khởi tạo & phân cụm: gom các điểm dữ liệu thô liền kề có khoảng cách phân tán tối đa d < ε₁. Những điểm vượt ra ngoài bị coi là Saccade.
  • 2. Tinh chỉnh trọng tâm: loại bỏ các điểm nhiễu cục bộ có dung sai d > ε₂. Tính toán lại tọa độ trọng tâm đại diện cho toàn bộ cụm.
  • 3. Ràng buộc thời gian: cụm không gian này chỉ được công nhận là một Fixation nếu tổng thời gian gom được lớn hơn ngưỡng nhận thức
    t_total > t_min (thường là 100ms).

Quá trình biến đổi dữ liệu

TẠO CỤM (d < ε₁) Gom các điểm không gian gần TINH CHỈNH (ε₂) Trọng tâm Loại bỏ nhiễu biên ĐIỀU KIỆN THỜI GIAN t > 100ms Fixation hợp lệ Luồng biến đổi dữ liệu của PeyeMMV
IV. TỔNG QUAN PHÂN ĐOẠN SAM
32/73
Tọa độ ánh nhìn đầu vào (x, y) Khung hình video (t) Bộ mã hóa chỉ dẫn Bộ mã hóa hình ảnh Biểu diễn nhúng của chỉ dẫn Biểu diễn nhúng của khung hình Bộ giải mã mặt nạ Các mặt nạ ứng viên (M1, M2, M3) Bộ lọc ổn định Kiểm tra tính topo qua các ngưỡng 0.5 ± δ Mặt nạ hợp lệ làm AOI tại thời điểm t Bộ AOI động Lan truyền sang thời điểm t+1 bằng luồng quang học
IV. Mô phỏng
33/73
  • Khả năng bóc tách, phân vùng chính xác bất kỳ đối tượng nào trong khung hình mà không cần phải thu thập dữ liệu và huấn luyện lại mô hình .
  • Mô hình có tư duy không gian lồng ghép. Chỉ cần cung cấp duy nhất một tọa độ điểm gợi ý, hệ thống có thể hiểu và trích xuất ra nhiều cấp độ vật thể bao trùm lên nhau (Ví dụ: từ toàn bộ người -> Chiếc áo -> Nút áo).

Cơ chế phân cấp của SAM

ĐẦU VÀO Point Prompt (Điểm nhìn của mắt) MÔ HÌNH SAM Level 1 Toàn bộ người Level 2 Chiếc áo Level 3 Nút áo nhỏ
IV. Giám sát chuyển động
34/73
  • Khởi tạo: cung cấp hộp giới hạn ban đầu tại khung hình đầu tiên (t=0) để "dạy" mô hình nhận diện mục tiêu.
  • Mở rộng: tại khung hình tiếp theo (t+1), khi vật thể di chuyển, hệ thống tự động mở rộng hộp giới hạn cũ (thêm 10-20%) để tạo thành một "mạng lưới an toàn" bắt lấy chuyển động mới.
  • Tinh chỉnh: mô hình SAM nhận hộp đã mở rộng làm đầu vào mới, tự động phân tích và cắt gọt phông nền để xuất ra mặt nạ ôm sát vật thể.

Luồng bám sát vật thể

KHỞI TẠO (t=0) Box Thủ công (User Prompt) MỞ RỘNG (t+1) Box cũ bị lệch Expanded Box (Mạng lưới an toàn) TINH CHỈNH (SAM) Shrink-to-fit Mask (Mặt nạ cắt gọt hoàn hảo)
IV. Khôi phục mất dấu
35/73
  • Tạo mạng lưới an toàn: hệ thống chủ động nới rộng hộp giới hạn cũ thêm 20% diện tích. Điều này đảm bảo vật thể dù dịch chuyển đột ngột vẫn nằm trọn bên trong hộp.
  • SAM bóc tách & co rút: SAM nhận chiếc "hộp rộng" này làm dữ liệu đầu vào. Nhờ khả năng hiểu ngữ cảnh hình ảnh, tự động quét gạt bỏ toàn bộ phông nền thừa, sau đó "co rút" mặt nạ lại ôm sát hoàn hảo từng đường viền của vật thể.

Quá trình bóc tách nền

HỘP MỞ RỘNG (An toàn) SAM đang loại bỏ phông nền... MẶT NẠ ÔM SÁT (Shrink-to-Fit)
III. THỰC NGHIỆM VÀ ĐÁNH GIÁ
36/73

Quy trình đánh giá đối chứng

Đánh giá hai luồng song song trên tập dữ liệu

  • 1. Luồng A (tiêu chuẩn tham chiếu): chuyên gia thực hiện gán nhãn thủ công qua phần mềm CVAT.
  • 2. Luồng B (hệ thống tự động): chạy luồng khởi tạo SAM và lan truyền vết tự động qua các khung hình.
  • 3. Đối chiếu chéo: hai tập dữ liệu đầu ra được đưa vào module tính toán để đánh giá độ chính xác (IoU, Sai số) và hiệu suất.

Sơ đồ khung đánh giá

Tập video thô (S1, S2, S3) Lấy mẫu phân tầng Luồng A: gán nhãn thủ công Chuyên gia thực hiện (CVAT) IRR > 0.85? SAI ĐÚNG Nhãn Ground Truth (Tiêu chuẩn tham chiếu) Luồng B: hệ thống tự động Khởi tạo SAM Lan truyền điểm gợi ý (Từ khung hình sang khung hình) Nhãn dự đoán AI (Kết quả hệ thống) Tính toán chỉ số: IoU, sai số Pixel, hiệu suất Kết quả đánh giá thuật toán
IV. ĐÁNH GIÁ HIỆU NĂNG
37/73

Các chỉ số đánh giá

1. Chỉ số giao thoa (IoU)

Đánh giá mức độ chồng lấp không gian. IoU = (diện tích giao) / (diện tích hợp).

2. Sai số điểm ảnh

Đi vào chi tiết vùng biên vật thể để tính toán tỷ lệ phân loại sai

3. Hiệu suất thời gian

Bài toán tối ưu chi phí: so sánh tổng thời gian cần thiết để xử lý 1 phút video giữa lao động thủ công và hệ thống máy tính.

Kết quả đánh giá

1. IoU Score AI Human Giao 2. Pixel Error (lỗi vùng biên) Thừa (FP) Bỏ sót (FN) 3. Tối ưu hiệu suất thời gian Thủ công: ~60p Tự động: ~3p Giảm 95% thời gian xử lý
0.92 Mean IoU Score
Gán nhãn thủ công (~60 phút) Hệ thống đề xuất (~3 phút) -95% TIME
IV. KẾT QUẢ THỰC NGHIỆM ĐÁNH GIÁ MÔ HÌNH
41/90
0.92 Mean IoU Score
Gán nhãn thủ công (~60 Phút) Hệ thống đề xuất (~3 Phút) -95% TIME
III. LƯU ĐỒ TRÍCH XUẤT ĐẶC TRƯNG
42/90
Dữ liệu ET Trích xuất độc lập Ánh xạ không gian Đặc trưng cơ sở
IV. THỰC NGHIỆM LÂM SÀNG
38/73
Khối chức năng trong hệ thống phân tích RLPTK Vai trò và mục tiêu triển khai kỹ thuật
Bộ dữ liệu kích thích đa dạng Xây dựng gồm 12 đối tượng sinh thái học (đồ chơi tương tác, con rối khuôn mặt, xe ô tô) nhằm khơi gợi đồng thời hành vi chú ý xã hội và vật lý.
Mô-đun trực quan hóa hành vi Khởi tạo các bản đồ nhiệt đa sắc và đường quét từ đặc trưng chuyển động mắt để tái hiện chiến lược quan sát.
Mô-đun học máy (phân loại tự động) Ứng dụng bộ công cụ khai phá dữ liệu nạp trực tiếp vào mạng Support Vector Machine (SVM) nhằm tạo lập hàng rào kỹ thuật phân định giữa trẻ ASD và trẻ phát triển điển hình (TD).
Đặc điểm thống kê so sánh Phản ứng của nhóm điển hình (TD) Phản ứng của nhóm RLPTK (ASD) Ý nghĩa lâm sàng đằng sau dữ liệu
Số lượng điểm dừng Mật độ cao, quét diện rộng Tần suất thấp, thiếu tính lặp lại Khả năng khám phá thị giác ở trẻ ASD bị giới hạn
Thời lượng duy trì Kéo dài liên tục trên vùng chứa ngữ nghĩa Rời rạc, chu kỳ duy trì ngắn Cơ chế chú ý điều hành suy yếu
Thời gian tới đích đầu tiên Nhận diện nhanh kích thích xã hội Độ trễ lớn, chậm định hướng Bằng chứng định lượng về né tránh kích thích xã hội
IV. Mô hình A
15/23

Sự mâu thuẫn chú ý và sự chênh lệch định hướng

  • Kích thích: đang chơi "Gấu bấm nút" đặt hai loại kích thích cạnh tranh trên cùng một khung hình.
  • Tác nhân cơ học (nguyên nhân): nút bấm vật lý (logic, tất định).
  • Tác nhân xã hội (kết quả): khuôn mặt gấu sáng/nhạc (cảm xúc).
  • Giả thuyết: ASD thu hút bởi Nguyên nhân. TD hướng về kết quả.

Tỷ lệ Dwell Time

Nhóm Điển Hình (TD)
Gấu (Xã hội): 70%
Nút: 30%
Nhóm Tự Kỷ (ASD)
Gấu: 25%
Nút bấm (Cơ học): 75%

Bản đồ nhiệt A

TD (Nhìn Mặt Gấu)
ASD (Nhìn Nút Bấm)
IV. Mô hình B
17/23

Jack-in-the-Box & lảng tránh

  • Trạng thái tĩnh: hành động xoay hộp nhạc dễ dự đoán (Entropy thấp).
  • Trạng thái động: chú hề 3D bật nắp đột ngột (Entropy cao, Lỗi dự đoán lớn).
  • Phản ứng: nhóm TD thu hút vào khuôn mặt 3D. Nhóm ASD bị quá tải, lập tức liếc mắt lảng tránh xuống họa tiết 2D tĩnh để tự xoa dịu.

Tỷ lệ Dwell Time

TD
AOI động: 85%
AOI tĩnh: 10%
ASD
AOI động: 5%
AOI tĩnh: 75%

Nhóm Điển Hình (TD)

TD Heatmap Model B

Nhóm Tự Kỷ (ASD)

ASD Heatmap Model B
IV. KẾT QUẢ
39/73

Hiệu suất phân loại của SVM

  • Độ chính xác - 91%: Tỷ lệ chẩn đoán đúng trên toàn bộ tập dữ liệu, khẳng định tính đúng đắn và độ tin cậy của thuật toán.
  • Độ nhạy - 87%: khả năng nhận diện chính xác trẻ mắc tự kỷ. Đây là chỉ số quan trọng nhất trong y tế nhằm hạn chế tối đa việc bỏ lọt bệnh nhân.
  • Độ đặc hiệu - 97%: khả năng loại trừ chính xác trẻ phát triển bình thường, giúp hạn chế các báo động giả gây hoang mang cho phụ huynh.

Bảng điều khiển hiệu suất mô hình

91% ĐỘ CHÍNH XÁC 87% ĐỘ NHẠY 97% ĐỘ ĐẶC HIỆU MA TRẬN NHẦM LẪN True Positive (TP) Nhận diện đúng (ASD) False Positive (FP) Báo động giả False Negative (FN) Bỏ lọt bệnh (Nguy hiểm) True Negative (TN) Loại trừ đúng (TD) ASD TD THỰC TẾ ASD TD DỰ ĐOÁN
IV. Kết quả nhận diện hành vi "Đoán mò"
40/73
  • Dấu hiệu 1: ánh mắt đi rất nhanh qua đề bài, ít dừng lại ở số và toán tử.
  • Dấu hiệu 2: quỹ đạo mắt rời rạc, lựa chọn đáp án không theo chuỗi xử lý logic.
  • Dấu hiệu 3: hệ thống ghi nhận hành vi chọn ngẫu nhiên thay vì đọc và đối chiếu tuần tự.

Trẻ TD

Minh họa hành vi đoán mò 1

Trẻ khó tính toán

Minh họa hành vi đoán mò 2

Playback nhãn cầu

HỌC SINH A (TÍNH TOÁN) 15 + 8 = ? 21 23 25 Đọc đề cẩn thận → Chốt đáp án HỌC SINH B (ĐOÁN MÒ / BỎ CUỘC) 15 + 8 = ? 21 23 25 BỎ QUA ĐỀ BÀI Quét hỗn loạn → Chọn ngẫu nhiên
IV. Kết quả subitizing vs counting
41/73
  • Trẻ điển hình (TD): sử dụng chiến lược nhìn tổng thể; ánh mắt hội tụ ở vị trí trung tâm, tạo ra một điểm dừng lớn bao trùm toàn bộ nhóm vật thể.
  • Trẻ Dyscalculia: bắt buộc kích hoạt chiến lược đếm tuần tự; quỹ đạo mắt ghi nhận nhiều điểm Fixation nhỏ và các Saccade rời rạc.
  • Hệ lụy: tốn kém tài nguyên nhận thức, tăng thời gian phản hồi và dễ dẫn đến sai sót khi số lượng tăng lên.

Trẻ TD

Minh họa mất phương hướng trục số 1

Trẻ khó tính toán

Minh họa mất phương hướng trục số 2

Quỹ đạo ánh nhìn

HỌC SINH A (ĐIỂN HÌNH) Chiến lược: nhìn Tổng thể 1 Fixation Lớn Thời gian phản hồi (RT): Rất nhanh HỌC SINH B (DYSCALCULIA) Chiến lược: đếm Tuần tự 1 2 3 Thời gian phản hồi (RT): Rất chậm
IV. KẾT QUẢ MẤT PHƯƠNG HƯỚNG TRỤC SỐ
42/73
Nhiệm vụ: tìm vị trí số "73" trên trục (0 - 100)
  • Phiên bản 1 (trục trống - trừu tượng): chỉ có điểm đầu (0) và cuối (100). Đánh giá khả năng ước lượng tỷ lệ. Trẻ Dyscalculia quét mắt hoàn toàn hỗn loạn vì không có điểm neo.
  • Phiên bản 2 (trục có neo 5 đơn vị): có thêm các vạch chia nhỏ. Đánh giá chiến lược. Trong khi trẻ điển hình (TD) nhảy mắt nhanh đến mốc 75 rồi lùi lại, trẻ Dyscalculia lại đếm nhẩm từng vạch một từ 0.

Quỹ đạo: ước lượng tỷ lệ & dùng neo

TÌM SỐ 73 V1: trục trống (Chỉ 0 và 100) 0 100 TD: ước lượng 1 lần Dys: quét hỗn loạn V2: trục neo (Vạch chia 5 đơn vị) 0 100 50 75 TD: nhảy đến neo 75, lùi lại 73 Dys: đếm từng vạch (5, 10, 15...)

Trẻ TD

Minh họa subitizing 1

Trẻ khó tính toán

Minh họa subitizing 2

Trẻ TD

Minh họa subitizing 3

Trẻ khó tính toán

Minh họa subitizing 4
IV. KẾT QUẢ MẤT PHƯƠNG HƯỚNG TRỤC SỐ (TT)
48/90

Cơ chế kịch bản

  • T=0 đến 5s: màn hình hiển thị trục số đầy đủ vạch chia. Yêu cầu trẻ tìm và nhìn vào số "42".
  • Sau 5s: mọi vạch chia và con số biến mất, trục số trở nên trống trơn. Yêu cầu trẻ tiếp tục nhìn vào vị trí số 42.
  • Phân tích ánh nhìn: trẻ TD duy trì được điểm dừng mắt ổn định (Neo tâm trí) nhờ trí nhớ làm việc tốt. Trẻ Dyscalculia lập tức "trôi dạt ánh nhìn" và mất phương hướng ngay khi điểm tựa thị giác biến mất.

Test trí nhớ không gian

00:03s 00:07s 0 100 50 Mục tiêu (42) GIAI ĐOẠN 1: hiển thị đầy đủ thông tin GIAI ĐOẠN 2: thử thách trí nhớ làm việc (Xóa vạch) TD: duy trì Neo Tâm trí Dys: trôi dạt ánh nhìn (Gaze Drift)
IV. KẾT QUẢ ĐỨT GÃY NGHE - NHÌN
43/73

Nghiên cứu trường hợp V: sự mất kết nối âm thanh - hình ảnh

  • Mục tiêu: đồng bộ hướng dẫn bằng âm thanh ("Lan có 2 cái kẹo...") với quá trình phân tích văn bản và tìm kiếm bằng hình ảnh (các nút đáp án).
  • Ý nghĩa: đối với trẻ điển hình, âm thanh hỗ trợ quá trình giải quyết vấn đề. Tuy nhiên, với trẻ khó tính toán, việc tiếp nhận thông tin đa phương thức cùng lúc thường gây hiệu ứng ngược.
  • Gánh nặng nhận thức: việc đồng thời phải nghe, đọc và tính toán làm tăng gánh nặng lên trí nhớ làm việc. Ánh mắt quét hỗn loạn, mất khả năng trích xuất thông tin chính và thường dẫn đến việc từ bỏ.

Quỹ đạo mắt trên bài toán đa phương thức


Bài toán lời văn TD: đọc logic → Chốt đáp án 4 Dys: quá tải Âm thanh → Quét rối loạn
IV. ĐÓNG GÓP CỦA CHƯƠNG 3
44/73
1

Tính thực tiễn

Giải quyết vấn đề nâng cao hiệu quả về độ chính xác và thời gian thực hiện xác định các đối tượng quan tâm trong những khung hình động.

2

Tính kĩ thuật

Đề xuất phương pháp nhận diện sự kiện chuyển động mắt và phương pháp phát hiện vùng quan tâm, giúp ánh xạ điểm nhìn từ thông tin tọa độ thành các thông tin có ý nghĩa trên mỗi khung hình.

3

Vai trò nền tảng

Tạo cơ sở diễn giải thông tin thị giác, hỗ trợ điều chỉnh can thiệp trong các chương sau; đồng thời làm tiền đề cho việc khai thác dữ liệu eye-tracking trong các bài toán cá nhân hóa và hỗ trợ ra quyết định.

V. MỤC TIÊU NGHIÊN CỨU 3
45/73
PHƯƠNG PHÁP HỖ TRỢ CAN THIỆP
VI. Phương pháp hỗ trợ khác
45/73
Phương pháp hỗ trợ khác
V. Vấn đề nghiên cứu
46/73

Xác định vấn đề

Các phương pháp can thiệp hiện nay thường áp dụng theo mô hình chung, chưa đáp ứng được đặc điểm nhận thức riêng biệt của từng trẻ. Đồng thời, dữ liệu chuyển động mắt mới chỉ dùng để đánh giá kết quả sau cùng, chưa được tận dụng để điều phối tương tác học tập tức thời.

Yêu cầu

Cần tích hợp luồng dữ liệu thị giác khách quan vào hệ thống để tự động nhận diện khó khăn và cung cấp khuyến nghị điều chỉnh nội dung can thiệp kịp thời.

Mục tiêu

Nghiên cứu và phát triển các phương pháp ứng dụng eye-tracking nhằm phân tích hành vi và cá nhân hóa lộ trình can thiệp cho trẻ rối loạn phát triển.

V. NGHIÊN CỨU LIÊN QUAN
47/73

Hạn chế hiện nay

Các phương pháp can thiệp thường áp dụng mô hình chung, chưa thích ứng với đặc điểm nhận thức riêng biệt của từng trẻ.

Vấn đề kỹ thuật

Dữ liệu mắt hiện chủ yếu dùng để đánh giá kết quả sau cùng, thay vì tận dụng để điều phối tương tác tức thời hoặc đưa ra khuyến nghị cá nhân hóa.

Khoảng trống nghiên cứu

Thiếu hụt cơ chế ứng dụng đặc trưng chuyển động mắt để tối ưu hóa bài tập và lộ trình hỗ trợ dựa trên dữ liệu hành vi khách quan.

Minh họa sơ đồ chu trình can thiệp
Chu trình can thiệp truyền thống đối với trẻ RLPTK
V. PHƯƠNG PHÁP ĐỀ XUẤT
48/73

HAI HƯỚNG TIẾP CẬN RIÊNG BIỆT

Trẻ RLPTK

Áp dụng hệ thống luật tích hợp vào chu trình can thiệp 5 giai đoạn.

Trẻ khó tính toán

Áp dụng lý thuyết tải nhận thức, thiết kế kiến trúc hai vòng lặp và sử dụng Mạng Bayes động (DBN).

V. TỔNG QUAN PHƯƠNG PHÁP 1 - chu trình can thiệp cho trẻ rlptk
49/73
Hệ thống tích hợp eye-tracking hỗ trợ can thiệp trẻ RLPTK
Placeholder minh họa quy trình
Năm giai đoạn của chu kỳ can thiệp trẻ RLPTK
V. THỰC NGHIỆM
50/73
Tính năng của hệ thống Bối cảnh 1: thiếu hụt chú ý xã hội Bối cảnh 2: Sự tách rời nhận thức
Thông số đầu vào
Giai đoạn 1		 Thời gian dừng mắt trên AOI đối tác (mặt và tay) so với AOI thẻ PECS. Tần suất và thời gian dừng mắt trung bình trên các AOI gây nhiễu ngoài không gian làm việc.
Cổng logic
Giai đoạn 2		 NẾU (Thời gian nhìn đối tác < ngưỡng) VÀ (Nhìn ra ngoài > ngưỡng) THÌ Phân loại = "Trao đổi Xã hội bị lỗi". NẾU (Thời gian nhìn xao nhãng > ngưỡng) HOẶC (Tập trung vào task < ngưỡng) THÌ phân loại = "Rời bỏ Nhiệm vụ".
Đầu ra của hệ thống
Giai đoạn 3		 Cảnh báo: chưa có tham chiếu xã hội. Yêu cầu trẻ "Nhìn" trước khi hoàn tất trao đổi. Cảnh báo: trôi dạt chú ý ([X] giây). Cần điều hướng bằng lời nói hoặc cử chỉ.
Ý nghĩa lâm sàng Tránh trao đổi thẻ máy móc; đảm bảo duy trì tương tác xã hội trong giao thức. Phân biệt khách quan giữa tạm dừng nhận thức và trôi dạt chú ý (hoặc cố ý không tuân thủ).
Thực nghiệm
57/90
Chiều dữ liệu Thông số Logic / Ngưỡng điều kiện Giải thích lâm sàng và khuyến nghị hệ thống
Sự chú ý tổng thể Tỉ lệ nhìn
(Màn hình so với ngoài màn hình)		 Giảm xuống dưới ngưỡng (< θengage) Thiếu chú ý: người dùng không còn duy trì chú ý thị giác vào không gian nhiệm vụ. Khuyến nghị: cảnh báo chuyên gia trị liệu thực hiện tái tương tác thủ công và tạm dừng tiến trình bài học.
Ổn định hoặc tăng lên Chú ý duy trì: phát hiện sự chú ý được cải thiện. Khuyến nghị: đánh giá lại lịch trình khen thưởng; có thể tăng thời lượng nhiệm vụ hoặc tăng cường chất lượng.
Chiến lược xử lý Số lượng điểm dừng mắt so với thời lượng Số lượng cao + thời lượng thấp Quét quá mức (Bối rối): cho thấy tình trạng quá tải nhận thức nghiêm trọng. Khuyến nghị: chia nhỏ nhiệm vụ thành các bước nhỏ hơn; làm rõ các chỉ dẫn trực quan ngay lập tức.
Số lượng thấp + thời lượng cao Xử lý sâu: cho thấy hiệu quả xử lý cao. Khuyến nghị: chuyển sang bậc độ khó tiếp theo.
Chú ý chọn lọc Tỉ lệ mục tiêu so với vật gây nhiễu Tập trung vào Vật gây nhiễu θdistract Sự chọn lọc quá mức (Xao nhãng): người dùng bị cuốn hút bởi các kích thích không thiết yếu. Khuyến nghị: đơn giản hóa trường thị giác bằng các nguyên tắc TEACCH; tăng độ nổi bật của mục tiêu.
Tập trung mục tiêu > θdistract & vật gây nhiễu < θinhibit Ức chế thành công: chỉ số xác nhận hiệu quả thực hiện nhiệm vụ và kiểm soát nhận thức. Khuyến nghị: duy trì mức độ tương phản hình ảnh hiện tại.
Sự thành thạo Thời gian phản hồi so với độ chính xác Độ chính xác cao + thời gian phản hồi lâu Chính xác / Chưa thuần thục: chính xác nhưng xử lý chậm, ngần ngại. Khuyến nghị: tập trung vào sự trôi chảy và các bài tập lặp lại thay vì nâng cao các khái niệm mới.
Độ chính xác cao + thời gian phản hồi nhanh Làm chủ / Trôi chảy: Kỹ năng đã hoàn toàn tự động hóa. Khuyến nghị: giới thiệu các nhiệm vụ tổng quát hóa trong các môi trường khác nhau.
V. PHƯƠNG PHÁP ĐÁNH GIÁ
51/73

Thông tin thực nghiệm

  • Đối tượng: N = 3 trẻ tự kỷ (3-6 tuổi), đã được chẩn đoán y tế.
  • Thời lượng: 12 tuần liên tục (3 phiên/tuần, 20 phút/phiên).
  • Thành phần tham gia: trẻ em (người dùng), chuyên gia tâm lý/giáo viên (giám sát), hệ thống ITS (hiều phối & can thiệp tự động).

Mô hình tương tác lâm sàng

TRẺ EM Đối tượng tương tác ITS & ET Hệ thống can thiệp CHUYÊN GIA Giám sát & điều chỉnh Phản hồi Real-time Hướng dẫn vật lý Báo cáo
V. CHỈ SỐ EYE-TRACKING CẦN THIẾT
52/73
STT Trẻ Kế hoạch can thiệp Chỉ số theo dõi chuyển động mắt
1 Trẻ thứ nhất Giao tiếp PECS
Giai đoạn 3		 Nhìn đúng AOI của tranh yêu cầu.
Chuyển gaze từ thẻ sang người hỗ trợ.
Thời gian fixation trên thẻ mục tiêu.
Số lần quay lại AOI sau nhiễu.
Tốc độ quay lại AOI sau khi bị phân tán.
Tỷ lệ hoàn tất trao đổi bằng hình đúng trình tự.
2 Trẻ thứ hai Nhận thức chủ đề Nhận diện đúng chủ đề hiển thị.
Theo dõi từ khóa chính trên màn hình.
Chuyển mắt giữa gợi ý và đáp án.
Thời gian nhìn vùng chủ đề mục tiêu.
Tỷ lệ bỏ sót chi tiết quan trọng.
Mức ổn định quét mắt theo phiên học.
3 Trẻ thứ ba Giao tiếp PECS
Giai đoạn 4		 Phân biệt chuỗi yêu cầu nhiều bước.
Chọn đúng thẻ câu hoàn chỉnh.
Duy trì ánh nhìn qua 2 thẻ liên tiếp.
Quay lại thẻ trước khi xác nhận.
Thời gian ra quyết định cuối cùng.
V. TRẺ THỨ NHẤT - GIẢM THIÊN LỆCH ÁNH NHÌN
53/73
Bản đồ nhiệt của một khung hình
Heat map of a frame at (a) the initial time
Trước can thiệp
Heat map of a frame at (b) after the second intervention
Sau can thiệp
V. TRẺ THỨ HAI - GIA TĂNG MỨC ĐỘ NHẬN THỨC
54/73
Bản đồ nhiệt và đường quét của khung hình tại chu kỳ can thiệp thứ hai của người tham gia thứ hai
Heatmap of a frame at the cycle two time of the 2nd participant
Bản đồ nhiệt
Scanpath of a frame at the cycle two time of the 2nd participant
Đường quét
Đường quét của một số khung hình tại thời điểm cơ sở của trẻ thứ hai
Scanpath of several frames at the baseline time of the 2nd participant
Scanpath of several frames at the baseline time of the 2nd participant
V. TRẺ THỨ BA - CẢI THIỆN KHẢ NĂNG THÀNH LẬP CÂU
55/73

Đường quét của một khung hình tại thời điểm ban đầu và sau lần can thiệp đầu tiên của người tham gia thứ 3.

Scanpaths of a frame at (a) the baseline
Scanpaths of a frame (b) after first intervention times
VII.1. TRƯỜNG HỢP 1: CƠ HỌC MỞ KHÓA XÃ HỘI
63/90

Chuyển hóa Sở thích Đặc biệt

Sử dụng xu hướng "siêu hệ thống hóa" (thích các quy luật vật lý, nút bấm) làm cầu nối để dẫn dắt ánh nhìn của trẻ vào các kích thích xã hội (khuôn mặt, biểu cảm).

Kết quả Đo lường:

  • Đầu vào (Baseline - Tuần 1): Tỷ lệ dừng mắt (Dwell Time) trên khuôn mặt chỉ đạt trung bình 15%. Phản ứng lảng tránh cao.
  • Giữa kỳ (Tuần 6): hệ thống ITS thiết lập vòng lặp "Bấm nút → Hiện mặt cười". Ánh nhìn dần dịch chuyển theo luật nhân quả, đạt 42%.
  • Đầu ra (Post-test - Tuần 12): Tỷ lệ Dwell Time duy trì ổn định ở mức 68% ngay cả khi gỡ bỏ nút bấm cơ học. Trẻ hình thành được sự dung nạp với kích thích xã hội.

Đồ thị Tăng trưởng Dwell Time trên Khuôn mặt

80% 50% 20% Tuần 1 Tuần 3 Tuần 6 Tuần 9 Tuần 12 15% 42% 68% Vòng lặp Nhân quả
VII.2. TRƯỜNG HỢP 2: KHẮC PHỤC THIÊN VỊ THỊ GIÁC (GAZE BIAS)
64/90

Mở rộng Phạm vi Quét (Visual Field)

Trẻ ASD thường phát triển các "vùng an toàn thị giác" hẹp (ví dụ: chỉ nhìn nửa trái màn hình), bỏ qua các thông tin quan trọng nằm ngoài vùng này. Can thiệp nhằm phá vỡ thói quen này thông qua mồi nhử thị giác.

Kết quả Đo lường:

  • Tuần 1: Tỷ lệ bao phủ (Area Coverage) chỉ chiếm ~25% diện tích màn hình. Saccade ngắn, co cụm.
  • Can thiệp: ITS sử dụng thuật toán "Kéo giãn": di chuyển các mục tiêu hấp dẫn (đốm sáng, đồ chơi ưa thích) nhích dần ra khỏi vùng an toàn 2-3 độ góc nhìn mỗi phiên.
  • Tuần 12: biên độ Saccade tăng lên, vùng quét bao phủ >80% không gian học tập. Trẻ linh hoạt hơn trong việc định hướng chú ý.

Mô phỏng: mở rộng Vùng Bao phủ (Area Coverage)

Baseline (25%) Tuần 12 (>80%)
VII.3. TRƯỜNG HỢP 3: đỒNG BỘ ÁNH NHÌN VÀ HÀNH ĐỘNG
65/90

Tái thiết lập "Chú ý chung" (Joint Attention)

Khắc phục hiện tượng giao tiếp "mù" (chỉ tương tác vật lý bằng tay nhưng ánh mắt không hướng về đối tượng). ITS thiết lập quy tắc: hành động chỉ mang lại kết quả khi Ánh mắt đồng bộ.

Kết quả Đo lường:

  • Tần suất "Giao tiếp mù": Ở giai đoạn Baseline, 72% các thao tác yêu cầu/nhận đồ vật diễn ra mà không có giao tiếp mắt (Eye-contact).
  • Can thiệp: hệ thống phần mềm chỉ mở khóa (Unlock) phần thưởng/hoạt ảnh khi thuật toán PeyeMMV xác nhận tia nhìn của trẻ đã chạm vào đúng Vùng quan tâm (Khuôn mặt giáo viên/Vật thể chung).
  • Hội tụ: sau 12 tuần, tỷ lệ tương tác có chủ đích (có Gaze-sync) tăng lên 85%. Thời gian trễ (Latency) giữa hành động tay và tia nhìn rút ngắn đáng kể.

Tỷ lệ Tương tác Đồng bộ (Gaze-Sync)

100% 50% Tuần 1 Tuần 6 Tuần 12 28% 72% 60% 40% 85% 15% Gaze-Sync Lệch pha (Mù) Chất lượng Giao tiếp Tăng mạnh
VII. ĐÁNH GIÁ LÂM SÀNG: CƠ HỌC MỞ KHÓA XÃ HỘI (1/2)
66/90

Vượt Qua Kỳ Vọng Chuyên Gia

Trong can thiệp truyền thống, việc ép trẻ RLPTK nhìn vào khuôn mặt thường gây phản ứng lảng tránh. Chuyên gia dự đoán sự cải thiện sẽ rất chậm.

Tổng Dwell Time trên Khuôn mặt:

  • Baseline (Tuần 1): 15% thời lượng.
  • Dự đoán (12 tuần): đạt mức 35-40%.
  • Hệ thống ITS đạt: đạt mức 68%.
  • Kết luận: mồi nhử cơ học đã giúp não bộ tiếp nhận khuôn mặt như một phần thưởng thay vì mối đe dọa.

Khoảng cách Hiệu quả (Efficacy Gap)

15% Baseline 40% Chuyên gia 68% ITS Thực tế Vượt +28%
VII. ĐÁNH GIÁ LÂM SÀNG: CƠ HỌC MỞ KHÓA XÃ HỘI (2/2)
67/90

Đồ thị Phân kỳ Kỹ năng

Biểu đồ theo dõi tiến độ qua 12 tuần cho thấy sự khác biệt về quỹ đạo tăng trưởng:

  • Đường xám (Chuyên gia): dự đoán tăng trưởng tuyến tính, chậm rãi vì trẻ cần thời gian dài để "chịu đựng" với khuôn mặt.
  • Đường xanh (ITS): tăng trưởng theo hàm mũ. Ở tuần thứ 4, khi não bộ trẻ liên kết thành công "Nút bấm = Phần thưởng", thời lượng chú ý bùng nổ và duy trì ổn định.
80% 0% W1 W4 W8 W12 Dự đoán Điểm bùng phát ITS Thực tế
VII. ĐÁNH GIÁ LÂM SÀNG: KHẮC PHỤC GAZE BIAS (2/2)
68/90

Phân bố Không gian (Fixation Scatter)

Mô phỏng bề mặt màn hình hiển thị trong quá trình làm bài test sau 12 tuần:

  • Cụm nét đứt (Dự đoán): chuyên gia cho rằng trẻ chỉ nới rộng được vùng nhìn ra khu vực giữa (Center bias).
  • Cụm hồng (Thực tế): các điểm dừng mắt phân tán đều đặn khắp 4 góc màn hình. Trẻ không còn bỏ sót thông tin, năng lực thu thập dữ liệu thị giác phục hồi toàn diện.
Vùng Cũ Dự đoán (Mắc kẹt ở giữa) THỰC TẾ: mỞ RỘNG TOÀN DIỆN
VII. ĐÁNH GIÁ LÂM SÀNG: đỒNG BỘ ÁNH NHÌN (1/2)
69/90

Xóa Bỏ "Giao Tiếp Mù"

Khắc phục hiện tượng giao tiếp "mù" bằng quy tắc phần mềm: bấm chuột (tay) chỉ có tác dụng khi mắt đang nhìn đúng vào đối tượng.

Độ trễ Mắt - Tay (Latency):

  • Baseline: độ trễ cực cao (Mắt nhìn đi chỗ khác khi tay đang thao tác).
  • Dự đoán: giảm trễ 30-40% sau 3 tháng nhắc nhở thủ công.
  • Hệ thống ITS đạt: giảm trễ tới 75%.
  • Kết luận: "Khóa phần mềm" buộc bộ não trẻ tự hiệu chỉnh hệ thần kinh vận động - thị giác cực kỳ hiệu quả.

Thời gian trễ Giữa Mắt và Tay (Đơn vị: ms)

Baseline 1200ms Dự đoán 750ms ITS Thực tế 300ms! Giảm -75%
V. Tổng quan phương pháp 2 – hỗ trợ trẻ khó tính toán/đọc
56/73
  • Mô hình hóa: TAD là đồ thị có hướng không chu trình GTAD = (V, E).
  • Theo dõi: dữ liệu tương tác được cập nhật liên tục vào mô hình học tập của từng trẻ.
  • Can thiệp: hệ thống chọn dạng hỗ trợ phù hợp theo lỗi hiện tại và nguyên nhân nền tảng.
Minh họa đồ thị phụ thuộc phân tích nhiệm vụ
Cấu trúc hai vòng lặp
57/73

Vòng lặp trong

Đóng góp: tự động hạ cấp độ khó trình bày khi trẻ sai: tự luận (A) → Câu hỏi có cấu trúc (B) → Nhận diện kéo-thả (C) → Đúng/Sai (D).

Vòng lặp ngoài

Đóng góp: cập nhật Bayesian Knowledge Tracing (BKT) và truy vết ngược trên đồ thị TAD để tìm nút kỹ năng gốc bị hỏng.

Sơ đồ vòng lặp kép

Sơ đồ cấu trúc hai vòng lặp
Thực nghiệm
58/73

Đánh giá can thiệp

Đánh giá trên 3 học sinh có nguy cơ khó đọc: P1 dùng phương pháp hai vòng lặp, P2 dùng ITS thông thường, P3 học trên giấy truyền thống.

P1: hai vòng lặp

Cải thiện 95%, cao nhất trong ba điều kiện.

P2: ITS thông thường

Cải thiện 54.7%, thấp hơn rõ rệt so với phương pháp đề xuất.

P3: học trên giấy

Cải thiện 26.3%, phản ánh hiệu quả hạn chế của can thiệp truyền thống.

Mức cải thiện điểm số

So sánh cải thiện sau can thiệp 0% 25% 50% 75% 100% 95% P1 2 vòng lặp 54.7% P2 ITS thường 26.3% P3 Học giấy
V. TỔNG QUAN PHƯƠNG PHÁP 3 - khung tính toán với mạng dbn
59/73
Mô hình xác suất động: theo dõi tiến trình qua từng bước tương tác
Vòng lặp thích ứng khép kín: chẩn đoán → lên kế hoạch → can thiệp → đo lường
Cá nhân hóa lộ trình: phân kỳ chiến lược giảng dạy theo hồ sơ từng người học
Suy luận đa phương thức: kết hợp độ chính xác và thời gian phản hồi
KIẾN TRÚC HỆ THỐNG ITS + DBN DBN Mô hình người học P(K_t | E_{1:t}) Người học Thực hiện bài tập Giao diện học tập (Đa phương thức) Động cơ thích ứng (Quyết định sư phạm) Dữ liệu hành vi Độ chính xác · Thời gian E_t P(K_t) Lộ trình học tập Vòng lặp cập nhật liên tục sau mỗi tương tác học tập
V. Thiết kế thực nghiệm & phương pháp đánh giá
60/73

THIẾT KẾ THỰC NGHIỆM

N=2
Học sinh với các dạng khó khăn giải mã từ khác nhau
Mục tiêu thực nghiệm
Độ chính xác chẩn đoán: phân biệt nguyên nhân lỗi thiếu kiến thức vs. chậm xử lý
Hiệu quả thích ứng: tạo lộ trình học phi tuyến tính theo hồ sơ từng người học
Loại nhiệm vụ
• Đọc từ có thanh điệu (đo độ chính xác + thời gian)
• Phân biệt âm thanh và nhận diện chữ cái
• Ghi âm phát âm (bằng chứng đa phương thức)
Quy trình thực nghiệm
Tiền kiểm tra
↓
Can thiệp thích ứng (ITS + DBN)
↓
Hậu kiểm tra

PHƯƠNG PHÁP ĐÁNH GIÁ

P(L)
Tốc độ học
P(F)
Tốc độ quên
P(G)
Đoán ngẫu nhiên
P(S)
Nhầm lẫn thoáng qua
QUY TRÌNH SUY LUẬN BAYES ĐỆ QUY
Bằng chứng E_t
↓
Xác suất tiên nghiệm
↓
Cập nhật Bayesian
↓
Xác suất hậu nghiệm
↓
Quyết định
↻ Lặp lại cho bước thời gian t+1
V. Kết quả đánh giá
61/73

So sánh P(Kt) tiền & hậu kiểm tra

0 0.2 0.4 0.6 0.8 1.0 0.8 0.12 0.85 Học sinh 1 0.45 0.92 Học sinh 2 Tiền kiểm tra Hậu (HS1) Hậu (HS2)
Học sinh 1: Thiếu hụt kiến thức nền ngữ âm
P(K) tiền KT
0.12
Chưa thành thạo
P(K) hậu KT
0.85
Vượt ngưỡng 0.8
Thời gian TB
4.57s
Tiền kiểm tra
Thời gian TB
2.80s
Hậu kiểm tra

Lộ trình A: bổ trợ kiến thức nền
Học sinh 2: Trì hoãn xử lý thính giác (tốc độ)
P(K) tiền KT
0.45
Đúng nhưng chậm
P(K) hậu KT
0.92
Thành thạo cao
Thời gian TB
5.50s
Tiền kiểm tra
Thời gian TB
2.10s
Hậu kiểm tra

Lộ trình B: củng cố tốc độ (bài tập phản xạ nhanh → tăng tính tự động)
V. Đóng góp của chương 4
62/73
1

Tính thực tiễn

Giải quyết được vấn đề nâng cao hiệu quả can thiệp đối với nhóm trẻ RLPT.

2

Tính kỹ thuật

Đề xuất giải pháp hỗ trợ can thiệp bao gồm tích hợp công nghệ theo dõi chuyển động mắt vào quy trình can thiệp trẻ RLPTK nhằm đưa ra khuyến nghị điều chỉnh kế hoạch can thiệp, bên cạnh đó phát triển khung tính toán dựa trên DBN để nhằm phát hiện lỗi tiềm ẩn giúp cải thiện lộ trình can thiệp lộ trình đối với trẻ khó khăn học tập.

3

Vai trò nền tảng

Tạo tiền đề xây dựng kế hoach can thiệp cá nhân hoá người học.

Phương pháp hỗ trợ khác
77/90
PHƯƠNG PHÁP HỖ TRỢ KHÁC
VI. Vấn đề nghiên cứu
63/73

Xác định vấn đề:

Các phương pháp truyền thống dựa trên học liệu giấy có tính cố định, khó điều chỉnh linh hoạt theo năng lực tiếp nhận thông tin của trẻ tại thời điểm tương tác.

Yêu cầu:

Tái kiến trúc các mô hình tương tác nhằm hiệu chỉnh động; tối giản hóa thao tác và kiểm soát tải nhận thức ngoại lai cho trẻ có rối loạn phát triển.

Mục tiêu:

Xây dựng hệ thống hỗ trợ đa nền tảng (Web và di động) tích hợp cơ chế cá nhân hóa trải nghiệm học tập dựa trên hồ sơ nhận thức riêng biệt của mỗi trẻ.

VI. Thực nghiệm
62/70

Khảo sát chuyên gia

  • Khảo sát chuyên gia (n=73): 91% đánh giá tích cực về thiết kế tổng thể.
  • Chỉ số đánh giá: kiểm soát hiển thị (4.1–4.9/5); hỗ trợ đa phương thức (4.6–4.8/5).
  • Luận điểm: kiểm soát tải nhận thức và tối giản thao tác vật lý giúp cải thiện tương tác của trẻ.

Kết quả cải thiện năng lực

  • Kỹ năng cộng: tăng từ 3.6 lên 7.9; duy trì ổn định sau 6 tuần.
  • Kỹ năng trừ: đạt 7.9 vs 7.1 (đối chứng).
  • Kỹ năng so sánh: tăng từ 4.9 lên 6.3.
  • Kỹ năng đếm: cải thiện đáng kể, củng cố nền tảng số học.
Nghề nghiệp
Nghề nghiệp
Minh họa 1
Minh họa 2
Thực nghiệm
70/73

Lượng hóa qua 12 mục tiêu (MT) chia thành 3 nhóm

1. Đọc thành tiếng (MT1-MT5).

2. Khả năng đọc hiểu (MT6-MT8).

3. Thái độ và tham gia (MT9-MT12).

Kết quả cải thiện hành vi và năng lực (EzRead)

Giảm mật độ ký tự giúp kiểm soát nhiễu loạn thị giác, giảm các biểu hiện căng thẳng sinh lý (nhíu mày, dụi mắt).

MT9 (Hăng hái) và MT11 (Theo dõi chú ý) cải thiện rõ rệt nhờ sự phối hợp đa phương thức và vòng lặp phản hồi vi mô.

VI. Nền tảng web-ezmath
64/73

EzMath là hiện thực hóa của kiến trúc ITS vòng lặp kép, được thiết kế đặc biệt cho học sinh tiểu học và trẻ khó tính toán. Nền tảng tự động số hóa toàn bộ quá trình nhận thức của học sinh.

Kiến trúc dữ liệu nền tảng EzMath

EZMATH CORE ENGINE Click/Tương tác Can thiệp UI Giao bài mới
VI. HỖ TRỢ ĐA PHƯƠNG THỨC
65/73

Thang đo cấp độ hỗ trợ

  • Cấp 1: đọc to lại đề bài hoặc gợi ý bằng âm thanh ("Con thử đếm lại xem").
  • Cấp 2: can thiệp giao diện thị giác. Làm mờ các chi tiết gây nhiễu, làm sáng các con số hoặc vùng quan trọng.
  • Cấp 3: hỗ trợ tương tác vật lý. Chia nhỏ bài toán, hiển thị các khối vật thể để trẻ dùng chuột kéo thả trực tiếp, biến trừu tượng thành trực quan.

Tháp hỗ trợ thích ứng

CẤP 1: AUDIO CẤP 2: VISUAL CẤP 3: TƯƠNG TÁC KÉO THẢ Mức độ quá tải Học sinh
VI. Hỗ trợ kỹ năng đa cấp độ
66/73
VI. Nền tảng di động - ezread
85/90

Nhiều trẻ không làm được bài không phải do kém Toán, mà do gặp khó khăn trong việc đọc hiểu và trích xuất dữ kiện. EzRead là ứng dụng di động mang sức mạnh của hệ thống ITS ra khỏi phòng lab, hỗ trợ trẻ học tập mọi lúc mọi nơi bằng công nghệ Thị giác Máy tính (Computer Vision) và NLP.

Mô hình Hoạt động EzRead App

VI. SỐ HÓA VÀ PHÂN TÍCH NGỮ NGHĨA
86/90

Quy trình kỹ thuât

  • Bước 1: chụp ảnh từ SGK hoặc vở bài tập. Mô hình Deep Learning chuyển đổi hình ảnh thành văn bản kỹ thuật số với độ chính xác >98%.
  • Bước 2: nhận diện thực thể có tên. Quét qua văn bản để bóc tách 3 nhóm cốt lõi: Đại lượng (Con số), Toán tử ngầm (thêm, bớt, chia đều), và Chủ ngữ/Vật thể.
  • Tác dụng: biến một khối văn bản dài vô hồn thành một "cây cấu trúc dữ liệu toán học" sẵn sàng cho việc hỗ trợ tương tác.

Quá trình bóc tách ngữ nghĩa

"Lan có 5 quả táo, mẹ cho Lan thêm 3 quả táo. Hỏi Lan có tất cả bao nhiêu?" NLP Processing Lan, Mẹ Chủ thể 5, 3 (quả táo) Đại lượng (Value) Thêm (+) Toán tử ngầm
VI. Tổng quan phương pháp
69/73

Các cấp độ can thiệp

  • L1 - Text-to-Speech (TTS): đọc to đề bài với ngữ điệu tự nhiên, khắc phục hoàn toàn chứng khó đọc.
  • L2 - Đồng bộ âm-hình: chữ đổi màu khớp chính xác với tốc độ âm thanh đang phát, giúp mắt không bị trôi dạt.
  • L3 - Trực quan hóa dữ kiện: tự động tô đậm các con số (đỏ) và từ khóa toán học (xanh lá). Tách các câu ghép dài thành các dòng đơn ngắn gọn.

Mục tiêu của bài kiểm tra cá nhân

Hệ thống nhận dạng ký tự quang học

Hỗ trợ đọc đa phương thức

VI. Thực nghiệm (tt)
71/73
  • Kỹ năng đọc hiểu có tiến bộ đáng kể, đặc biệt ở khả năng trả lời câu hỏi nội dung bài đọc và hiểu nghĩa chính xác của từ/câu; một số thời điểm đạt mức cao hơn so với đầu giai đoạn.
  • Kỹ năng đọc to còn chưa đồng đều, học sinh nhận biết vần/âm/từ ngữ khá tốt nhưng khả năng đọc trôi chảy câu dài và đọc chính xác câu từ khó vẫn cần tiếp tục rèn luyện.
  • Mức độ tập trung và chú ý ổn định, có xu hướng tăng, học sinh theo dõi nội dung tốt hơn, tuy nhiên việc hoàn thành đầy đủ yêu cầu/nhiệm vụ được giao vẫn cần được hỗ trợ thường xuyên.
Mục tiêu tập trung và chú ý
Mục tiêu đọc to
Mục tiêu đọc hiểu
VI. Đóng góp của chương 5
72/74

Trẻ khó đọc

Ứng dụng di động tự động hiệu chỉnh font, tương phản và hỗ trợ text-to-speech dựa trên phân tích chuyển động mắt thời gian thực.

Trẻ khó tính toán

Nền tảng web mô-đun tự động thích ứng giao diện và gợi ý trực quan theo tải nhận thức đo được.

Bảng điều khiển
quản trị

Tổng hợp dữ liệu học tập đa luồng thành biểu đồ trực quan hỗ trợ chuyên gia ra quyết định can thiệp.

VII. KẾT LUẬN VÀ ĐÓNG GÓP
73/74

1. Xây dựng bộ dữ liệu

2. Phương pháp trích xuất đặc trưng thị giác tự động trong chuỗi khung hình động

3. Phương pháp hỗ trợ
can thiệp cá nhân hoá

4. Phương pháp hỗ trợ khác

Hạn chế còn tồn tại

  • Quy mô dữ liệu: cỡ mẫu huấn luyện học máy còn khiêm tốn, mất cân bằng giới tính do đặc thù dịch tễ học.
  • Rào cản thiết bị: hệ thống phụ thuộc phần cứng thu tín hiệu hồng ngoại chuyên dụng, chi phí cao.
  • Khung thời gian: phân tích lâm sàng mới dừng ở mức trung hạn, cần nghiên cứu dọc để đánh giá độ bền.

Định hướng phát triển

  • Mở rộng cơ sở dữ liệu: Quá trình nghiên cứu tiến hành thu thập bổ sung dữ liệu từ đa dạng nhóm đối tượng nhằm nâng cao tính khái quát và độ tin cậy cho các mô hình học máy.
  • Nâng cấp thuật toán phân tích: Hệ thống tích hợp các kiến trúc học sâu thế hệ mới nhằm tối ưu hóa tốc độ xử lý chuỗi thời gian, qua đó đáp ứng yêu cầu can thiệp theo thời gian thực tại môi trường lớp học thực tế.
  • Phát triển khả năng tích hợp: Nền tảng thực hiện đóng gói các mô-đun thành thư viện mã nguồn mở hoặc giao diện lập trình ứng dụng (API) nhằm tạo điều kiện cho cộng đồng triển khai các công cụ này vào hệ thống quản lý học tập (LMS) hiện hành.
VII. CÔNG TRÌNH NGHIÊN CỨU
74/74

Danh mục công trình khoa học

  • [1] Bài báo SCI_E/Q1: Disability and Rehabilitation: Assistive Technology (2025)(2 bài).
  • [2] Tạp chí khoa học tự nhiên (2025).
  • [3] Hội nghị quốc tế SOICT 2025 (2 bài).
  • [4] Hội nghị quốc tế KSE 2025.
  • [5] Hội nghị quốc tế APIT 2025
  • [6] Báo cáo chuyên đề tại Diễn đàn Châu Á lần thứ nhất về hỗ trợ trẻ rối loạn phổ tự kỷ và trẻ rối loạn phát triển khác.
  • [7] Đơn xin cấp bằng Sáng chế: "Phương pháp và hệ thống cung cấp thông tin về sự chú ý thị giác" (Đã nộp).

XIN TRÂN TRỌNG CẢM ƠN HỘI ĐỒNG!

VII. So sanh BKT và DBN
74/74
BKT với ma trận Q kỹ năng độc lập
Ma trận Q mỗi kỹ năng hoàn toàn độc lập BT A1 A2 A3 A4 B1 B2 B3 B4 B5 B6 B7 C1 BT1 1 ··········· BT2 · 1 ·········· BT3 ···· 1 ······· BT4 ····· 1 ······ BT5 ······ 1 ····· BT6✗ ······· 1 ···· BT7 ········· 1 ·· BT8 ··········· 1
DBN với DAG lan truyền toàn mạng
A1 A2 A3 A4 B1 B2 B3 B4 B5 B6 B7 C1
Kết quả
75/75

Trẻ TD

Kết quả trẻ TD 1
Kết quả trẻ TD 2

Trẻ khó tính toán

Kết quả trẻ khó tính toán 1
Kết quả trẻ khó tính toán 2