Reflection #12 – Thiết kế phương pháp nghiên cứu

Đây là câu chuyện chép lại hành trình thực hiện dự án nghiên cứu cho môn học Experiment & Causal Inference, khóa Mùa Xuân 2023.

Mình bắt đầu khóa học này với mục tiêu cá nhân là tìm hiểu kỹ hơn, và thực hành nghiên cứu experiment. Lúc mới bắt đầu, mình đã mong mình có thể làm được một đề tài quasi-experiment nào đó, dù chỉ là đề tài nhỏ. Qua hành trình này, mình đã được trải nghiệm cảm giác suy nghĩ, tính toán cho một dự án nghiên cứu, cân nhắc ưu nhược điểm của từng giải pháp thu thập dữ liệu, phân tích dữ liệu khác nhau. Mình ghi lại đây như một bản ghi nhớ của bản thân, và biết đâu sẽ lại có thể cũng là ví dụ minh họa cho một ai đó trong tương lai.

MỐI QUAN HỆ NHÂN QUẢ

Các giáo sư hướng dẫn yêu cầu hãy bắt đầu bằng một câu hỏi nghiên cứu bao quát (overarching question) và một mô hình đơn giản nhất chỉ gồm các biến chính.

Ví dụ trong nghiên cứu này, mình tự hỏi AI Companion tác động đến Việc học như thế nào? Mô hình này chỉ gồm một biến phụ thuộc (Việc học) và một biến độc lập (AI companion).

Khi quan sát, nghiên cứu khám phá và tìm đọc các nghiên cứu trước đó, mình để ý đến các cuộc thảo luận về việc học sinh sử dụng AI để làm bài. Có ý kiến cho rằng việc thảo luận đó khiến người học lười suy nghĩ, tiếp thu kém và thấy việc học không còn thú vị. Nhưng có những nhà cung cấp lại quảng cáo AI như là tutor, hoặc là study buddy của người học, để cùng học và cùng đồng hành với người học.

Điều này làm mình đã tự chiêm nghiệm lại bản thân, là một đứa thích học, mình thường khó chia sẻ những niềm vui trong học tập với người xung quanh. Ba mẹ luôn hỏi hôm nay đi học có gì vui, nhưng đến một lúc nào đó mình đã không thể kể chi tiết về nội dung bài học mình thích như lúc nhỏ. Bạn bè? Không phải ai cũng có sở thích là khi kết thúc lớp học sẽ cùng nhau reflect và debrief bài học.

Sau đó, mình tiếp tục phỏng vấn một vài sinh viên khác, và quả thật họ có cùng trải nghiệm như vậy, bất kể họ có đam mê học hành hay không. Hành trình học có khi thật dài và bất định. Dù biết học hành là quan trọng, và đặt cho bản thân nhiều mục tiêu, nhưng ở giữa mỗi khóa học, mọi thứ trở nên mơ hồ thì cảm giác muốn bỏ cuộc rất cao. Lúc đó, những người tạo áp lực thì nhiều, nhưng người thực sự “đồng cam cộng khổ”, “cùng tiến cùng lùi” hoặc “hợp tác cùng có lợi” thì không có ai, kể cả bạn cùng nhóm.

Và chính trong những giai đoạn như vậy, các ứng dụng AI, đặc biệt là AI Conversational Agents (CAs) đã có cơ hội chen vào quá trình học tập, đồng hành với người học.

Các quan sát và phỏng vấn đó củng cố cho mô hình nghiên cứu ban đầu. Mô hình hiện tại đang có 4 concepts: “AI Companion”, “Việc học”, “sự cô đơn” và “Khó khăn, mơ hồ trong học tập”.

Để bắt đầu nghiên cứu, cần làm 2 việc:

• Tìm cách quan sát và đo lường 4 concepts này. Tức là phải biến 4 concepts này thành 4 constructs có thể đo lường được.
• Mối quan hệ giữa các concepts này.

Để làm 2 việc này, cần đọc lý thuyết để hiểu các nghiên cứu đang nói gì, đang lý giải thế nào. Việc đọc lý thuyết để lựa chọn constructs cũng là một bước để định vị nghiên cứu của mình.

ĐỊNH VỊ NGHIÊN CỨU

Lấy ví dụ về ý niệm “Việc học”, có rất nhiều khía cạnh để nói về “Việc học”, ví dụ như “kết quả học tập”, “sự hạnh phúc trong học tập, “năng suất học tập”, “động lực học tập”. Nếu chọn “động lực học tập”, nghiên cứu sẽ được định vị vào nhóm nghiên cứu về động lực, sử dụng các lý thuyết về động lực để nghiên cứu, và kết quả sẽ đóng góp cho lý thuyết động lực này.

Mình nhận thấy AI Companion không đi thẳng ra kết quả học tập ngay được. Hơn nữa, các cuộc thảo luận của giáo viên chủ yếu lo lắng về sự lơ là và thiếu tập trung của người học nếu AI giúp họ làm bài nhà. Vì vậy, mình xác định “Việc học” theo khía cạnh “Learning Engagement” (sự gắn kết với việc học).

Tương tự, các “áp lực, mơ hồ” được xác định trong construct sự không chắc chắn “Uncertainty”. Và “sự cô đơn” là “loneliness”.

Câu hỏi nghiên cứu cụ thể sẽ là: khi sinh viên tự học ở nhà, thì AI Companion có tác động như thế nào đến Learning Engagement? Trong các điều kiện Uncertainty khác nhau, tác động này có thay đổi không? Trong những tình huống mà sinh viên cảm nhận sự cô độc cô đơn của bản thân khác nhau, tác động này có khác nhau không?

PHƯƠNG PHÁP NGHIÊN CỨU

Khi construct và mô hình nghiên cứu đã được xác định, câu chuyện tiếp theo là xác định cách nào để quan sát đo lường và phân tích?

• SEM (vd. PLS SEM), dùng để mô tả mối quan hệ giữa các biến, nhưng chỉ có thể đưa ra xác nhận sự liên quan giữa các biến này (correlation). Nếu dùng SEM, thì cần theory-driven, và có thể dùng được với multidimensional items.
• Moderation Analysis (hay conditional analysis), khác với SEM, moderational analysis không chỉ tìm kiếm sự xác nhận mối quan hệ giữa các biến, mà tìm cách để lý giải cơ chế tương tác giữa các biến. Đặc biệt khi trong nghiên cứu này, có đến 2 biến điều tiết (Uncertainty và Loneliness) cùng điều tiết mối quan hệ. Dùng Moderation Analysis sẽ cho nhiều insights hơn SEM, nhất là khi phát hiện mới của nghiên cứu là moderation effects. Nhưng có lưu ý khi muốn thực hiện phương pháp này, đó là các biến không phải là biến latent, không đo lường qua các items.
• Experiment (field experiment hoặc quasi experiment): thực hiện nghiên cứu này sẽ có thể kết luận mối quan hệ nhân quả, kiểm soát được các confounders và giải thích được moderation effects.

Lúc này, để cân nhắc lựa chọn phương pháp phù hợp, mình nghĩ đến kết quả nghiên cứu mà mình mong muốn. Mình muốn kết quả đó sẽ là “uncertainty càng cao, thì mối quan hệ giữa cảm nhận về AIC và LE càng mạnh” , hay là “AIC tăng LE theo mô hình sau…”

Giả dụ trong trường hợp này, mình muốn thực hiện quasi-experiment. Thì mình bắt đầu từng bước tính toán chiến lược để quan sát, thu thập các thông tin dữ liệu cần, phòng chặn các confounders, chạy thử trên nhiều mô hình để so sánh kết quả,…

Còn nếu muốn thực hiện SEM, thì cũng vẫn cần nghĩ đến chiến lược quan sát, nhưng không thiết kế experiment mà tìm kiếm các thang đo phù hợp, hỗ trợ bởi các khung lý thuyết liên quan.

MỘT CHIẾC THIẾT KẾ NGHIÊN CỨU ĐẦY BẤT ỔN

Trong thực tế, mình đã lên kế hoạch để thực hiện quasi-experiment. Nhưng rồi do sự hiểu biết có giới hạn, trong lúc điều chỉnh chỉnh sửa phần thiết kế nghiên cứu, mình đã nhầm moderators thành treatment. Nghe có vẻ ngớ ngẩn, nhưng quả thật mình đã nghĩ mình đang triển khai một nghiên cứu experiment 2×2 (gồm 2 treatments), trong khi thiết kế survey và cách thu thập dữ liệu của 2 moderators.

Vấn đề lớn nhất đó là thay vì gán treatment một cách random cho các đáp viên, mình đã chọn self-report cho phép các đáp viên lựa chọn phương án. Ví dụ, khi đo lường Uncertainty, nếu muốn làm quasi-experiment thì mình cần một cách nào đó “gán” mức độ uncertainty (cao/thấp) cho các đáp viên, thì mình lại dùng 1 câu hỏi: “Bạn thường dùng ChatGPT để làm loại bài tập nào (trong các bài tập có mức độ uncertainty khác nhau)?” Và để đáp viên tự chọn lựa.

Lý do mình dùng câu hỏi như vậy vì một quan sát thu được rằng SV khối ngành khác nhau thường dùng ChatGPT cho các loại bài tập khác nhau. Mình quá tập trung vào điều này, nên giữa nhiều phương án thu thập dữ liệu và đo lường Uncertainty, mình đã chọn thực hiện một phương án không phải là experiment. Và lỗi sai này tiếp tục lặp lại y chang ở biến moderator thứ hai.

Một bài học tiếp theo khi đo lường IV và DV cho nghiên cứu này. Ví dụ, để đo lường Learning Engagement có nhiều cách, vd như thời gian dành cho việc học và làm bài tập (tạm gọi là t). Nhưng nếu dùng t để đo lường thì có 2 vấn đề. Thứ nhất là, t thực sự không cover được ý nghĩa của “sự gắn kết trong học tập”, làm bài nhiều thời gian có thể do GV giao quá nhiều bài nhà hoặc do hiệu suất kém cơ mà. Thứ hai lả, t sẽ phù hợp và lý tưởng hơn nếu có thể so sánh sự biến đổi của t trước và sau khi có ChatGPT (pretest-posttest). Nhưng mình chỉ có post-test mà thôi, nên dùng t sẽ khá là lấn cấn khi lập luận và giải thích.

Hơn nữa, một cách rất theory-driven, LE là một khái niệm đa chiều, nó nên được đo lường đa chiều. Và vì mình luôn nhìn thấy một khái niệm đa chiều (mình thiên về qualitative mindset mà) nên mình đã lập luận để dùng một thang đo 7 items để đo lường LE. Mình còn cẩn thận đo lường LE với việc học tại lớp + LE với việc học tại nhà và LE tổng thể, tạo thành một thang đo 15 items. Tương tự, IV được đo lường vơid 13 items.

Nhà khoa học có thể chọn bất kỳ cách nào để đo lường, tuy nhiên, họ phải hiểu data như thế nào thì phù hợp với mục đích nghiên cứu của họ. Với ý định mô tả causality, muốn làm experiment, và rồi chọn self-selection, self-evaluation với multidimensional items scale, đến lúc phân tích dữ liệu mình bị rối. Vd khi chạy hồi quy, làm sao để đưa 15 items trở thành LE? Tạo một biến giả, hay là PCA factor analysis, hay SEM-CB? Rõ ràng, các kỹ thuật phân tích hòan toàn có thể ảnh hưởng đến kết quả. Chưa kể đến, với mỗi kết quả khác nhau đó mình buộc phải đưa ra các kết luận rất hạn chế theo loại dữ liệu và phương pháp thu thập dữ liệu. Vd, nếu dùng PCA thì dữ liệu có “sứt mẻ” chút xíu. Nếu chạy SEM CB thì kết quả chỉ là sự liên quan giữa các biến, không mô tả trực tiếp được causality, không kiểm soát được các confounders. 🥹

KẾT LUẬN

Trong đống rối nùi của data thu thập được, mình đem bài nghiên cứu này thuyết trình ở lớp Seminar để được giáo sư và các bạn mổ xẻ, phân tích. Sau hôm đó, mô hình nghiên cứu được vẽ lại, các giả thuyết được wording lại và cải thiện cho rõ nghĩa.

Tiếp đến, mình đổi phương pháp phân tích dữ liệu. Bởi vì cách mình triển khai không phải là quasi, nên mình sắp xếp lại để dùng PLS SEM phân tích. Mình kỳ vọng đưa ra kết quả causality, nhưng dữ liệu và cách mình thiết kế nghiên cứu không cho phép kết luận điều đó, nên mình dùng PLS SEM để ít ra có thể xác nhận được mối tương quan giữa các biến này.

2 ngày trước deadline, mình gặp thầy phụ trách môn khi mình đã có kết quả. Thầy giải thích lại toàn bộ quy trình, và giải thích rằng nếu mình muốn làm quasi thì chỗ vấp đó cần phải làm sao. Từng khái niệm về potential outcomes và treatment được củng cố và thấm thía vô cùng.

Tiếp đó, mình gặp thầy dạy BACS để hỏi về cách phân tích moderators và nhận được lời khuyên để sắp xếp lại dữ liệu, dùng SEM-CB thay vì SEM-PLS.

Với mình, đây là một trải nghiệm đặc biệt và thấm thía cho câu nói thường nghe “mỗi một phương pháp khác nhau sẽ cho những kết quả khác nhau”, “mỗi một mục tiêu nghiên cứu sẽ dùng những phương pháp nghiên cứu khác nhau”. Những câu nói này không hề so sánh những phương pháp nghiên cứu, thay vào đó, nó đơn giản nhắc nhà nghiên cứu rằng: “thật ra bạn đang muốn nghiên cứu cái gì vậy?”

Nhà nghiên cứu quả thật vừa là nhà tư duy chiến lược, vừa là nhà sáng tạo giải pháp giải quyết vấn đề. Họ không giới hạn trong bất kỳ một giải pháp hay phương pháp nào, mà hiểu rõ từng phương pháp, từng công cụ, từ dữ liệu mà bản thân có được để tìm tòi, khám phá và xây dựng lý thuyết mới.

Trong hành trình này, mình ghi lại đây những vấp ngã của bản thân và những câu mình tâm đắc từ các giáo sư đã giúp đỡ mình:

1. Cái nào là treatment? Outcome là cái gì?

2. Nếu đó là cái mà nhiều NC trước đó đã khẳng định, thì nó không phải là giả thuyết. Chúng ta chỉ đặt giả thuyết về cái mà chúng ta không biết chắc chắn kết quả là gì, đúng hay sai.

3. Một giả thuyết chung chung (vd tránh các động từ nhân quả, không có hướng +/-) thì đó giống như là một câu hỏi nghiên cứu thì phải?

4. Nếu treatment là A, hãy tập trung vào A, và quan sát A mà thôi. Với experiment, chỉ đơn giản là quan sát outcome khi “có A” và “không có A”.

5. SEM không tệ, đúng là xu hướng thì nhiều nhà khoa học chê và quay lưng lại với SEM. Nhưng trong một mô hình phức tạp, SEM vẫn có thể hữu ích để test và xác nhận mối quan hệ giữa các biến trong đó. Tuy nhiên, nếu muốn lý giải causality, experiment sẽ làm tốt hơn vì nhà khoa học có thể kiểm soát được confounders và phân tích causality tốt hơn.

Gs. Jaewon Woo và Gs. Ou Yi-Chun