Mai Nguyệt Ánh, B. ., Tấn Phúc, N. ., Duy Kim Ngà, Đào ., & Thy Nhạc Vũ, H. . (2021). ĐÁNH GIÁ HIỆU QUẢ CHƯƠNG TRÌNH CAN THIỆP HƯỚNG DẪN SỬ DỤNG THUỐC CHO NGƯỜI BỆNH TĂNG HUYẾT ÁP TẠI BỆNH VIỆN ĐA KHOA THỐNG NHẤT TỈNH ĐỒNG NAI NĂM 2020. Tạp Chí Y học Việt Nam, 502(1). https://doi.org/10.51298/vmj.v502i1.550 Mai Nguyệt Ánh Bùi 1, Tấn Phúc Nguyễn 1, Duy Kim Ngà Đào 2, Thy Nhạc Vũ Hoàng 3, 1 Bệnh viện Thống Nhất Đồng Nai
2 Tập đoàn Y khoa Hoàn Mỹ
3 Đại học Y Dược TP. Hồ Chí Minh Tư vấn, người bệnh tăng huyết áp, sự tuân thủ điều trị, can thiệp - 1. ĐÁNH GIÁ CAN THIỆP MỤC TIÊU Sau khi học xong bài này, học viên có thể: 1. Trình bày được khái niệm và mối quan hệ giữa theo dõi và đánh giá 2. Xây dựng được các chỉ số theo dõi và đánh giá 3. Phân tích được các bước trong qui trình theo dõi và đánh giá 4. Lập được kế hoạch theo dõi và đánh giá một chương trình y tế NỘI DUNG 1. Khái niệm Theo dõi và đánh giá: Theo dõi và đánh giá là một trong những thành tố quan trọng của quản lý dự án như thể hiện trong hình vẽ quen thuộc dưới đây: Chu trình quản lý 1.1. Khái niệm: Theo dõi là quá trình thu thập, phân tích và sử dụng thông tin nhằm xác định chương trình/dự án/hoạt động có được thực hiện theo đúng kế hoạch không, các hoạt động có đạt được kết quả như mong muốn không nhằm đưa ra các khuyến nghị để điều chỉnh kế hoạch hoạt động để đạt được mục tiêu Đánh giá là một công cụ quản lý nhằm xác định một cách hệ thống và có chủ đích về tính phù hợp (relevance), việc thực hiện (performance) và sự thành công (success) của chương trình/dự án. Đánh giá thường trả lời cho câu hỏi: Chương trình có được thiết kế phù hợp (relevance) và đúng cách (validity) không Chương trình có đạt được hiệu quả (effectiveness), hiệu suất (efficiency), tác động (impact) như mong muốn không Chương trình có khả năng duy trì (sustainability) không Lập kế hoạch Đánh giá Thực hiện Giám sát Theo dõi
- 2. các khuyến nghị và bài học kinh nghiệm cho việc thiết kế và triển khai các chương trình/dự án (kể cả chỉnh sửa lại chương trình dự án đang triển khai hoặc các chương trình dự án khác về sau) Cả theo dõi và đánh giá đều quan trọng trong việc quản lý, vì nhờ có theo dõi mà đảm bảo được tiến độ của chương trình/dự án và nhờ có đánh giá mà các mô hình, bài học kinh nghiệm được rút ra để đảm bảo chương trình/dự án được thực hiện một cách hiệu quả, phù hợp, duy trì. 1.2. Mối quan hệ giữa theo dõi và đánh giá Theo dõi và đánh giá không thể thay thế được cho nhau. Việc theo dõi được thực hiện tốt, các số liệu được thu thập một cách đầy đủ, hệ thống sẽ giúp cho hoạt động đánh giá thực hiện được một cách dễ dàng hơn. Theo dõi xem xét các quá trình thực hiện chương trình/kế hoạch và cả những thay đổi xảy ra đối với nhóm cộng đồng đích của chương trình/kế hoạch y tế. Các thông tin về những điểm mạnh và điểm yếu của các hoạt động của chương trình/kế hoạch y tế thu được thông qua theo dõi sẽ thúc đẩy quá trình cải thiện dựa trên việc đưa ra các quyết định quản lý đúng đắn và kịp thời. Các nhà quản lý và những người thực hiện chương trình /kế hoạch đóng vai trò chính trong việc theo dõi. Đánh giá là thực hiện việc phân tích sâu các hoạt động trong kế hoạch/chương trình theo chu kỳ. Đánh giá dựa vào các số liệu thu được thông qua các hoạt động theo dõi cũng như các thông tin có được từ các nguồn khác (ví dụ, các nghiên cứu, các cuộc phỏng vấn sâu, thảo luận nhóm trọng tâm, điều tra...). Trong nhiều chương trình, nhằm đảm bảo tính khách quan trong việc đánh giá hiệu quả và tác động các hoạt động của dự án, các nhà tài trợ thường mời các chuyên gia là những người không trực tiếp tham gia thực hiện các hoạt động làm việc này mỗi khi kết thúc dự án hay bắt đầu xây dựng kế hoạch cho một chu kỳ dự án mới (external evaluation). Tuy nhiên nhiều chương trình/dự án thực hiện đánh giá nội bộ (internal evaluation) vì chính những người tham gia thực hiện chương trình/dự án mới là những người hiểu rõ nhất về những điểm mạnh, điểm yếu, những khó khăn trong quá trình thực hiện. Tuy nhiên mỗi cách thức đều có những điểm yếu nhất đinh. Vì vậy, một số nơi còn kết hợp cả hai cách thức trên, tức là nhóm đánh giá bao gồm cả chuyên gia bên ngoài lẫn cán bộ chương trình/dự án, để vừa đảm bảo kết quả thu được vừa mang tính khách quan, nhưng vừa có thể có nhìn nhận chính xác về chương trình/dự án. Vậy theo dõi và đánh giá có gì giống nhau và khác nhau? Cả theo dõi và đánh giá đều là một công cụ quản lý. Tuy nhiên, theo dõi là một hoạt động thường xuyên, nhìn vào các hoạt động đang triển khai nhằm xác định tiến độ và kết quả của quá trình thực hiện. Các khuyến nghị chủ yếu được dùng trong nội bộ. Còn đánh giá được thực hiện với định kỳ, ít hơn so với theo dõi, nhìn vào toàn bộ chương trình/dự án đã hoặc đang triển khai và đưa ra những khuyến nghị cho cả nội bộ và những người bên ngoài
- 3. về chiến lược, thiết kế, thực hiện chương trình/dự án. Xin xem thêm trong bảng dưới đây về sự khác biệt giữa theo dõi và đánh giá. Theo dõi Đánh giá Thường xuyên Theo chu kỳ (vào các mốc quan trọng như giữa kỳ hoặc cuối kỳ...) Giữ đúng tiến độ thực hiện, phân tích và lưu giữ các thông tin về tiến triển của chương trình/kế hoạch. Phân tích sâu, so sánh những kết quả đạt được trong thực tế với mục tiêu đặt ra trong kế hoạch. Tập trung vào các đầu vào, hoạt động, đầu ra, các quá trình thực hiện, sự phù hợp của những hoạt động cụ thể... Tập trung vào các sản phẩm đầu ra trong mối quan hệ với đầu vào; các kết quả đạt được so với chi phí, các quá trình sử dụng để đạt được các kết quả, sự phù hợp mang tính tổng thể, tác động và tính bền vững. Trả lời cho câu hỏi những hoạt động nào đã được thực hiện và những kết quả nào đã thu được. Trả lời cho câu hỏi tại sao thu được những kết quả như vậy và bằng cách nào. Góp phần đưa ra những cơ sở lý luận và xây dựng mô hình để thay đổi Cảnh báo cho các nhà quản lý về những vấn đề đang xảy ra và đưa ra các giải pháp để giải quyết Cung cấp cho các nhà quản lý những lựa chọn về chiến lược và chính sách. Do các nhà quản lý chương trình/kế hoạch, giám sát viên, các đơn vị/tổ chức cộng đồng có liên quan và các nhà tài trợ tự lượng giá. Do các nhà quản lý chương trình/kế hoạch, giám sát viên các đơn vị/tổ chức có liên quan, nhà tài trợ và/hoặc các nhà đánh giá độc lập thực hiện việc phân tích nội bộ và/hoặc độc lập. 1.3. Làm thế nào để theo dõi, đánh giá có hiệu quả Để theo dõi và đánh giá có hiệu quả, mỗi một chương trình/ dự án cần thiết lập một hệ thống theo dõi và đánh giá ngay từ giai đoạn lập kế hoạch của chương trình/dự án đó và dành nguồn lực (kể cả tài chính) thích đáng cho công tác này. Theo hướng dẫn của bộ công cụ theo dõi và đánh giá một số tổ chức quốc tế như Tổ chức Y tế Thế giới (WHO), Ngân hàng Thế giới (World Bank), Chương trình phòng chống HIV/AIDS của Liên hiệp quốc (UNAIDS), thì một hệ thống theo dõi và đánh giá nên gồm các thành tố sau: Đơn vị/người chịu trách nhiệm về theo dõi và đánh giá. Nếu là chương trình/dự án lớn thì có đơn vị, nếu chương trình/dự án nhỏ thì có người chịu trách nhiệm chính về những công việc này. Có sự phân công như vậy mới đảm bảo được công tác theo dõi đánh giá được thực hiện một cách hệ thống
- 4. người/đơn vị chịu trách nhiệm có thể nhìn nhận được kết quả của hoạt động theo thời gian Mục tiêu và kế hoạch hoạt động rõ ràng, vì dựa trên bản mục tiêu đó mới có thể xây dựng được các chỉ số theo dõi đánh giá phù hợp Các chỉ số theo dõi và đánh giá, các phương pháp, phương tiện thu thập chỉ số phù hợp. Kế hoạch theo dõi và đánh giá cụ thể, gồm kế hoạch thu thập thông tin, phân tích thông tin và sử dụng kết quả. Bản kế hoạch này thường được xây dựng sau khi lập kế hoạch hoạt động, dựa trên các chỉ số theo dõi đánh giá Hệ thống báo cáo. Một số chương trình/dự án thiết lập hệ thống báo cáo nhằm đảm bảo các thông tin thu thập được phân tích, trình bày dưới dạng phù hợp với người sử dụng và đảm bảo các kết quả theo dõi và đánh giá được sử dụng hiệu quả 2. Chỉ số theo dõi và đánh giá 2.1. Khái niệm Chỉ số là đại lượng dùng để đo lường và mô tả một sự vật hay một hiện tượng. Dựa vào chỉ số, có thể xác định được sự thay đổi của một sự vật hiện tượng. Ví dụ, “tỷ lệ trẻ suy dinh dưỡng dưới 5 tuổi” hoặc “tỷ lệ các bà mẹ có con dưới 1 tuổi thực hành nuôi con bằng sữa mẹ đúng cách”. Một chỉ số cần được định nghĩa rõ ràng về tử số và mẫu số để đảm bảo các chỉ số có thể dùng để so sánh được, đặc biệt để so sánh với các chỉ số cùng loại của địa phương khác. Có nhiều chỉ số mà mẫu số và tử số là chuẩn cho cả thế giới, ví dụ, tỷ lệ sinh thô, tỷ lệ chết thô, tỷ lệ chết mẹ, tỷ lệ chết trẻ em dưới 5 tuổi. Nhiều khi, nếu không định nghĩa rõ rằng về tử số và mẫu số, có thể dẫn đến sự sai lệch về nhận định. Ví dụ, trong chương trình kế hoạch hoá gia đình (KHHGĐ), chỉ số thực hiện được biết đến nhiều nhất và phổ biến nhất là “Tỷ lệ cặp vợ chồng sử dụng các biện pháp tránh thai (CPR)”. Tử số của chỉ số này là số cặp vợ chồng mà vợ trong độ tuổi 15-49 áp dụng các biện pháp tránh thai và mẫu số là tổng số các cặp vợ chồng trong độ tuổi đó trong một quần thể dân cư. Kết quả CPR sẽ thay đổi tuỳ thuộc vào mẫu số được chọn như cặp vợ chồng hay phụ nữ có chồng trong độ tuổi sinh đẻ hay tất cả phụ nữ trong độ tuổi sinh đẻ. Do vậy, khi so sánh CPR tại xã A với xã B, phải hết sức chú ý để đảm bảo rằng tử số và mẫu số của chỉ số này tại cả hai địa phương là như nhau. Về thuật ngữ cũng có nhiều cách diễn giải vì thế cần rất chú ý đến định nghĩa của các thuật ngữ, chẳng hạn như: khách hàng mới, người sử dụng dịch vụ liên tục, người sử dụng dịch vụ không liên tục, các điểm cung cấp dịch vụ, nơi cung cấp dịch vụ, bệnh nhân chuyển đi, bệnh nhân khám lại.
- 5. chỉ số Có nhiều cách phân loại chỉ số khác nhau tuỳ theo mục đích sử dụng của người sử dụng và tuỳ theo cách thức xây dựng kế hoạch. Ví dụ có nơi phân loại dựa trên độ bao phủ, tính duy trì, khả năng tiếp cận các dịch vụ của đối tượng đích, có nơi phân loại theo số lượng và chất lượng, có nơi phân loại theo đầu vào, đầu ra. Nhưng cách chung nhất mà các nhà quản lý thường dùng là phân loại dựa trên mức độ kết quả đạt được của chương trình/dự án. Sự phân loại này dựa trên lý luận của lý thuyết về nhân-quả. Khi đầu tư nguồn lực vào các chương trình hoạt động (như nhân lực, thời gian, tài chính, trang thiết bị cơ sở vật chất) thì sẽ diễn ra các hoạt động. Thường nguời ta không đưa ra các chỉ số hoạt động vì coi bản thân các hoạt động là những đơn vị có thể đo đếm được khi thực hiện theo dõi, ví dụ, số lớp học được tổ chức, số buổi truyền thông được tổ chức, số chiến dịch truyền thông được tiến hành. Tuy nhiên, một số chương trình dự án đặt ra các chỉ số này và gọi là chỉ số quá trình hay chỉ số hoạt động. Và một thời gian sau khi nhiều hoạt động được thực hiện thì chương trình/dự án sẽ thu được kết quả chung của toàn bộ chương trinh/dự án đó (thường gọi là chỉ số kết quả.) Một thời gian dài sau khi tiến hành các hoạt động của chương trình dự án, thậm chí sau khi chương trình dự án kết thúc nhiều năm thì đạt được kết quả dài hạn (thường gọi là chỉ số tác động). Việc gọi tên và định nghĩa các loại chỉ số cho đến nay vẫn chưa thống nhất trong nhiều tài liệu. Trong môn học này, chỉ số được phân loại như sau: Các loại chỉ số Ví dụ Đầu vào (input) Nguồn lực, nhân lực, kinh phí, trang thiết bị, thông tin... Số thôn bản có cộng tác viên dinh dưỡng Số trẻ dưới 5 tuổi bị suy dinh dưỡng Số tờ rơi tuyên truyền về nuôi con bằng sữa mẹ .... Hoạt động & Kết quả (mang tính ngắn hạn) (process, impact, outcome...) Tỉ lệ các trạm trưởng và cán bộ chuyên trách về dinh dưỡng có thể tư vấn đúng về dinh dưỡng trẻ Tỉ lệ các bà mẹ có con dưới 1 tuổi nói đúng cách nuôi con bằng sữa mẹ Tác động (kết quả mang tính dài hạn) (impact, outcome ....) Tỷ lệ trẻ em dưới 5 tuổi bị suy dinh dưỡng Với một chương trình dự án, có thể có rất nhiều chỉ số dùng để đo lường, nhưng các cán bộ thiết kế hệ thống theo dõi đánh giá cần tìm ra được những chỉ số phản ánh chính xác nhất kết quả của chương trình/dự án. Tuy nhiên, trên thực tế, để thu được các chỉ số chính xác phải mất nhiều công sức, thời gian, và nhiều khi rất khó khả thi. Vì vậy, để đảm bảo có một bộ chỉ số theo dõi đánh giá tốt (đảm bảo các đặc điểm của chỉ số như đã nêu ở trên) một trong những kinh nghiệm của các nhà thực hiện chương trình
- 6. đoạn xây dựng hệ thống theo dõi đánh giá, cần có sự tham gia của mọi thành viên của chương trình dự án tại các cấp vào việc xác định các chỉ số theo dõi đánh giá, với sự hỗ trợ của các chuyên gia của lĩnh vực đó. Bước đầu, mọi thành viên sẽ tự do liệt kê các chỉ số có thể sử dụng để đo lường kết quả, sau đó sẽ thảo luận và thống nhất cùng nhau, với mỗi kết quả mong muốn đạt được thì chọn các chỉ số nào. Danh sách dưới đây giới thiệu những chỉ số thường được sử dụng để đánh giá chương trình kế hoạch hoá gia đình Chỉ số đầu vào (các nguồn lực, các hoạt động): - Tổng kinh phí nhận được từ nhà tài trợ và khách hàng. - Hàng hoá nhận được (vật tư, trang thiết bị, phương tiện tránh thai). - Số nhân viên của chương trình được đào tạo và giúp đỡ về kỹ thuật. - Kinh phí đã sử dụng. - Trang thiết bị và phương tiện tránh thai đã cấp (thống kê đã nhận từ sổ đã cấp). - Các khoản mục trong kế hoạch làm việc như thuê nhân viên... Chỉ số hoạt động và kết quả (các dịch vụ, đào tạo, thông tin giáo dục truyền thông): - Số khách hàng mới sử dụng các biện pháp tránh thai - Số lượng người cung cấp dịch vụ được đào tạo theo từng loại: bác sĩ, y tá, điều dưỡng viên... - Số lượng phòng khám hoặc điểm phân phát các biện pháp tránh thai - Số lượng từng loại tài liệu giáo dục truyền thông - Số lượng buổi họp với cộng đồng và số người được tuyên truyền về KHHGĐ trong các cuộc họp. - Số lượng người được chuyển đến phòng khám để sử dụng các dịch vụ, phân chia theo từng loại dịch vụ. - Số lượng người quay trở lại phòng khám để khám lại. - Số lượng từng loại phương tiện tránh thai được phân phát Chỉ số hoạt động và kết quả (về chất lượng chăm sóc): - Mức độ tuân theo những qui trình về lựa chọn phương pháp tránh thai của người cung cấp. - Mức độ tuân theo các quy trình lâm sàng đối với từng phương pháp của người cung cấp. - Cung cấp các biện pháp phối hợp. - Tỷ lệ khách hàng được các khách hàng khác giới thiệu (chỉ số sự hài lòng của khách hàng). - Tỷ lệ thường xuyên sử dụng biện pháp KHHGĐ (thay đổi phương pháp, giãn khoảng cách sinh, người chuyển đi khu vực khác không tiếp tục hoặc ngừng sử dụng). - Tỷ lệ khách hàng hài lòng với các dịch vụ
- 7. động và kết quả (đầu ra ngắn hạn) - Tỷ lệ phần trăm các cặp vợ chồng trong độ tuổi sinh đẻ trong khu vực được phục vụ. - Chỉ số về kiến thức thái độ và thực hành đối với KHHGĐ. Chỉ số tác động: - Tổng số người/cặp vợ chồng áp dụng các biện pháp KHHGĐ - Tỷ lệ sinh thô trong khu vực (nếu có) - Tỷ lệ nạo hút thai trong khu vực - Tổng tỷ suất sinh và tỷ suất sinh đặc hiệu theo tuổi trong khu vực - Tỷ lệ tử vong trẻ dưới 1 tuổi - Tỷ lệ tử vong mẹ - Tỷ lệ sinh có nguy cơ cao (phụ nữ trên 35 tuổi, nhiều lần có thai...) 2.3. Cách chọn các chỉ số theo dõi đánh giá một cách hệ thống: Các chỉ số tốt có các đặc điểm sau đây: Cụ thể Đo lường được Phản ánh chính xác kết quả định đo lường Cần thiết Có thể dùng để so sánh Các chỉ số được lựa chọn cần phải đảm bảo các đặc điểm của một chỉ số trên đồng thời phải cung cấp đầy đủ thông tin về hoạt động/chương trình để ra quyết định đúng. Thường mỗi chỉ số là đặc hiệu để đo lường một kết quả nào đó. Chẳng hạn, tỷ lệ trẻ em suy dinh dưỡng là chỉ số đo lường tình trạng dinh dưỡng ở trẻ em. Nhưng một số chỉ số có thể đo được kết quả của nhiều hoạt động. Ví dụ, tỷ lệ sử dụng biện pháp tránh thai, vừa dùng để đo lường thực hành của nguời dân, nhưng đồng thời cũng đo lường sự sẵn có của dịch vụ cung cấp các biện pháp tránh thai. Và có thể với mỗi kết quả lại cần nhìều chỉ số kết hợp mới có thể đo lường được chính xác. Ví dụ, để đo thực hành của các bà mẹ nuôi con đúng cách, có rất nhiều chỉ số, như tỷ lệ bà mẹ cho con bú đúng, tỷ lệ bà mẹ cho con ăn sam đúng cách, tỷ lệ trẻ được theo dõi cân nặng thường xuyên, tỷ lệ trẻ được tiêm chủng đầy đủ. Có nghĩa là với một chỉ số lớn nhiều khi lại bao gồm nhiều chỉ số ở mức độ nhỏ hơn gộp lại. Vì vậy, dựa trên các đặc điểm một chỉ số cần có, các nhà quản lý chương trình dự án phải xem xét trong từng hoàn cảnh mà chọn ra những chỉ số nào đảm bảo tính chính xác về mặt khoa học nhưng cũng khả thi về mặt thực tế. Hiện nay, các tổ chức kỹ thuật trên thế giới đã đưa ra các bộ chỉ số cho các chương trình/dự án và được sử dụng rộng rãi trên thế giới. Vì vậy, khi xây dựng hệ thống theo
- 8. cho chương trình/dự án, các nhà quản lý có thể tham khảo các bộ chỉ số này, đặc biệt là những chương trình/dự án thực hiện ở nhiều vùng miền khác nhau có thể dùng bộ chỉ số để so sánh giữa các vùng miền. 3. Theo dõi Các nguyên tắc cơ bản để thực hiện theo dõi tốt là: Thường xuyên theo dõi việc thực hiện kế hoạch đã được phê chuẩn để trả lời cho các câu hỏi “Hoạt động nào tốt, theo đúng kế hoạch? Hoạt động nào không?” trong mối liên hệ với tiến trình hướng tới việc đạt được các kết quả mong đợi đã đề ra trong kế hoạch. Kết quả theo dõi cần phải lưu giữ dưới dạng các báo cáo, đưa ra các khuyến nghị và tiếp tục theo dõi các quyết định và hành động sau đó. Theo dõi có hiệu quả đòi hỏi các nhà quản lý chương trình/kế hoạch y tế phải làm việc thường xuyên với cơ sở, đảm bảo có những tài liệu thường xuyên phản ánh các kết quả cũng như khó khăn khi chúng bắt đầu nảy sinh mà không chờ đến khi để lại hậu quả nghiêm trọng cho tiến độ thực hiện chương trình/kế hoạch. Theo dõi có hiệu quả là lượng giá một cách khách quan việc thực hiện và tiến độ của chương trình/kế hoạch dựa trên những tiêu chuẩn và chỉ số rõ ràng đã được đề ra trong kế hoạch hoặc theo các qui định chuyên môn kỹ thuật. Ví dụ, để theo dõi chất lượng kế hoạch chăm sóc sức khỏe sinh sản của một cơ sở y tế tuyến huyện hoặc tuyến tỉnh, người theo dõi phải lựa chọn một số tiêu chuẩn cơ bản đã được quy định trong chuẩn quốc gia như: (1) Mức độ sẵn sàng của các kế hoạch tại cơ sở y tế; (2) Phòng ngừa nhiễm khuẩn tại cơ sở y tế; (3) Hoạt động tư vấn tại cơ sở y tế;... Để theo dõi chất lượng các kế hoạch y tế cần phải dựa trên các bảng quy định của Bộ Y tế. Theo dõi có hiệu quả cần phải đưa ra được những bài học kinh nghiệm giúp điều chỉnh kịp thời và phù hợp các kế hoạch hoạt động. Để có thể tiến hành theo dõi có hiệu quả cần phải có kế hoạch theo dõi phù hợp và các kết quả của theo dõi được sử dụng làm cơ sở cho đánh giá. Lập kế hoạch theo dõi cần được tiến hành theo các bước sau: Lựa chọn chỉ số Xác định thông tin cần thu thập Xác định tần suất thu thập Xác định nguồn thu thập Xác định phương pháp thu thập phù hợp Xác định công cụ thu thập thông tin Xác định cách thức phân tích xử lý thông tin Xác định người thu thập và xử lý thông tin Xác định cách thức sử dụng và công bkết quả
- 9. số là bước khởi đầu quan trọng nhất của các bước tiếp theo, và đã được trình bày ở trên. Xác định thông tin cần thu thập Dựa trên định nghĩa chỉ số mà xác định các thông tin, dữ liệu cần thu thập. Ví dụ để đo được tỷ lệ suy dinh dưỡng của trẻ em dưới 5 tuổi thì cần số lượng trẻ dưới 5 tuổi bị suy dinh dưỡng và số lượng trẻ em dưới 5 tuổi ở cộng đồng đó. Xác định tần suất thu thập chỉ số Thông tin để tính toán cho các cần thu thập thường xuyên, khi diễn ra hoạt động. Ví dụ số phụ nữ đi khám phụ khoa định kỳ theo chiến dịch được thu thập trong những ngày chiến dịch, số trẻ sơ sinh đẻ nhẹ cân được ghi lại vào thời điểm mà trẻ sinh ra, số lượng khách hàng đến khám bệnh tại một cơ sở y tế được ghi chép tổng hợp hàng ngày. Nhưng để thu thập các chỉ số thì có thể theo các khoảng thời gian khác nhau. Có chỉ số chỉ cần thu thập 1 năm một lần, ví dụ số trẻ sơ sinh đẻ nhẹ cân, số ca tử vong mẹ, có chỉ số được thu thập hàng tháng như tỷ lệ suy dinh duỡng của trẻ em dưới 2 tuổi, nhưng có những chỉ số cần thu thập 6 tháng 1 lần như tỷ lệ suy dinh dưỡng của trẻ em từ 2 đến 5 tuổi. Tuỳ theo mục đích theo dõi, xác suất xảy ra của sự vật hiện tượng và mức độ quản lý mà những cán bộ thực hiện chương trình dự án quyết định tấn suất thu thập và tổng hợp các số liệu để đo lường các chỉ số. Ví dụ, cùng tỷ lệ trẻ em dưới 5 tuổi đến khám tại trạm y tế vì các bệnh thông thường, trạm y tế có thể thu thập chỉ số hàng tháng, nhưng Sở y tế chỉ cần số liệu của 6 tháng 1 lần hoặc Bộ Y tế chỉ cần số liệu một năm một lần. Thông thường, các chỉ số đầu ra sẽ được thu thập thường xuyên hơn so với các chỉ số hiệu quả và chỉ số tác động. Xác định nguồn thu thập thông tin Có thể thu thập thông tin để đo lường chỉ số từ nhiều nguồn khác nhau, cần tận dụng tất cả những nguồn số liệu sẵn có từ các chương trình, hệ thống số liệu. Ví dụ, với tỷ lệ trẻ em dưới 1 tuổi được tiêm chủng đầy đủ, ta có thể thu được thông tin từ việc xem phiếu tiêm chủng của trẻ, có thể hỏi bà mẹ về những lần đưa con đi tiêm chủng, có thể xem sổ tiêm chủng giữ tại trạm y tế. Tuỳ theo nguồn lực, sự cần thiết về mức độ chính xác của thông tin, độ tin cậy của nguồn thông tin mà người quản lý có thể xác định nguồn thu thập thông tin phù hợp. Có thể kết hợp thu thập thông tin từ nhiều nguồn khác nhau. Thông thường, với theo dõi thường xuyên người ta chọn nguồn thông tin dễ tiếp cận, dễ thu thập, nhưng để thu thập thông tin cần sự chính xác cao, thường dùng cho đánh giá, người ta thường lấy thông tin từ các cuộc điều tra cơ bản, phỏng vấn trực tiếp đối tượng. Xác định phương pháp và phương tiện thu thập thông tin Với mỗi thông tin cần thu thập để phục vụ đo lường các chỉ số, có thể thu thập bằng nhiều phương pháp khác nhau và sử dụng các công cụ khác nhau. Ví đụ để đo
- 10. lòng của khách hàng đối với cơ sở dịch vụ, người ta có thể thu thập từ phỏng vấn trực tiếp khách hàng (thường là phỏng vấn khi khách hàng rời cơ sở) bằng phiếu phỏng vấn, từ xem xét phiếu góp ý của khách hàng đối với cơ sở, từ xem số liệu tỷ lệ khách hàng cũ của cơ sở dịch vụ, hoặc quan sát thái độ của khách hàng. Nguời quản lý cũng tùy theo mức độ chính xác yêu cầu và nguồn lực mà chọn phương pháp thu thập số liệu thông tin phù hợp. Phương tiện thu thập thông tin cần thiết kế phù hợp để thu thập được chính xác các thông tin. Nhiều chương trình dự án đã gặp khó khăn khi các biểu mẫu sổ sách thu thập thông tin không nhất quán với thông tin cần thu thập, dẫn đến khó khăn khi thu thập hoặc thậm chí, thông tin bị sai lệch hoặc thiếu hụt. Xin xem chi tiết trong bài Thu thập và sử dụng thông tin để phân tích tình hình hiện tại. Xác định người thu thập, phân tích số liệu Người thu thập thông tin thường là những người trực tiếp tham gia hoạt động, chương trình ở các cấp khác nhau, vì chính họ mới là những người sẽ sử dụng số liệu để đưa ra các quyết định cho việc cải thiện chương trình. Sử dụng kết quả Điều này rất quan trọng vì nhiều nơi, các thông tin chỉ được thu thập và gửi lên cấp trên hoặc chỉ thu thập mà không được phân tích và sử dụng một cách hiệu quả. Các cán bộ quản lý cần lưu ý điểm này vì sử dụng kết quả phục vụ cho công tác quản lý là một trong những mục tiêu của theo dõi, đánh giá. Trước mắt, nhìn vào kết quả, bản thân những người tham gia hoạt động có thể rút kinh nghiệm, điều chỉnh để công việc được thực hiện tốt hơn. Sau đó, những kinh nghiệm có thể được sử dụng để điều chỉnh công việc đó ở địa bàn khác, hoặc cho toàn bộ các hoạt động nếu điều đó liên quan đến toàn bộ chương trình. 4. Đánh giá 4.1. Phân loại đánh giá Một số chương trình phân loại đánh giá dựa vào các thời điểm như sau: a) Đánh giá tiến độ thực hiện: là đánh giá được tiến hành trong quá trình thực hiện hoạt động/ chương trình y tế (sau một quý, 6 tháng, 9 tháng...) nhằm xem xét việc triển khai kế hoạch có đúng mục tiêu không để giúp việc giám sát, điều hành kế hoạch đúng hướng, đúng tiến độ. Đây cũng được coi là hoạt động theo dõi. b) Đánh giá kết thúc: Là đánh giá kết quả cuối cùng của hoạt động/ chương trình y tế hoặc kế hoạch (kế hoạch năm hoặc kế hoạch dài hạn), thường được thực hiện khi một chương trình hoặc một dự án kết thúc, dùng để so sánh với mục tiêu ban đầu đã được đề ra. c) Đánh giá tác động: Là đánh giá về tính duy trì của chương trình/dự án và các tác động lâu dài về sức khoẻ cộng đồng, kinh tế và xã hội, hoặc các tác động của nó đối với việc hoạch định chính sách hoặc phát triển chiến lược cho một ngành, một cơ
- 11. Loại đánh giá này thường được tiến hành sau khi chương trình/dự án kết thúc nhiều năm. Cả đánh giá tiến trình, kết thúc và tác động đều cần có đánh giá ban đầu. Đó là việc thu thập các số liệu cần thiết để xây dựng mục tiêu của kế hoạch/ chương trình y tế. Những thông tin thu đựoc ban đầu là cơ sở cho tổ chức triển khai kế hoạch và sau này sẽ được dùng để so sánh, đối chiếu với kết quả đạt được cuối chu kỳ hoạt động hoặc khi kết thúc chương trình. Nếu không có đánh giá ban đầu thì đánh giá kết thúc và tác động sẽ gặp nhiều khó khăn vì không có nhiều chứng cứ, dữ liệu để so sánh sự khác biệt. Một số chương trình chia đánh giá làm hai loại là đánh giá quá trình và đánh giá tác động: - Đánh giá quá trình: được thiết kế nhằm xác định chương trình có thực hiện đúng theo các chiến lược/giải pháp thực hiện không, các chiến lược đưa ra có phù hợp hay không, kế hoạch có theo đúng tiến độ hay không. - Đánh giá tác động: được thiết kế nhằm cung cấp những thông tin về kết quả ở các mức độ khác nhau của chương trình đã thực hiện. Thường có sự so sánh để xem xét sự thay đổi có diễn ra như mong muốn không và tại sao. 4.2. Các bước đánh giá chương trình/hoạt động y tế Thực hiện một đánh giá chương trình/dự án y tế là sử dụng nghiên cứu trong công tác quản lý, vì vậy tiến trình và cách thức tiến hành tương tự như thực hiện một nghiên cứu. Cách đơn giản nhất là chia một đánh giá làm ba giai đoạn như sau: Giai đoạn 1. Xác định câu hỏi đánh giá - Bước 1. Xác định giả thuyết và mục tiêu của chương trình. - Bước 2. Diễn dịch giả thuyết và mục tiêu của chương trình sang câu hỏi đánh giá - Bước 3. Lựa chọn câu hỏi đánh giá Giai đoạn 2. Trả lời câu hỏi đánh giá - Bước 1. Thiết kế đánh giá. Dựa trên câu hỏi đánh giá mà lựa chọn thiết kế nghiên cứu phù hợp. - Bước 2. Lập kế hoạch và tiến hành đánh giá, bao gồm cả lựa chọn đối tượng, phương pháp thu thập thông tin, phương tiện thu thập, phân tích số liệu Giai đoạn 3. Sử dụng câu trả lời vào quá trình quản lý - Bước 1. Viết báo cáo và đưa ra các khuyến nghị - Bước 2. Lập kế hoạch thông báo kết quả - Bước 3. Sử dụng kết quả
- 12. báo cáo đánh giá Sau khi phân tích xong các số liệu định tính và định lượng, các cán bộ đánh giá cần phải viết báo cáo các kết quả thu được. Nội dung của một báo cáo đánh giá cần viết phụ thuộc vào những ai sẽ đọc báo cáo này, họ quan tâm đến phần nào nhất, và cuối cùng phụ thuộc vào họ muốn gì. Các nhà tài trợ, các nhà quản lý chương trình can thiệp đều muốn một báo cáo đầy đủ. Tuy nhiên đối với những người khác, một báo cáo đầy đủ lại không cần thiết đối với họ. Các nhân viên chương trình, khách hàng, các nhà chính sách và cộng đồng không cần một báo cáo quá nhiều thông tin, mà họ cần một báo cáo ngắn gọn, rõ ràng, dễ hiểu. Nói chung, một báo cáo đánh giá cần phải trả lời các câu hỏi đánh giá. Báo cáo đánh giá khác với các báo cáo nghiên cứu khác. Trong báo cáo đánh giá thì các kết quả được trình bày trước tiên. Tuỳ theo độ lớn của chương trình/hoạt động và tuỳ theo yêu cầu của người đọc báo cáo chính mà các nội dung, hình thức và độ dài ngắn của báo cáo có khác nhau. Nhìn chung, một báo cáo đánh giá đầy đủ bao gồm các mục sau : Các nội dung trong một báo cáo đánh giá I. Tóm tắt kết quả nghiên cứu đánh giá A. Nêu các câu hỏi đánh giá B. Trình bày tóm tắt chương trình can thiệp C. Các kết quả chính thu được 1. Tóm tắt các kết quả 2. Bàn luận 3. Các khuyến nghị đối với từng đối tượng cụ thể (các nhà quản lý chương trình, các nhà ra chính sách...) II. Vấn đề chương trình can thiệp giải quyết A. Phạm vi của vấn đề, mức độ nghiêm trọng của vấn đề, xu hướng của vấn đề B. Những giải pháp giải quyết vấn đề III. Nội dung của chương trình A. Mục tiêu chung và mục tiêu cụ thể B. Các hoạt động 1. Kế hoạch hành động được xây dựng trước khi triển khai chương trình 2. Các hoạt động thực tế được triển khai Mô tả sự khác nhau giữa các hoạt động thực tế so với kế hoạch C. Tổng quan về chương trình 1. Mô tả nhà tài trợ cho chương trình 2. Đối tượng can thiệp của chương trình 3. Lý do thực hiện chương trình 4. Kinh phí thực hiện chương trình
- 13. tượng hưởng lợi 1. Số lượng và đặc điểm các đối tượng hưởng lợi 2. Mô tả lý do họ là đối tượng hưởng lợi E. Mô tả cơ cấu tổ chức nhân sự của chương trình IV. Nội dung đánh giá A. Mô tả các câu hỏi đánh giá, mục tiêu đánh giá B. Thiết kế nghiên cứu đánh giá 1. Phương pháp nghiên cứu 2. Thời gian nghiên cứu 3. Kỹ thuật và công cụ thu thập số liệu 4. Phương pháp phân tích số liệu C. Kết quả đánh giá 1. Các kết quả thu được 2. Các hạn chế của kết quả 3. Kết luận 4. Bàn luận: so sánh kết quả với những đánh giá tương tự khác, đề xuất nghiên cứu đánh giá tiếp theo D. Khuyến nghị V. Phần khác A.Tài liệu tham khảo B. Phụ lục: bảng, biểu đồ, công cụ thu thập số liệu... Tóm lại, theo dõi và đánh giá là hai thành tố quan trọng trong quản lý chương trình dự án hoạt động, cần được lập kế hoạch ngay từ giai đoạn đầu tiên. Để góp phần vào sự thành công của chương trình, hoạt động, việc theo dõi và đánh giá cần nhận được nguồn lực thích đáng cả về nhân lực, thời gian và tài chính, trang thiết bị.
- 14. KHẢO TÀI LIỆU TIẾNG VIỆT 1. Ban chấp hành trung ương (2002), Chỉ thị về củng cố và hoàn thiện mạng lưới y tế cơ sở, số 06-CT/TW ngày 22/01/2002. 2. Bộ y tế - UNICEF (1996). Quản lý chăm sóc sức khoẻ ban đầu tuyến y tế tuyến cơ sở. 3. Bộ Y tế (2003). Quản lý chất lượng dịch vụ chăm sóc sức khỏe sinh sản. Nhà xuất bản thanh niên: Hà nội. 4. Bộ Y tế (2009), Niên giám, thống kê y tế năm 2007. 5. Bộ Y tế-Trường Đại học Y tế Công cộng (2004). Hướng dẫn lập kế hoạch và Quản lý chương trình phòng chống HIV/AIDS. Nhà xuất bản Y học: Hà nội 6. Bộ Y tế-Trường Đại học Y tế Công cộng (2004). Quản lý chương trình phòng chống HIV/AIDS. Nhà xuất bản Y học: Hà nội. 7. Chính Phủ (1996), Nghị quyết của Chính phủ về định hướng công tác chăm sóc và bảo vệ sức khỏe nhân dân trong thời gian 1996-2000 và chính sách quốc gia về thuốc của Việt nam, Số 37/CP, 20/6/1996. 8. Chính phủ (2001), Quyết định của Thủ Tướng Chính phủ phê duyệt chiến lược chăm sóc và bảo vệ sức khoẻ nhân dân giai đoạn 2001-2010, số 35/2001/QĐ- TTg ngày 19/03/2001. 9. Chính phủ (2008), Nghị định của Chính phủ quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Bộ, cơ quan ngang Bộ, số 178/2007/NĐ-CP ngày 03/12/2007. 10.Chính phủ (2008), Nghị định của Chính phủ quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Bộ Y tế, số 188/2007/NĐ-CP ngày 27/12/2007. 11.Chính phủ (2008), Nghị định của Chính phủ quy định tổ chức các cơ quan chuyên môn thuộc Uỷ ban nhân dân tỉnh, thành phố trực thuộc Trung ương số 13/2008/NĐ-CP ngày 04/02/2008. 12.Chính phủ (2008), Nghị định của Chính phủ quy định tổ chức các cơ quan chuyên môn thuộc Uỷ ban nhân dân huyện, quận, thị xã, thành phố thuộc tỉnh, số 14/2008/NĐ-CP ngày 04/02/2008. 13.Đại học Y Thái Bình – HVQY (1997). Y tế công cộng và CSSKBĐ. Nhà xuất bản Y học: Hà nội. 14.Lê Ngọc Trọng và cộng sự (1993). Tăng cường kỹ năng quản lý cho cán bộ tuyến huyện, tỉnh. Nhà xuất bản Y học: Hà nội. 15.Lê Vũ Anh, Phan Văn Tường (1996). Phương pháp thu thập thông tin và xác định ưu tiên trong phòng chống AIDS. Hội thảo quốc gia về quản lý chương trình phòng chống AIDS. Trường CBQLYT Hà nội và UBQG phòng chống AIDS.
- 15. Liên hợp quốc (1993). Đánh giá chuyên đề chất lượng các dịch vụ kế hoạch hoá gia đình ở Việt Nam. 17.Trường Cán bộ quản lý y tế (1999). Quản lý chương trình sức khoẻ sinh sản cho cán bộ quản lý tuyến tỉnh. Nhà xuất bản Y học: Hà nội. 18.Trường Đại học Y tế công cộng (2004). Bài giảng quản lý y tế. 19.Trường Đại học Y tế công cộng (2005). Theo dõi và Đánh giá các chương trình và dịch vụ y tế 20.SMDP/CDC. Leadership. Hội thảo tại trường Đại học Y tế công cộng (2005) TÀI LIỆU TIẾNG ANH 1. Centers for Disease Control and Prevention (1993, 1996, 2004), Total Quality Management. CDC: Atlanta. 2. Green A (1999), An introduction to Health planning in developing countries, 2nd edition. Oxford University Press: New York. 3. W.W.Dyal (1990), Progam management, CDC: Atlanta. 4. WHO/GPA (1993), National AIDS Progam management. Geogia University. 5. Wolff JA, Suttenfield LJ & Binzen SC (1991), The family planning manager’s handbook. Kumarian Press: Connecticute. 6. David Buchanan, Adrzej Huczynski (1997), Organizational behavior: an introductory text, Prentice Hall Press. 7. John Antonakis, Anna T. Cianciolo, Robert J. Sternberg (2000), The nature of leadership, SAGE publication. 8. Richard L. Daft and Dorothy Marcic (1998), Understanding management, The Dryden Press. 9. Robert B. Denhardt, Janet Vinzant Denhardt, Maria P Aristigueta (2002), Managing human behaviour in public and private organizations, SAGE publication.
|
