phương pháp chuyên gia. Phương pháp đánh giá của chuyên gia

Sau khi thực hiện khảo sát của một nhóm chuyên gia, kết quả được xử lý. Thông tin ban đầu để xử lý là dữ liệu số,

thể hiện sở thích của các chuyên gia và chứng minh những sở thích này. Mục đích của quá trình xử lý là thu được dữ liệu tổng quát và thông tin mới được chứa ở dạng ẩn trong các đánh giá của chuyên gia. Dựa trên kết quả xử lý, một giải pháp cho vấn đề được hình thành.

Sự hiện diện của cả dữ liệu số và các tuyên bố có ý nghĩa của các chuyên gia dẫn đến nhu cầu áp dụng các phương pháp định tính và định lượng để xử lý kết quả đánh giá nhóm chuyên gia. Tỷ lệ của các phương pháp này về cơ bản phụ thuộc vào loại vấn đề được giải quyết bằng đánh giá của chuyên gia.

Như đã lưu ý, toàn bộ tập hợp các vấn đề có thể được chia thành hai lớp. Lớp đầu tiên bao gồm các bài toán tìm lời giải mà trong đó có đủ kiến ​​thức và kinh nghiệm, tức là có tiềm năng thông tin cần thiết. Khi giải quyết các vấn đề thuộc lớp này, các chuyên gia được coi là những người đo trung bình tốt. Thuật ngữ "trung bình tốt" đề cập đến khả năng thu được kết quả đo gần với giá trị thực. Trong trường hợp nhận được kết quả đo gần với giá trị thực, các xét đoán của chuyên gia được xếp vào nhóm gần với giá trị thực. Sau đó, để xử lý kết quả đánh giá của chuyên gia nhóm đối với các bài toán của lớp đầu tiên, có thể áp dụng thành công các phương pháp thống kê toán học dựa trên số liệu trung bình.

Lớp thứ hai bao gồm các vấn đề về giải pháp mà tiềm năng thông tin đầy đủ vẫn chưa được tích lũy. Về vấn đề này, ý kiến ​​của các chuyên gia có thể khác nhau rất nhiều. Hơn nữa, nhận định của một chuyên gia, rất khác với các ý kiến ​​còn lại, có thể đúng. Rõ ràng là việc sử dụng các phương pháp lấy trung bình cộng kết quả đánh giá của chuyên gia nhóm trong việc giải quyết các vấn đề của lớp thứ hai có thể dẫn đến những sai sót nghiêm trọng. Do đó, việc xử lý kết quả của một cuộc khảo sát của các chuyên gia trong trường hợp này không nên dựa trên các phương pháp sử dụng nguyên tắc lấy trung bình, mà dựa trên các phương pháp phân tích định tính.

Xét rằng các vấn đề của lớp đầu tiên là phổ biến nhất trong thực hành đánh giá của chuyên gia, chúng tôi sẽ tập trung vào các phương pháp xử lý kết quả giám định cho loại bài toán này.

Tùy thuộc vào mục tiêu đánh giá của chuyên gia và phương pháp đo đã chọn, các công việc chính sau đây phát sinh khi xử lý kết quả khảo sát:

xây dựng cách đánh giá khái quát, đối tượng dựa trên đánh giá cá nhân của các chuyên gia;

xây dựng đánh giá khái quát dựa trên sự so sánh theo cặp các đối tượng của từng chuyên gia;

xác định trọng lượng tương đối của các đối tượng;

xác định ý kiến ​​thống nhất của các chuyên gia;

xác định sự phụ thuộc giữa các thứ hạng;

Đánh giá độ tin cậy của kết quả xử lý.

Nhiệm vụ xây dựng đánh giá khái quát đối tượng dựa trên đánh giá cá nhân của các chuyên gia phát sinh trong đánh giá chuyên gia nhóm. Giải pháp cho vấn đề này phụ thuộc vào phương pháp đo lường được sử dụng bởi các chuyên gia.

Khi giải nhiều bài toán, việc sắp xếp các đối tượng theo một chỉ tiêu hoặc một số tập hợp chỉ tiêu là chưa đủ. Cần có các giá trị số cho mỗi đối tượng, cho biết tầm quan trọng tương đối của nó so với các đối tượng khác. Nói cách khác, đối với nhiều vấn đề, cần phải ước lượng các đối tượng không chỉ thực hiện thứ tự của chúng mà còn cho phép người ta xác định mức độ ưa thích của đối tượng này so với đối tượng khác. Để giải quyết vấn đề này, bạn có thể áp dụng phương pháp đánh giá trực tiếp. Tuy nhiên, trong những điều kiện nhất định, vấn đề tương tự có thể được giải quyết bằng cách xử lý các ước tính của chuyên gia.

Việc xác định tính nhất quán của các ý kiến ​​chuyên gia được thực hiện bằng cách tính toán một số đo đặc trưng cho mức độ giống nhau của các ý kiến ​​cá nhân. Phân tích giá trị của thước đo tính nhất quán góp phần phát triển một nhận định đúng đắn về mức độ kiến ​​thức chung về vấn đề đang được giải quyết và xác định các nhóm ý kiến ​​chuyên gia. Phân tích định tính các lý do của việc nhóm các ý kiến ​​giúp xác lập sự tồn tại của các quan điểm, khái niệm khác nhau, xác định các trường phái khoa học, xác định bản chất của hoạt động nghề nghiệp, v.v. Tất cả những yếu tố này giúp bạn có thể hiểu sâu hơn về kết quả soi cầu của các chuyên gia.

Bằng cách xử lý kết quả đánh giá của các chuyên gia, có thể xác định sự phụ thuộc giữa các thứ hạng của các chuyên gia khác nhau, do đó, thiết lập sự thống nhất và khác biệt trong các ý kiến ​​của các chuyên gia. Điều quan trọng là phải thiết lập mối quan hệ giữa các bảng xếp hạng được xây dựng trên nhiều chỉ số so sánh đối tượng. Việc xác định các phụ thuộc như vậy cho phép người ta tiết lộ các chỉ số so sánh liên quan và có lẽ để nhóm chúng theo mức độ kết nối. Tầm quan trọng của nhiệm vụ xác định các phụ thuộc đối với thực hành là hiển nhiên. Ví dụ: nếu các chỉ số so sánh là các mục tiêu khác nhau và các đối tượng là phương tiện để đạt được mục tiêu, thì việc thiết lập mối quan hệ giữa các thứ hạng để sắp xếp các phương tiện đạt được mục tiêu cho phép bạn trả lời một cách hợp lý câu hỏi về mức độ mà thành tựu

một mục tiêu với các phương tiện nhất định sẽ góp phần vào việc đạt được các mục tiêu khác.

Các ước tính thu được trên cơ sở xử lý là các đối tượng ngẫu nhiên, vì vậy một trong những nhiệm vụ quan trọng của quy trình xử lý là xác định độ tin cậy của chúng. Cần chú ý thích hợp đến giải pháp của vấn đề này.

Xử lý kết quả của kỳ thi là một quá trình mất nhiều thời gian. Thực hiện tính toán thủ công các ước tính và chỉ số về độ tin cậy của chúng có liên quan đến chi phí lao động lớn, ngay cả trong trường hợp giải quyết các vấn đề đặt hàng đơn giản. Về vấn đề này, nên sử dụng công nghệ máy tính. Việc sử dụng máy tính đặt ra vấn đề phát triển các chương trình máy tính thực hiện các thuật toán để xử lý các kết quả đánh giá của chuyên gia.

Nhóm đánh giá các đối tượng

Xem xét các thuật toán để xử lý kết quả đánh giá của chuyên gia về một tập hợp các đối tượng. Cho m chuyên gia đánh giá n đối tượng theo l chỉ số. Kết quả đánh giá được trình bày dưới dạng giá trị, trong đó j là số chuyên gia, i là số đối tượng, h là số chỉ tiêu (thuộc tính) so sánh. Nếu việc đánh giá các đối tượng được thực hiện bằng phương pháp xếp hạng thì các giá trị là thứ hạng. Nếu việc đánh giá đối tượng được thực hiện theo phương pháp đánh giá trực tiếp hoặc phương pháp so sánh tuần tự thì các giá trị là các số từ một đoạn nào đó của trục số, hoặc các điểm. Việc xử lý kết quả đánh giá phụ thuộc đáng kể vào các phương pháp đo lường được xem xét.

Trước hết hãy xem xét trường hợp khi số lượng

(i = 1,…, n; j = 1, 2,…, m; h = 1, 2,…, l)

thu được bằng các phương pháp đánh giá trực tiếp hoặc so sánh tuần tự, tức là là số hoặc điểm. Để có được xếp hạng nhóm của các đối tượng trong trường hợp này, bạn có thể sử dụng giá trị trung bình của xếp hạng cho từng đối tượng:

(i = 1, 2,…, n), (12,12)

trong đó q hj là hệ số trọng số của các chỉ tiêu so sánh đối tượng, k j là hệ số năng lực chuyên gia.

Hệ số trọng số của các chỉ tiêu và năng lực của các đối tượng là giá trị chuẩn:

Hệ số trọng số của các chỉ tiêu có thể được xác định bởi một chuyên gia. Nếu q hj là hệ số trọng số của chỉ tiêu thứ h do chuyên gia thứ j đưa ra, thì hệ số trọng số trung bình của chỉ tiêu thứ h đối với tất cả các chuyên gia bằng:

(h = 1, 2,…, l). (12,14)

Hệ số năng lực của chuyên gia có thể được tính toán từ dữ liệu posteriori, tức là theo kết quả giám định đối tượng. Ý tưởng chính của tính toán này là giả định rằng năng lực của các chuyên gia nên được đánh giá bằng mức độ nhất quán của các đánh giá của họ với đánh giá của nhóm đối tượng.

Xếp hạng tổng phương pháp

Phương pháp tổng thứ hạng bao gồm việc xếp hạng các đối tượng theo giá trị của tổng thứ hạng mà mỗi đối tượng nhận được từ tất cả các chuyên gia. Đối với ma trận xếp hạng || rij|| số tiền được thực hiện:

r1< r 2 < …< r n .

Ví dụ, kết quả xếp hạng năm đối tượng của năm chuyên gia được trình bày trong Bảng 12.2.

Bảng 12.2 Kết quả xếp hạng năm đối tượng theo năm chuyên gia

Kết quả tính tổng các cấp bậc của tất cả các đối tượng được cho ở dòng cuối cùng của Bảng 12.2.

r2< r 1 < r 3 < r 4 < r 5 .

Từ đây theo bảng xếp hạng tổng quát:

O 2 O 1 O 3 O 4 O 5. (12,16)

Trong ví dụ này, chúng ta xem xét trường hợp khi mối quan hệ giữa các đối tượng là mối quan hệ trật tự nghiêm ngặt. Nếu cũng có một quan hệ tương đương, thì quy trình xây dựng một xếp hạng tổng quát theo tổng các cấp không thay đổi.

Để tính đến năng lực của chuyên gia, chỉ cần nhân từng thứ hạng i với hệ số năng lực của chuyên gia thứ j:

Trong trường hợp này, tổng các bậc cho đối tượng thứ i được tính bằng công thức sau:

(i = 1, 2,…, n). (12,17)

Việc xếp hạng tổng quát, có tính đến năng lực của các chuyên gia, dựa trên thứ tự của tổng các cấp bậc cho tất cả các đối tượng.

Cần lưu ý rằng việc xây dựng một bảng xếp hạng tổng quát theo tổng các bậc là một quy trình đúng nếu các bậc được gán là địa điểm của các đối tượng dưới dạng số tự nhiên 1, 2, ..., n. Nếu chúng ta ấn định các cấp một cách tùy ý, như là các số trên thang thứ tự, thì tổng các cấp, nói chung, không bảo toàn điều kiện về tính đơn điệu của phép biến đổi và do đó, chúng ta có thể thu được các xếp hạng tổng quát khác nhau cho các ánh xạ khác nhau của các đối tượng lên một số hệ thống. Việc đánh số vị trí của các đối tượng có thể được thực hiện theo một cách độc đáo với sự trợ giúp của các số tự nhiên.

Xử lý so sánh đối tượng theo cặp

Khi giải bài toán đánh giá một số lượng lớn đối tượng (khi xếp hạng, xác định trọng số tương đối, cho điểm), tâm lý nảy sinh khó khăn do chuyên gia nhận thức nhiều thuộc tính của đối tượng. Các chuyên gia tương đối dễ dàng giải quyết vấn đề so sánh từng cặp của các đối tượng. Câu hỏi đặt ra, làm thế nào để có được ước tính của toàn bộ tập hợp các đối tượng dựa trên kết quả của so sánh từng cặp, mà không áp đặt các điều kiện về độ nhạy? Hãy xem xét một thuật toán để giải quyết vấn đề này. Hãy để t các chuyên gia đánh giá tất cả các cặp đối tượng, đưa ra một ước tính số:

(12.18)

Nếu, khi đánh giá cặp О i, О j, m i các chuyên gia ủng hộ sở thích О i О j, m j các chuyên gia ủng hộ sở thích О j О i, và m h các chuyên gia coi các đối tượng này là tương đương, thì ước lượng kỳ vọng toán học của biến ngẫu nhiên (r ij) bằng:

. (12.19)

Tổng số chuyên gia là:

m = m i + m h + m j.

Từ đây xác định m h và thay nó vào công thức (12.19), ta được:

(i, j = 1, 2,…, n). (12,20)

Hiển nhiên là

x ij + x ji = 1.

Tập hợp các giá trị x ij tạo thành một ma trận n × m, trên cơ sở đó có thể xây dựng bảng xếp hạng của tất cả các đối tượng và xác định các hệ số về mức độ quan trọng tương đối của các đối tượng.

Hệ số tầm quan trọng tương đối cho phép bạn xác định xem một đối tượng này vượt trội bao nhiêu lần so với đối tượng khác về các chỉ số được so sánh. Hệ số quan trọng có thể được tính bằng công thức.

Các vấn đề dự báo được giải quyết với sự trợ giúp của các phương pháp đánh giá chuyên gia bao gồm hai yếu tố không liên quan về mặt hình thức: định nghĩa các phương án khả thi cho sự phát triển của đối tượng dự báo và đánh giá chúng. Phân tích các phương pháp chuyên gia cho thấy tính khả thi của việc sử dụng "động não" để xác định các phương án phát triển khả thi. Việc sử dụng chúng cho phép bạn thu được kết quả hiệu quả trong một khoảng thời gian ngắn và thu hút sự tham gia của tất cả các chuyên gia vào một quá trình sáng tạo tích cực.

Phương pháp “động não” có thể được phân loại theo sự hiện diện hay không có phản hồi giữa người lãnh đạo và những người tham gia “động não” trong quá trình giải quyết một số tình huống vấn đề. Sự hiện diện của phản hồi cho phép những người tham gia chỉ tập trung chú ý vào các lựa chọn hữu ích theo các tiêu chí nhất định để giải quyết một tình huống có vấn đề. Tuy nhiên, bằng cách đưa ra các hạn chế một cách giả tạo, chúng ta mất cơ hội thấy được toàn bộ các phương pháp tiếp cận, và do đó có thể bỏ lỡ những suy nghĩ ban đầu có tiềm năng, nhưng hiện tại chưa được nhận ra giá trị. Không có phản hồi, tức là kích thích tối đa các tuyên bố, liên quan đến việc thực hiện công việc phức tạp và quy mô lớn ở giai đoạn đánh giá của họ. Tình hình hiện nay đòi hỏi sự phát triển của một phương pháp “động não” có khả năng đánh giá một cách định tính và nhanh chóng các phương án, không giới hạn số lượng của chúng.

Bản chất của phương pháp này nằm ở việc hiện thực hóa tiềm năng sáng tạo của các chuyên gia trong quá trình "động não" của một tình huống có vấn đề, đầu tiên thực hiện việc hình thành các ý tưởng và sau đó là sự phá hủy (phá hủy, chỉ trích) những ý tưởng này với việc xây dựng phản ý tưởng. Làm việc với phương pháp "động não" bao gồm việc thực hiện sáu giai đoạn sau.

Giai đoạn đầu- hình thành một nhóm người tham gia "động não" (về quy mô và thành phần). Theo kinh nghiệm, quy mô tối ưu của một nhóm người tham gia: các nhóm 10-15 người được công nhận là có năng suất cao nhất. Thành phần của nhóm người tham gia ngụ ý lựa chọn mục tiêu của họ: 1) từ những người có cùng cấp bậc, nếu những người tham gia biết nhau; 2) từ những người ở các cấp bậc khác nhau, nếu những người tham gia không quen thuộc với nhau (trong trường hợp này, mỗi người trong số những người tham gia nên được cấp bằng cách gán cho anh ta một số, tiếp theo là gọi người tham gia theo số). Đối với nhu cầu chuyên môn hóa của người tham gia vào lĩnh vực của tình huống vấn đề, điều kiện này không bắt buộc đối với tất cả các thành viên của nhóm. Hơn nữa, nhóm rất mong muốn bao gồm các chuyên gia từ các lĩnh vực kiến ​​thức khác có trình độ hiểu biết chung cao và hiểu được ý nghĩa của tình huống vấn đề.

Giai đoạn thứ hai- biên soạn một ghi chú vấn đề của một người tham gia động não. Nó được biên soạn bởi nhóm phân tích tình huống vấn đề và bao gồm mô tả về phương pháp này và mô tả về tình huống của vấn đề. Mô tả này bao gồm: nguyên tắc dựa trên phương pháp này; các điều kiện đảm bảo hiệu quả cao nhất của việc “cân não”, quyền tác giả về kết quả của cuộc tấn công; các quy tắc cơ bản để tấn công. Mô tả tình huống vấn đề bao gồm: nguyên nhân của tình huống vấn đề; phân tích nguyên nhân và hậu quả có thể xảy ra của tình huống có vấn đề đã nảy sinh (nên phóng đại hậu quả để cảm nhận sâu sắc hơn nhu cầu giải quyết mâu thuẫn); phân tích kinh nghiệm thế giới trong việc giải quyết một tình huống vấn đề tương tự (nếu có); phân loại (hệ thống hóa) các cách hiện có để giải quyết một tình huống vấn đề, xây dựng một tình huống vấn đề dưới dạng một câu hỏi trọng tâm với một hệ thống phân cấp các câu hỏi phụ.

Giai đoạn thứ ba- thế hệ ý tưởng. Nó bắt đầu bằng việc thông hoạt viên tiết lộ nội dung của ghi chú có vấn đề. Dự đoán về mô tả của phương pháp, điều hành viên tập trung sự chú ý của học viên vào các quy tắc động não: 1) phát biểu của học viên phải rõ ràng và ngắn gọn; 2) không được phép nhận xét hoài nghi và chỉ trích các bài phát biểu trước đó; 3) mỗi người tham gia có quyền phát biểu nhiều lần, nhưng không được liên tiếp; 4) Không được phép đọc một danh sách các ý tưởng liên tiếp mà những người tham gia có thể chuẩn bị trước. Kể lại nội dung tình huống có vấn đề, người điều khiển tập trung sự chú ý của người tham gia vào vấn đề chính. Người điều hành nên xây dựng bài phát biểu của mình sao cho đánh thức tâm lý tiếp thu của người tham gia, khiến họ cảm thấy cần phải làm những gì anh ta yêu cầu họ làm. Đáp ứng mong muốn của những người tham gia là ý chí suy nghĩ có mục đích nhằm giải quyết một tình huống có vấn đề.

Hoạt động tích cực của người thuyết trình được cho là chỉ ở phần đầu của "động não". Một khi những người tham gia đã đủ hào hứng, quá trình nảy ra những ý tưởng mới là tự phát. Người dẫn đầu trong quá trình này đóng một vai trò bị động, điều tiết những người tham gia theo quy luật của cuộc tấn công. Cần nhớ rằng số lượng phát biểu càng đa dạng và càng nhiều thì vấn đề được xem xét càng rộng và sâu hơn và càng có nhiều khả năng xuất hiện các phát biểu có giá trị. Với tình huống trên, kẻ cầm đầu trong cuộc tấn công nên được hướng dẫn bởi các quy tắc sau:

Tập trung sự chú ý của những người tham gia vào tình huống của vấn đề, thiết lập khuôn khổ cho các yêu cầu cụ thể của nó và tính chặt chẽ về mặt thuật ngữ của các ý tưởng được thể hiện;

Không tuyên bố sai, không lên án hoặc ngừng nghiên cứu bất kỳ ý tưởng nào, tức là xem xét bất kỳ ý tưởng nào bất kể mức độ liên quan hoặc tính khả thi rõ ràng của nó;

Chào mừng một sự cải tiến hoặc sự kết hợp của các ý tưởng, trước hết hãy trao sàn cho bất kỳ ai muốn phát biểu liên quan đến bài thuyết trình trước đó;

Cung cấp hỗ trợ và khuyến khích những người tham gia, khi cần thiết để giải phóng họ khỏi sự ràng buộc;

Để tạo bầu không khí thoải mái, góp phần kích hoạt những người tham gia cuộc tấn công.

Giai đoạn thứ tư- hệ thống hóa các ý tưởng được thể hiện ở giai đoạn phát sinh. Việc hệ thống hóa các ý tưởng của nhóm phân tích tình huống vấn đề được thực hiện theo trình tự sau: một danh sách tổng hợp tất cả các ý tưởng được thể hiện được tổng hợp; mỗi ý tưởng được xây dựng theo các thuật ngữ thông dụng; các ý tưởng trùng lặp và bổ sung được xác định; các ý tưởng trùng lặp và (hoặc) bổ sung được kết hợp và hình thành thành một ý tưởng phức hợp; các dấu hiệu được phân biệt bởi những ý tưởng nào có thể được kết hợp với nhau; các ý tưởng được kết hợp thành nhóm theo các tính năng đã chọn; danh sách các ý tưởng được tổng hợp bởi các nhóm (trong mỗi nhóm, các ý tưởng được viết theo thứ tự tổng quát của chúng: từ tổng quát hơn đến riêng, bổ sung hoặc phát triển thêm các ý chung).

Giai đoạn thứ năm- tiêu hủy (phá hủy, phê bình) các ý tưởng đã được hệ thống hóa (một thủ tục chuyên biệt để đánh giá các ý tưởng về tính khả thi thực tế trong quá trình động não, khi mỗi ý tưởng phải chịu sự phê bình toàn diện từ những người tham gia động não).

Quy tắc chính của giai đoạn hủy bỏ là chỉ xem xét từng ý tưởng đã được hệ thống hóa trên quan điểm trở ngại cho việc thực hiện nó, tức là những người tham gia cuộc tấn công đưa ra các lập luận bác bỏ ý tưởng đã được hệ thống hóa. Đặc biệt có giá trị là thực tế là trong quá trình phá hủy có thể tạo ra phản ứng hình thành các hạn chế hiện có và đưa ra đề xuất về khả năng loại bỏ các hạn chế này.

Nhóm người tham gia động não của giai đoạn này bao gồm các chuyên gia có trình độ cao trong lĩnh vực đang thảo luận, số lượng của nhóm lên đến 20-25 người và thời lượng của nhóm là 1,5 giờ. Quá trình phá hủy tiếp tục cho đến khi từng ý tưởng được hệ thống hóa của danh sách bị chỉ trích. Những lời chỉ trích và phản bác được bày tỏ trên một máy ghi âm.

Giai đoạn thứ sáu- đánh giá các phê bình và biên soạn một danh sách các ý tưởng có thể áp dụng thực tế. Việc thực hiện giai đoạn được thực hiện bởi nhóm phân tích tình huống vấn đề:

1. Một danh sách tất cả những lời chỉ trích nhận được ở giai đoạn tái cấu trúc được tổng hợp. Nếu cần thiết, các ý kiến ​​phản biện được làm rõ, những ý kiến ​​trùng lặp sẽ bị loại bỏ.

2. Bảng tổng hợp các giai đoạn hệ thống hóa và tiêu hủy ý tưởng được biên soạn, cũng như danh sách các chỉ số đánh giá khả năng ứng dụng thực tế của ý tưởng (các chỉ số này cụ thể trong từng trường hợp và phụ thuộc vào tình huống vấn đề cụ thể). Cột đầu tiên của bảng - kết quả của giai đoạn hệ thống hóa ý tưởng; thứ hai - nhận xét phê bình bác bỏ ý kiến; thứ ba - các chỉ số về khả năng ứng dụng thực tế của các ý tưởng; thứ tư - những ý tưởng phản bác thể hiện ở giai đoạn tiêu diệt.

3. Mỗi nhận xét phê bình và phản biện được đánh giá:

a) bị xóa khỏi bảng nếu bị bác bỏ bởi ít nhất một chỉ số về khả năng áp dụng thực tế;

b) không bị xóa nếu nó không bị bác bỏ bởi bất kỳ chỉ số nào.

4. Một danh sách các ý tưởng cuối cùng được lập ra; chỉ những ý kiến ​​đó được chuyển vào danh sách không bị phản bác lại bởi những nhận xét phê bình và được giữ nguyên trong bảng, cũng như những ý kiến ​​phản bác.

Phương pháp tạo ý tưởng tập thể đã được thử nghiệm trong thực tế và cho phép tìm ra giải pháp nhóm khi xác định các phương án khả thi cho sự phát triển của đối tượng dự báo, loại trừ con đường thỏa hiệp, khi sự nhất trí không thể được coi là kết quả của việc phân tích khách quan về vấn đề.

phương pháp Delphi. Trong hai thập kỷ gần đây, các phương pháp riêng biệt đã được tạo ra cho phép, ở một mức độ nhất định, tổ chức xử lý thống kê các ý kiến ​​của các chuyên gia chuyên môn và đạt được ít nhiều ý kiến ​​được đồng ý. Phương pháp Delphi là một trong những phương pháp phổ biến nhất để đánh giá ngang hàng trong tương lai, tức là dự báo của chuyên gia. Phương pháp này được phát triển bởi tập đoàn nghiên cứu Hoa Kỳ RAND và được sử dụng để xác định và đánh giá khả năng xảy ra các sự kiện nhất định.

Phương pháp Delphi dựa trên nguyên tắc sau: trong khoa học không chính xác, ý kiến ​​chuyên gia và phán đoán chủ quan nhất thiết phải thay thế các quy luật nhân quả chính xác được phản ánh bởi khoa học tự nhiên.

Phương pháp Delphi cho phép bạn tổng hợp ý kiến ​​của các chuyên gia riêng lẻ thành một ý kiến ​​nhóm đã được thống nhất. Nó có tất cả những thiếu sót của các dự báo được xây dựng trên cơ sở đánh giá của các chuyên gia. Tuy nhiên, công việc do RAND Corporation thực hiện để cải thiện hệ thống này đã làm tăng đáng kể tính linh hoạt, tốc độ và độ chính xác của dự báo.

Phương pháp Delphi được đặc trưng bởi ba đặc điểm phân biệt nó với các phương pháp tương tác nhóm thông thường của các chuyên gia. Các tính năng này bao gồm: a) tính ẩn danh của các chuyên gia; b) sử dụng kết quả của vòng khảo sát trước; c) đặc trưng thống kê của phản ứng nhóm.

Tính ẩn danh nằm ở chỗ, trong quá trình chuyên gia đánh giá hiện tượng dự báo, đối tượng, những người tham gia nhóm chuyên gia đều không biết với nhau. Đồng thời, sự tương tác của các thành viên trong nhóm khi điền vào bảng câu hỏi hoàn toàn bị loại bỏ. Kết quả của tuyên bố này, tác giả của câu trả lời có thể thay đổi ý định của mình mà không cần thông báo công khai.

Việc sử dụng kết quả của vòng khảo sát trước như sau: vì tương tác nhóm được thực hiện trực tiếp bằng cách trả lời bảng câu hỏi, một chuyên gia hoặc tổ chức thực hiện nghiên cứu sử dụng phương pháp Delphi chỉ trích xuất thông tin liên quan đến vấn đề này từ bảng câu hỏi. . Chuyên gia dự báo sẽ tính đến ý kiến ​​của các chuyên gia "ủng hộ" và "phản đối" đối với từng quan điểm. Kết quả chính của hoạt động của hệ thống này là ngăn cản nhóm thực hiện các mục tiêu và mục tiêu riêng của mình. Hệ thống này giúp một nhóm các chuyên gia có thể tập trung nỗ lực của họ vào các nhiệm vụ ban đầu và không phải đảm nhận điều gì đó mới mỗi lần.

Đặc điểm thống kê của phản hồi nhóm là một nhóm chuyên gia đưa ra dự báo chứa quan điểm của chỉ phần lớn chuyên gia, tức là một quan điểm mà đa số nhóm có thể đồng ý. Tuy nhiên, khó có thể có bất kỳ dấu hiệu nào cho thấy mức độ khác biệt về quan điểm có thể tồn tại giữa các thành viên trong nhóm. Thay vào đó, phương pháp Delphi sử dụng các đặc điểm thống kê của câu trả lời, bao gồm ý kiến ​​của toàn bộ nhóm. Mỗi câu trả lời trong nhóm được tính đến khi xây dựng trung vị và mức độ phân tán của các câu trả lời được đặc trưng bởi khoảng thời gian giữa các phần tư. Nói cách khác, phản hồi của nhóm có thể được biểu diễn dưới dạng trung vị và hai phần tư, tức là ở dạng một con số như vậy, ước tính của một nửa số thành viên trong nhóm nhiều hơn con số này và nửa còn lại ít hơn. Phương pháp Delphi giúp cho các thành viên trong ban giám khảo có thể tương tác hiệu quả, mặc dù kết quả của sự tương tác này được kiểm soát bởi trưởng nhóm bằng cách tổng hợp các lập luận. Các thành viên Ban giám khảo thay đổi đánh giá của họ một cách chính xác khi lập luận của đồng nghiệp của họ là thuyết phục, nếu không họ ngoan cố tuân theo quan điểm đối lập của họ.

Phương pháp Delphi là khả thi và hiệu quả trong việc thu được lợi ích của sự tham gia của nhóm vào quá trình chuẩn bị dự báo; Đồng thời, phương pháp này giảm thiểu hoặc loại bỏ hầu hết các khó khăn liên quan đến công việc của hoa hồng, mặc dù nó có thể đòi hỏi nhiều thời gian hơn hoa hồng với giao tiếp cá nhân của các thành viên, đặc biệt nếu cuộc khảo sát được thực hiện qua đường bưu điện.

Trong quá trình phát triển của phương pháp Delphi, hiệu chỉnh chéo được áp dụng. Sự kiện tương lai được trình bày như một tập hợp khổng lồ các con đường phát triển được kết nối và giao nhau.

Trình bày dự báo dịch chuyển khoa học và công nghệ dưới dạng D 1, D 2,…, D n và các xác suất tương ứng là P 1, P 2,…, P n và giả sử P 1 = 100%, tìm sự thay đổi của các giá trị của P 2,…, Р i,…, Р n.

Với sự ra đời của mối tương quan chéo, các giá trị của mỗi sự kiện do các mối quan hệ nhất định được đưa vào sẽ thay đổi tích cực hoặc tiêu cực, do đó điều chỉnh xác suất của các sự kiện đang xem xét. Với mục đích tuân thủ trong tương lai của mô hình với các điều kiện thực tế, các yếu tố ngẫu nhiên có thể được đưa vào mô hình.

Bản chất của các phương pháp đánh giá chuyên gia để xây dựng dự báo là xác định tính nhất quán của các ý kiến ​​chuyên gia về các hướng phát triển có triển vọng của đối tượng dự báo, do các chuyên gia xây dựng trước đây, cũng như trong việc đánh giá các khía cạnh của sự phát triển của đối tượng. không thể xác định bằng các phương pháp khác (ví dụ, tính toán phân tích, thực nghiệm, v.v.).

I. Tạo nhóm. Để tổ chức đánh giá chuyên gia, các nhóm làm việc được thành lập, có chức năng bao gồm thực hiện khảo sát, xử lý tài liệu và phân tích kết quả đánh giá tập thể của chuyên gia. Nhóm công tác cử các chuyên gia cung cấp câu trả lời cho các câu hỏi đặt ra liên quan đến triển vọng phát triển của ngành này. Số lượng chuyên gia tham gia xây dựng dự báo có thể thay đổi từ 10 đến 150 người, tùy thuộc vào mức độ phức tạp của đối tượng.

II. Xây dựng mục tiêu toàn cầu của hệ thống. Trước khi tổ chức khảo sát các chuyên gia cần làm rõ các hướng phát triển chính của đối tượng, cũng như lập ma trận phản ánh mục tiêu chung, mục tiêu phụ và phương tiện để đạt được chúng. Đồng thời, trong quá trình phân tích sơ bộ, cùng với một nhóm chuyên gia xác định các mục tiêu quan trọng nhất và mục tiêu phụ để giải quyết vấn đề. Các phương tiện để đạt được mục tiêu được hiểu là các lĩnh vực nghiên cứu và phát triển khoa học, các kết quả của chúng có thể được sử dụng để đạt được mục tiêu. Đồng thời, các hướng nghiên cứu và phát triển khoa học không được xen kẽ với nhau.

III. Phát triển bảng câu hỏi. Nó bao gồm việc phát triển các câu hỏi sẽ được đề xuất cho các chuyên gia. Hình thức của câu hỏi có thể được phát triển dưới dạng bảng, nhưng nội dung của chúng phải được xác định bởi các chi tiết cụ thể của đối tượng hoặc ngành dự đoán. Đồng thời, các câu hỏi nên được biên soạn theo một sơ đồ cấu trúc-phân cấp nhất định, tức là từ rộng đến hẹp, từ phức tạp đến đơn giản.

Khi thực hiện một cuộc khảo sát các chuyên gia, cần đảm bảo sự hiểu biết rõ ràng về các vấn đề riêng lẻ, cũng như tính độc lập trong các đánh giá của các chuyên gia.

IV. Tính toán ước tính của chuyên gia. Cần phải xử lý các tài liệu của các đánh giá của chuyên gia, trong đó đặc trưng cho ý kiến ​​khái quát và mức độ nhất quán của các đánh giá riêng lẻ của các chuyên gia. Việc xử lý dữ liệu đánh giá của chuyên gia đóng vai trò là nguồn tài liệu cho việc tổng hợp các giả thuyết dự báo và các phương án cho sự phát triển của ngành.

Đánh giá định lượng cuối cùng được xác định bằng cách sử dụng bốn phương pháp đánh giá chính của chuyên gia và nhiều giống của chúng:

1) phương pháp xếp hạng đơn giản (hoặc phương pháp ưu tiên);

2) phương pháp thiết lập hệ số trọng số;

3) phương pháp so sánh theo cặp;

4) phương pháp so sánh liên tiếp.

Phương pháp xếp hạng đơn giản là mỗi chuyên gia được yêu cầu sắp xếp các tính năng theo thứ tự ưu tiên. Số một cho biết tính năng quan trọng nhất, số hai cho biết mức độ quan trọng tiếp theo, v.v. Dữ liệu thu được được tóm tắt trong bảng sau.

Bảng 2.1 Đánh giá của chuyên gia về các dấu hiệu (dòng nghiên cứu)

Thứ tự ưu tiên cho tính năng này hơn các tính năng khác.

Sau đó, sử dụng các phương pháp thống kê toán học, một ý kiến ​​khái quát của các chuyên gia sẽ thu được. Xếp hạng trung bình được xác định, giá trị thống kê trung bình S j của đối tượng địa lý thứ j:

trong đó m kj là số lượng chuyên gia đánh giá thuộc tính thứ j (m k m);

i - số chuyên gia; i = 1,…, m;

j - số đối tượng, j = 1,2,…, n.

Xếp hạng trung bình của từng tính năng được xác định. Giá trị của S j càng nhỏ thì tầm quan trọng của đặc điểm này càng lớn.

Để có thể nói liệu sự phân bố các cấp bậc là ngẫu nhiên hay có sự nhất quán theo ý kiến ​​của các chuyên gia, hệ số hòa hợp được tính toán, do M. Kendall giới thiệu.

Xếp hạng trung bình của tập hợp các tính năng được xác định:

Độ lệch d j của thứ hạng trung bình của đối tượng địa lý thứ j so với thứ hạng trung bình của dân số được tính:

Số lượng các cấp bậc giống nhau được các chuyên gia ấn định cho đối tượng địa lý thứ j được xác định - t q.

Số lượng các nhóm có cấp bậc giống nhau được xác định - Q. Hệ số hòa hợp được xác định theo công thức:

,(2.4)

,(2.5)

Hệ số có thể nhận các giá trị từ 0 đến 1. Với sự đồng ý hoàn toàn của các ý kiến ​​của các chuyên gia, hệ số hài hòa bằng một, hoàn toàn không đồng ý - bằng không. Thực tế nhất là trường hợp đồng ý một phần ý kiến ​​của các chuyên gia.

Khi sự đồng thuận của các ý kiến ​​của các chuyên gia tăng lên, hệ số hài hòa tăng lên và trong giới hạn, có xu hướng thống nhất. Tuy nhiên, ngay cả khi nó bằng hoặc gần bằng 0, không phải lúc nào cũng có sự bất đồng hoàn toàn. Có thể có các nhóm giữa các chuyên gia với các ý kiến ​​phối hợp tốt, nhưng các ý kiến ​​này trái ngược nhau và thường trung hòa lẫn nhau. Trong trường hợp này, phân tích cụm hoặc kết hợp nên được thực hiện để xác định các nhóm này.

Ưu điểm của phương pháp xếp hạng đơn giản:

1) tính đơn giản có thể so sánh được của thủ tục thu được các ước tính;

2) số lượng chuyên gia ít hơn so với các phương pháp khác khi đánh giá cùng một tập hợp các tính năng.

Nhược điểm của nó là:

1) cố ý xem xét sự phân bố các nhãn hiệu là đồng đều;

2) việc giảm tầm quan trọng của các tính năng cũng được cho là đồng nhất, trong khi trên thực tế điều này không xảy ra.

Phương pháp trọng số là gán trọng số cho tất cả các đối tượng địa lý. Hệ số trọng số có thể được nhập theo hai cách:

1) hệ số trọng số được gán cho tất cả các đối tượng sao cho tổng các hệ số bằng một số cố định (ví dụ: một, mười hoặc một trăm);

2) dấu hiệu quan trọng nhất được cho hệ số trọng số bằng một số cố định nào đó, và tất cả các dấu hiệu còn lại đều cho hệ số trọng số bằng các phân số của số này.

Ý kiến ​​khái quát của các chuyên gia cũng được thu thập bằng phương pháp thống kê toán học theo các công thức (2.1 - 2.5).

Phương pháp so sánh tuần tự là như sau:

1) chuyên gia sắp xếp tất cả các tính năng theo thứ tự giảm dần tầm quan trọng của chúng: A 1>Một 2 >…> Một ;

2) gán giá trị bằng một cho thuộc tính đầu tiên: A 1 = 1, gán hệ số trọng số cho các thuộc tính khác dưới dạng phân số của một;

3) so sánh giá trị của đối tượng đầu tiên với tổng của tất cả các đối tượng tiếp theo.

Có ba lựa chọn:

A 1> A 2 + A 3 +… + A n

A 1 \ u003d A 2 + A 3 + ... + A n

A 1< A 2 + A 3 + …+ A n

Chuyên gia chọn phương án thích hợp nhất, theo quan điểm của mình, và đưa ra đánh giá về sự kiện đầu tiên phù hợp với nó;

4) so ​​sánh giá trị của đối tượng đầu tiên với tổng của tất cả các đối tượng tiếp theo trừ đi đối tượng địa lý gần đây nhất.

Đưa ra đánh giá về tính năng đầu tiên phù hợp với sự bất bình đẳng được chọn từ ba phương án:

A 1> A 2 + A 3 +… + A n-1

A 1 = A 2 + A 3 +… + A n-1

A 1< A 2 + A 3 + … + A n-1

5) quy trình được lặp lại cho đến khi A 1 được so sánh với A 2 + A 3.

Sau khi chuyên gia đã tinh chỉnh ước tính của tính năng đầu tiên phù hợp với bất bình đẳng do anh ta chọn từ ba phương án có thể có:

A1> A2 + A3

A 1< A 2 + A 3

anh ta tiến hành tinh chỉnh đánh giá của đối tượng địa lý thứ hai A 2 theo cùng một sơ đồ như trong trường hợp của đối tượng địa lý thứ nhất, tức là điểm của đối tượng địa lý thứ hai được so sánh với tổng điểm của đối tượng địa lý tiếp theo.

Ưu điểm của nó là chuyên gia tự phân tích ước tính của mình trong quá trình đánh giá các tính năng. Thay vì gán các hệ số, có một quá trình sáng tạo để tạo ra các hệ số này.

Nhược điểm của phương pháp này là:

1) tính phức tạp của nó; một chuyên gia chưa qua đào tạo sẽ khó đối phó với thủ tục này; thay vì tinh chỉnh các ước tính ban đầu của mình, anh ta sẽ bị nhầm lẫn bởi chúng;

2) tính cồng kềnh; nó đòi hỏi nhiều hoạt động hơn bốn lần để đánh giá cùng một tập hợp các tính năng so với phương pháp xếp hạng đơn giản (nói cách khác, cần nhiều chuyên gia gấp bốn lần cho cùng một công việc).

Phương pháp so sánh theo cặp

Theo nó, tất cả các dấu hiệu được so sánh theo từng cặp với nhau. Trên cơ sở so sánh từng cặp, điểm cho từng thuộc tính sau đó được tìm thấy thông qua quá trình xử lý tiếp theo.

Để giúp chuyên gia so sánh dễ dàng hơn, các đối tượng địa lý (A, B, C,… N) được nhập vào bảng theo cả chiều ngang và chiều dọc.

Chuyên gia điền vào các ô của một bảng như vậy. So sánh các thuộc tính với chính nó cho một. Trong ô đầu tiên, chuyên gia viết một, trong ô thứ hai - kết quả của việc so sánh đặc điểm đầu tiên với ô thứ hai, trong ô thứ ba - kết quả của việc so sánh đặc điểm đầu tiên với thứ ba, v.v. Chuyển sang dòng thứ hai, chuyên gia ghi vào ô đầu tiên kết quả so sánh đối tượng địa lý thứ hai với đối tượng địa lý đầu tiên, trong ô thứ hai - một, trong ô thứ ba - so sánh đối tượng địa lý thứ hai với đối tượng địa lý thứ ba, v.v. trên.

Nửa bàn phía trên đường chéo đóng vai trò là sự phản chiếu của nửa phía dưới. Để không gây nhầm lẫn, không kích động chuyên gia tính toán một nửa của bảng khác, để giảm số lượng các phép toán, chỉ nên điền vào một nửa của bảng (trên hoặc dưới đường chéo. ). Do đó, câu trả lời của các chuyên gia sẽ được trình bày dưới dạng ma trận sau:

Sau một loạt các phép biến đổi toán học, chúng tôi nhận được ước tính cho từng tính năng A 1, A 2, ..., AN từ quan điểm của chuyên gia. Điểm đặc trưng tóm tắt có được bằng cách xử lý giống hệt nhau đối với ma trận tóm tắt, mỗi yếu tố trong số đó là tổng các so sánh đặc trưng do tất cả các chuyên gia đưa ra.

Ma trận tổng có dạng

m là số lượng chuyên gia đánh giá một tập hợp các tính năng nhất định;

- ước tính tương ứng là 1, 2,…, j,…, m chuyên gia;

Tổng số điểm được đưa ra bởi tất cả các chuyên gia.

Bằng cách xác định phương sai của ma trận tổng và so sánh với phương sai lớn nhất có thể có của ma trận có cùng số phần tử, có thể xác định được tính nhất quán của các ý kiến ​​chuyên gia. Phương sai của ma trận tóm tắt càng gần với phương sai lớn nhất có thể, thì sự đồng thuận của các ý kiến ​​càng cao. Do đó, phương pháp so sánh theo cặp cho phép thực hiện phân tích thống kê chặt chẽ, có cơ sở về tính nhất quán của các ý kiến ​​chuyên gia, để cho biết liệu các ước tính thu được có phải là ngẫu nhiên hay không. Không nghi ngờ gì nữa, quy trình của phương pháp so sánh theo cặp phức tạp hơn so với phương pháp xếp hạng đơn giản, nhưng đơn giản hơn so với phương pháp so sánh tuần tự.

Số lượng chuyên gia cần thiết để đánh giá một tập hợp các đối tượng địa lý nhất định bằng phương pháp so sánh theo cặp nhiều hơn hai lần so với khi sử dụng phương pháp xếp hạng đơn giản và ít hơn hai lần so với khi sử dụng phương pháp so sánh tuần tự.

Hiện nay, trong nhiều phương pháp đánh giá chuyên gia, hệ số được đề xuất như một chỉ số đánh giá năng lực của chuyên gia:

, (2.6)

hệ số năng lực chuyên gia ở đâu;

Hệ số mức độ quen thuộc của chuyên gia đối với vấn đề đang thảo luận;

Yếu tố lý luận.

Hệ số mức độ quen thuộc với hướng nghiên cứu được xác định bằng cách tự đánh giá của chuyên gia trên thang điểm mười. Điểm cho phần tự đánh giá như sau:

0 - chuyên gia không quen thuộc với vấn đề này;

1,2,3 - chuyên gia không quen thuộc với vấn đề, nhưng vấn đề đó thuộc phạm vi lợi ích của anh ta;

4,5,6 - chuyên gia quen thuộc một cách thỏa đáng với vấn đề, không trực tiếp tham gia vào giải pháp thực tế của vấn đề;

7,8,9 - chuyên gia hiểu rõ về vấn đề, tham gia vào các giải pháp thực tế của vấn đề;

10 - câu hỏi nằm trong vòng chuyên môn hẹp của chuyên gia.

Chuyên gia được mời để đánh giá mức độ quen thuộc của họ với vấn đề và gạch chân điểm số thích hợp. Sau đó, điểm số này được nhân với 0,1, và chúng tôi nhận được hệ số.

Hệ số lý luận có tính đến cấu trúc của các lập luận làm cơ sở cho một đánh giá nhất định của chuyên gia. Hệ số lý luận được đề xuất xác định theo Bảng 2.2 bằng cách tổng hợp các giá trị được chuyên gia lưu ý trong các ô của bảng này.

Sau khi xác định được hệ số năng lực, hãy nhân giá trị đánh giá của chuyên gia với nó.

Bảng 2.2 Các giá trị hệ số suy luận

Các giai đoạn chính của quá trình đánh giá của chuyên gia:

xác định năng lực của các chuyên gia;

định nghĩa của một đánh giá tổng quát;

xây dựng một bảng xếp hạng tổng quát của các đối tượng trong trường hợp có một số đối tượng được đánh giá hoặc các lựa chọn thay thế);

xác định sự phụ thuộc giữa các thứ hạng;

Đánh giá về tính nhất quán của các ý kiến ​​chuyên gia. Trong trường hợp không có sự nhất trí đáng kể giữa các chuyên gia, cần xác định các nguyên nhân của sự không thống nhất (sự hiện diện của các nhóm) và thừa nhận sự không có ý kiến ​​nhất trí (kết quả không đáng kể);

đánh giá lỗi nghiên cứu;

xây dựng mô hình các thuộc tính của đối tượng (đối tượng) dựa trên câu trả lời của các chuyên gia (đối với chuyên môn phân tích);

chuẩn bị báo cáo (nêu rõ mục đích nghiên cứu, thành phần chuyên gia, đánh giá và phân tích kết quả).

26. Lựa chọn các chuyên gia và cuộc khảo sát của họ.

Người ta thường đề xuất sử dụng các phương pháp đánh giá lẫn nhau và tự đánh giá năng lực của các chuyên gia. Mặt khác, ai tốt hơn để biết khả năng của một chuyên gia hơn chính anh ta? Mặt khác, tự đánh giá năng lực thay vì đánh giá mức độ tự tin của một chuyên gia hơn là năng lực thực tế của anh ta. Hơn nữa, khái niệm "năng lực" không được định nghĩa một cách chặt chẽ. Nó có thể được tinh chỉnh bằng cách làm nổi bật các thành phần, nhưng điều này làm phức tạp phần sơ bộ của công việc của ủy ban chuyên gia.

Khi sử dụng phương pháp đánh giá lẫn nhau, bên cạnh khả năng thể hiện sự thích và không thích của cá nhân và nhóm, sự thiếu hiểu biết của các chuyên gia về năng lực của nhau cũng đóng một vai trò. Trong điều kiện hiện đại, chỉ những chuyên gia đã làm việc cùng nhau nhiều năm mới có thể có sự quen biết khá tốt về công việc và năng lực của nhau. Tuy nhiên, sự tham gia của các cặp bác sĩ chuyên khoa như vậy là không thích hợp lắm, vì họ quá giống nhau.

Việc sử dụng các chỉ số chính thức (chức vụ, học vị và chức danh, thời gian phục vụ, số lượng xuất bản ...), rõ ràng, có thể mang tính chất bổ trợ. Thành công của việc tham gia các kỳ thi trước là một tiêu chí tốt cho hoạt động của một người nếm thử, bác sĩ, giám khảo trong các cuộc thi thể thao, tức là những chuyên gia tham gia vào một loạt các kỳ thi tương tự kéo dài. Tuy nhiên, than ôi, điều thú vị và quan trọng nhất là chuyên môn độc đáo của các dự án lớn không có chất tương tự.

Nếu quy trình khảo sát chuyên gia liên quan đến công việc chung của các chuyên gia, thì phẩm chất cá nhân của họ là rất quan trọng. Một "kẻ nói chuyện" có thể làm tê liệt hoạt động của toàn bộ ủy ban. Trong những trường hợp như vậy, điều quan trọng là phải tuân thủ các quy định làm việc do WG phát triển.

Có một phương pháp "lăn cầu tuyết" hữu ích, trong đó từ mỗi chuyên gia tham gia với tư cách là một chuyên gia, một số tên của những người có thể là chuyên gia về chủ đề đang được xem xét. Rõ ràng, một số họ này đã gặp trước đó trong các hoạt động của WG, và một số là họ mới. Quá trình mở rộng danh sách dừng lại khi họ mới không còn nữa. Kết quả là một danh sách khá phong phú các chuyên gia có thể có. Rõ ràng là nếu ở giai đoạn đầu tất cả các chuyên gia đều thuộc cùng một "tộc", thì phương pháp "lăn cầu tuyết" rất có thể sẽ đưa ra những người từ "tộc" này, ý kiến ​​và lập luận của các "tộc" khác sẽ bị bỏ sót.

Cần phải nhấn mạnh rằng việc lựa chọn các chuyên gia cuối cùng là chức năng của Nhóm công tác và không có phương pháp lựa chọn nào có thể làm giảm trách nhiệm của nhóm này. Nói cách khác, chính Nhóm làm việc chịu trách nhiệm về năng lực của các chuyên gia, về khả năng cơ bản của họ để giải quyết vấn đề. Một yêu cầu quan trọng là người ra quyết định phê duyệt danh sách các chuyên gia.

Có một số văn bản quy phạm điều chỉnh hoạt động của ủy ban chuyên gia trong một số lĩnh vực nhất định. Một ví dụ là Luật "Về Giám định Sinh thái" của Liên bang Nga ngày 23 tháng 11 năm 1995, quy định thủ tục kiểm tra "các hoạt động kinh tế hoặc hoạt động khác được đề xuất" nhằm xác định tác hại có thể có mà hoạt động được đề cập có thể gây ra môi trường tự nhiên.

27. Xử lý thông tin nhận được từ các chuyên gia, kiểm tra tính nhất quán và độ tin cậy của nó.

Đánh giá chuyên gia được gọi là phương pháp của một nhóm tổng hợp các phương pháp nghiên cứu khoa học được sử dụng để đánh giá các hệ thống phức tạp ở mức độ định tính.

Khi sử dụng đánh giá của chuyên gia, người ta thường cho rằng ý kiến ​​của một nhóm chuyên gia đáng tin cậy hơn ý kiến ​​của một chuyên gia cá nhân. Một số nghiên cứu lý thuyết lưu ý rằng giả định này là không rõ ràng, nhưng đồng thời cũng lập luận rằng, tùy thuộc vào các yêu cầu nhất định, trong hầu hết các trường hợp, các ước lượng nhóm đáng tin cậy hơn các ước lượng riêng lẻ. Do đó, khi tổ chức các cuộc khảo sát chuyên gia, điều quan trọng là phải đưa ra các quy tắc nhất định và sử dụng các phương pháp thích hợp để thu thập và xử lý các đánh giá của chuyên gia.

Thuật toán để tổ chức các cuộc khảo sát chuyên gia bao gồm các giai đoạn mà tại đó các câu hỏi sau được xem xét:

· Vấn đề hình thành các nhóm chuyên gia, bao gồm các yêu cầu đối với chuyên gia, quy mô nhóm, vấn đề đào tạo chuyên gia, đánh giá năng lực của họ;

hình thức khảo sát chuyên gia (các loại bảng hỏi, phỏng vấn, các hình thức khảo sát hỗn hợp) và phương pháp tổ chức khảo sát (bao gồm phương pháp khảo sát, động não, trò chơi kinh doanh, v.v.);

Các cách tiếp cận để đánh giá (xếp hạng, chuẩn hóa, các loại thứ tự khác nhau, bao gồm các phương pháp ưu tiên, so sánh theo cặp, v.v.);

phương pháp xử lý các đánh giá của chuyên gia;

Các phương pháp xác định tính nhất quán của các ý kiến ​​chuyên gia, độ tin cậy của các đánh giá của chuyên gia (bao gồm các phương pháp thống kê để đánh giá phương sai, xác suất đối với một loạt các thay đổi đánh giá nhất định, Kendall, tương quan thứ hạng của Spearman, hệ số phù hợp, v.v.) và các phương pháp cải thiện tính nhất quán của đánh giá thông qua các phương pháp xử lý kết quả thích hợp khảo sát chuyên gia;

· Các cách giải thích các kết quả thu được.

Hiệu quả của việc áp dụng phương pháp này hoặc phương pháp kia được xác định bởi bản chất của vấn đề được phân tích, thông tin được sử dụng.

Nếu chỉ đánh giá định tính các đối tượng theo các đặc điểm định tính nhất định thì sử dụng các phương pháp xếp hạng, so sánh cặp, so sánh nhiều lần. Nếu bản chất của thông tin được phân tích là nên để có được các ước tính số của các đối tượng, thì có thể sử dụng phương pháp này hoặc phương pháp khác, từ ước lượng số trực tiếp sử dụng thang đo đến các phương pháp so sánh tuần tự tinh tế hơn, ví dụ, Churchman-Akoff .

thủ tục kiểm tra

Trong quá trình kiểm tra, có thể xảy ra sai sót - sai lệch trong ước tính do chính quy trình thu thập và phân tích ý kiến ​​chuyên gia đưa ra. Vì vậy, các chuyên gia trong lĩnh vực phương pháp chuyên gia rất chú trọng đến việc phát triển các quy tắc đáng tin cậy cho việc chuẩn bị và tiến hành các kỳ thi. Các quy tắc và giai đoạn quan trọng nhất của kỳ thi được thảo luận dưới đây.

Để chuẩn bị kiểm tra, một nhóm chuyên gia-tổ chức nên được thành lập. Nhóm này được kêu gọi cung cấp các điều kiện cho hoạt động hiệu quả của các chuyên gia, để phát triển một quy trình kiểm tra phù hợp nhất với bản chất của vấn đề đang được xem xét. Nhiệm vụ của nhóm bao gồm:

· Tuyên bố về vấn đề, xác định mục tiêu và mục tiêu của cuộc kiểm tra, ranh giới của nó, các giai đoạn chính;

· Xây dựng quy trình kiểm tra;

Lựa chọn chuyên gia, xác minh năng lực và hình thành các nhóm chuyên gia:

· Thực hiện khảo sát và thống nhất các đánh giá;

· Chính thức hóa thông tin nhận được, xử lý, phân tích và giải thích thông tin đó.

Quy mô của nhóm chuyên gia không được nhỏ, vì trong trường hợp này, ý nghĩa của việc hình thành các đánh giá chuyên gia sẽ bị mất. Ngoài ra, điểm của nhóm sẽ bị ảnh hưởng nhiều bởi điểm của từng chuyên gia. Đồng thời, với số lượng rất lớn các chuyên gia, đánh giá của từng người trong số họ hầu như không ảnh hưởng đến đánh giá của nhóm. Sự gia tăng quy mô của nhóm chuyên gia không phải lúc nào cũng làm tăng độ tin cậy của các ước tính, bởi vì thông thường việc mở rộng nhóm chuyên gia chỉ có thể thực hiện được bằng cách thu hút các chuyên gia có tay nghề thấp. Khi số lượng chuyên gia tăng lên, những khó khăn liên quan đến việc xử lý kết quả khảo sát và điều phối công việc của nhóm cũng tăng lên.

Trước một cuộc khảo sát chuyên gia, các quy tắc về hành vi và tổ chức của cuộc khảo sát cần được xây dựng, bao gồm một số điều khoản bắt buộc đối với tất cả các chuyên gia. Các quy tắc này phải đảm bảo tuân thủ các điều kiện có lợi cho việc hình thành ý kiến ​​khách quan của các chuyên gia. Các điều kiện này bao gồm:

· Độc lập về sự hình thành của các chuyên gia theo ý kiến ​​riêng của họ về các sự kiện được đánh giá;

· Duy trì tính ẩn danh của các câu trả lời;

· Khả năng tổ chức các cuộc thảo luận tập thể về các sự kiện ước tính;

Cung cấp cho các chuyên gia những thông tin cần thiết.

Tùy thuộc vào tầm quan trọng và mức độ phức tạp của vấn đề và theo đó, nhiệm vụ được giao cho nhóm tổ chức, bao gồm tối đa 5 đến 7 người - các chuyên gia trong lĩnh vực (lĩnh vực) kiến ​​thức này, cũng như các chuyên gia về phương pháp chuyên gia (nhà xã hội học , nhà tâm lý học, nhà toán học).

Việc chuẩn bị kiểm tra bắt đầu với báo cáo vấn đề. Để làm được điều này, trước hết, họ phải làm quen với bối cảnh và trạng thái của vấn đề, xác định vị trí và tầm quan trọng của nó. Sau đó, một phân tích sơ bộ của vấn đề được thực hiện, tất cả các kết nối bên ngoài và bên trong được làm rõ, và ranh giới của vật liệu được xem xét được xác định. Để làm được điều này, ban tổ chức kỳ thi đưa ra câu hỏi trọng tâm tạo nên bản chất của vấn đề, sau đó “tách” thành các câu hỏi phụ, đồng thời giới hạn “lĩnh vực” chỉ xét các câu hỏi phụ, không có câu trả lời. mà không thể có câu trả lời cho câu hỏi trọng tâm.

Khi giải quyết các vấn đề kinh tế - xã hội và khoa học kỹ thuật phức tạp, các chuyên gia đại diện cho các ngành tri thức khác nhau đề cập đến các khái niệm của các ngành khác nhau. Vì vậy, cần hình thành những khái niệm cơ bản. được sử dụng trong khám nghiệm.

Tùy theo mục đích, mục tiêu của cuộc khám, việc lựa chọn bác sĩ chuyên khoa tham gia mà ban tổ chức cuộc khám lựa chọn phương pháp bỏ phiếu: cá nhân hoặc nhóm (tập thể), cá nhân (toàn thời gian) hoặc thư từ, bằng miệng hoặc bằng văn bản.

Bất kể chúng ta đang nói về một bảng câu hỏi hay một cuộc phỏng vấn, cuộc khảo sát đều dựa trên một bảng câu hỏi, với sự trợ giúp của việc thu thập thông tin cần thiết. Việc chuyển mục đích và nhiệm vụ của kỳ thi sang ngôn ngữ của các câu hỏi đòi hỏi người tổ chức kỳ thi phải làm việc rất phức tạp và công phu, có kiến ​​thức về các dạng câu hỏi, khả năng hình thành chính xác, sắp xếp chúng theo một trình tự nhất định.

Bảng câu hỏi là một tập hợp các câu hỏi được tổ chức có cấu trúc, mỗi câu hỏi đều liên quan đến nhiệm vụ trọng tâm của kỳ thi. Tất cả các câu hỏi của bảng câu hỏi, tùy thuộc vào nội dung của chúng, có thể được chia thành ba nhóm: dữ liệu về bản thân chuyên gia (tuổi, chức vụ, kinh nghiệm làm việc, học vấn, chức danh khoa học, chuyên môn hẹp, v.v.); câu hỏi về giá trị của vấn đề đang nghiên cứu; câu hỏi để đánh giá động cơ mà chuyên gia tuân thủ trong phân tích của mình.

Theo hình thức, câu hỏi mở, đóng và nửa kín; trực tiếp và gián tiếp. Câu hỏi được coi là mở (miễn phí) nếu câu trả lời cho nó có thể được đưa ra dưới bất kỳ hình thức nào và không bị quy định bởi bất kỳ điều gì, được đóng - nếu từ ngữ của nó chứa các tùy chọn cho các câu trả lời khả thi và chuyên gia phải chọn một hoặc nhiều; nửa kín, nếu danh sách cung cấp khả năng có bất kỳ nhận xét bổ sung nào.

Có ba loại câu hỏi mà đánh giá chuyên gia được đưa ra - câu hỏi, câu trả lời chứa đánh giá định lượng (1), yêu cầu câu trả lời có ý nghĩa ở dạng ngắn gọn (2) và mở rộng (3).

Công việc lựa chọn chuyên gia tham gia khảo thí thường bắt đầu bằng việc lập danh sách những người có năng lực trong lĩnh vực đang nghiên cứu. Danh sách này là cơ sở cho việc lựa chọn các chuyên gia sử dụng các phương pháp đặc biệt để đánh giá phẩm chất của họ. Có 4 nhóm phương pháp chính: tự đánh giá; đánh giá của nhóm của từng chuyên gia; đánh giá dựa trên kết quả hoạt động trong quá khứ của chuyên gia; phương pháp đánh giá năng lực của ứng viên đối với chuyên gia.

© 2015-2019 trang web
Tất cả các quyền thuộc về tác giả của họ. Trang web này không yêu cầu quyền tác giả, nhưng cung cấp quyền sử dụng miễn phí.
Ngày tạo trang: 2016-04-27

Các hình thức đánh giá của chuyên gia

Bản chất của phương pháp đánh giá chuyên gia nằm ở việc các chuyên gia tiến hành phân tích trực quan-lôgic của vấn đề với việc đánh giá định lượng các phán đoán và xử lý chính thức kết quả. Ý kiến ​​tổng quát của các chuyên gia thu được từ quá trình xử lý được chấp nhận như một giải pháp cho vấn đề.

Các tính năng đặc trưng của phương pháp đánh giá chuyên gia như một công cụ khoa học để giải quyết các vấn đề phức tạp không chính thức là:

tổ chức khoa học các khâu của cuộc kiểm tra, đảm bảo công việc ở mỗi khâu đạt hiệu quả cao nhất,

· Việc sử dụng các phương pháp định lượng cả trong tổ chức kiểm tra và đánh giá đánh giá của các chuyên gia và xử lý kết quả theo nhóm chính thức.

Một loại đặc biệt của phương pháp bình duyệt là khảo sát chuyên gia - một loại khảo sát trong đó người trả lời là các chuyên gia - chuyên gia có trình độ chuyên môn cao trong một lĩnh vực hoạt động cụ thể.

Chuyên gia là người có năng lực, có kiến ​​thức sâu rộng về chủ đề hoặc đối tượng nghiên cứu.

Phương pháp này ngụ ý sự tham gia có thẩm quyền của các chuyên gia vào việc phân tích và giải quyết vấn đề đang được xem xét.

Trong thực hành nghiên cứu tâm lý học và xã hội học, nó được sử dụng để:

dự báo sự phát triển của một hiện tượng cụ thể;

đánh giá tình trạng hiện có của bất kỳ hiện tượng nào;

thu thập thông tin sơ bộ về vấn đề nghiên cứu (thăm dò);

đánh giá về đặc điểm tâm lý và sư phạm của học sinh;

đánh giá nhóm;

Chứng nhận nhân sự (người đứng đầu nhóm, các tổ chức công cộng hoặc một ủy ban chứng nhận đặc biệt đóng vai trò là chuyên gia).

Ưu điểm của phương pháp đánh giá ngang hàng

Khi đưa ra quyết định về chẩn đoán, chúng tôi thường cho rằng thông tin được sử dụng để hỗ trợ chẩn đoán là hợp lệ và đáng tin cậy. Nhưng đối với nhiều vấn đề sư phạm và tâm lý, giả thiết này không thể được chứng minh. Thực tiễn cho thấy rằng những khó khăn chính nảy sinh trong việc tìm kiếm và lựa chọn giải pháp liên quan đến các tình huống tâm lý khác nhau chủ yếu là do chất lượng không đầy đủ và không đầy đủ của thông tin thống kê sẵn có hoặc về nguyên tắc là không thể thu thập được. Sau đó, phương pháp của các chuyên gia đến để giải cứu, cho phép bạn nhìn nhận vấn đề một cách bao quát và tìm ra giải pháp khả thi.

Độ tin cậy của các đánh giá và quyết định được đưa ra trên cơ sở đánh giá của chuyên gia là khá cao và phụ thuộc phần lớn vào việc tổ chức và chỉ đạo quy trình thu thập, phân tích và xử lý các ý kiến ​​nhận được. Kết quả của một cuộc khảo sát của các nhóm chuyên gia có sự khác biệt đáng kể so với các quyết định được hình thành từ kết quả của các cuộc thảo luận tại các cuộc họp của ủy ban, nơi ý kiến ​​của những người tham gia có thẩm quyền hoặc chỉ “quyết đoán” có thể chiếm ưu thế. Điều này không có nghĩa là ý kiến ​​cá nhân của một chuyên gia cụ thể hoặc quyết định của một ủy ban như vậy là không có ý nghĩa. Tuy nhiên, thông tin được xử lý đúng cách nhận được từ một nhóm chuyên gia, theo quy luật, hóa ra lại đáng tin cậy và đáng tin cậy hơn.

Không thể áp dụng phương pháp này khi:

Thông tin thống kê ban đầu không đủ độ tin cậy;

một số thông tin có tính chất định tính và không thể định lượng được;

Về nguyên tắc, thông tin cần thiết có thể được lấy, nhưng tại thời điểm ra quyết định thì không có, vì điều này gắn liền với sự đầu tư lớn về thời gian hoặc tiền bạc;

Có một nhóm lớn các yếu tố có thể ảnh hưởng đến việc thực hiện giải pháp trong tương lai, nhưng chúng không thể được dự đoán chính xác.

Yêu cầu đối với nhóm chuyên gia

Độ tin cậy của đánh giá chuyên gia trong nhóm phụ thuộc vào tổng số chuyên gia trong nhóm, tỷ lệ các chuyên gia khác nhau trong nhóm và vào đặc điểm của các chuyên gia.

Một vấn đề khó khăn là việc hình thành một hệ thống các đặc điểm của chuyên gia có thể ảnh hưởng đáng kể đến quá trình và kết quả của kỳ thi. Những đặc điểm này cần mô tả các đặc tính cụ thể của bác sĩ chuyên khoa và các mối quan hệ có thể có giữa những người có ảnh hưởng đến việc khám bệnh.

Việc lựa chọn chuyên gia, thành lập nhóm chuyên gia là một công việc khá khó khăn, kết quả của nó quyết định đến mức độ hiệu quả của phương pháp và tính đúng đắn của các giải pháp thu được. Việc lựa chọn chuyên gia tham gia khảo sát chuyên gia bắt đầu từ việc xác định các vấn đề khoa học, kỹ thuật và hành chính liên quan trực tiếp đến giải pháp của nhiệm vụ.

Danh sách những người có năng lực trong các lĩnh vực được yêu cầu được tổng hợp, làm cơ sở cho việc lựa chọn các chuyên gia. Chuyên gia theo nghĩa đầy đủ của từ này là người tích cực tham gia nghiên cứu khoa học. Nỗ lực che giấu mục đích của nghiên cứu với anh ta, do đó biến anh ta thành một nguồn thông tin thụ động, đã khiến anh ta mất niềm tin vào những người tổ chức nghiên cứu.

Việc hình thành một nhóm các chuyên gia tiềm năng bắt đầu bằng phương pháp "lăn cầu tuyết". Sau khi đánh giá số lượng ứng viên có thể cho các chuyên gia, vấn đề về quy mô của nhóm chuyên gia được quyết định. Khó có thể xác định chính xác con số tối ưu, nhưng rõ ràng là trong một nhóm nhỏ các chuyên gia, tỷ số cuối cùng bị ảnh hưởng quá mức bởi điểm số của từng chuyên gia. Quá nhiều chuyên gia gây khó khăn cho việc hình thành ý kiến ​​đồng thuận. Ngoài ra, với sự gia tăng số lượng người tham gia, vai trò của những ý kiến ​​không chuẩn mực, khác với ý kiến ​​của số đông, nhưng không phải lúc nào cũng trở thành sai lầm, giảm đi. Sự tham gia của một số lượng lớn các chuyên gia giúp bù đắp ít nhất một phần cho việc thiếu thông tin, tận dụng hiệu quả kinh nghiệm của cá nhân và tập thể, đồng thời tính đến các giả định của các chuyên gia về trạng thái tương lai của các đối tượng.

Điều quan trọng cơ bản là khả năng đảm bảo sự “bình đẳng” giữa các nhà khoa học-chuyên gia trong các lĩnh vực khác nhau, các trình độ năng lực khác nhau, có tính đến các chi tiết cụ thể của vấn đề đang nghiên cứu.

Tuy nhiên, một số yêu cầu chung có thể được thiết lập, ngụ ý một danh sách các phẩm chất mà một chuyên gia "lý tưởng" cần có, người mà họ thích làm việc hơn:

năng lực của một chuyên gia tiềm năng trong lĩnh vực đang nghiên cứu,

sự uyên bác trong các lĩnh vực liên quan,

kinh nghiệm làm việc khoa học hoặc thực tế trong một lĩnh vực nhất định,

vị trí công việc,

· chính trực,

Tính khách quan

Khả năng tư duy sáng tạo

trực giác.

Để chọn các chuyên gia cho nhóm làm việc, một số phương pháp và kỹ thuật thống kê đơn giản được sử dụng, cũng như sự kết hợp của chúng:

1) thử nghiệm (sử dụng thử nghiệm, kiểm tra tính hiệu quả của các hoạt động chuyên gia trước đây của họ);

2) phim tài liệu (dựa trên dữ liệu nhân khẩu học xã hội);

4) với sự trợ giúp của việc tự đánh giá (đánh giá mức độ năng lực của vấn đề đang nghiên cứu, do chính chuyên gia tiềm năng đưa ra).

Ngoài các phương pháp này, có thể tính toán độ tin cậy và độ chính xác của các đánh giá chuyên gia được trình bày bởi bất kỳ chuyên gia tiềm năng nào trong quá khứ. Để làm được điều này, người ta tính mức độ tin cậy của chuyên gia, được hiểu là tần suất tương đối của các trường hợp khi chuyên gia quy xác suất cao nhất cho các giả thuyết được xác nhận sau đó (tức là số lượng dự đoán của chuyên gia nói chung. được chia cho số dự đoán đã trở thành sự thật). Khái niệm về độ tin cậy và độ chính xác của chuyên gia dựa trên giả định rằng có một nhóm vấn đề mà chuyên gia phù hợp hoặc không phù hợp.

Quy trình đánh giá chuyên gia

Công việc của người tổ chức khảo sát chuyên gia còn bao gồm cả việc chuẩn bị cho các chuyên gia làm việc, cụ thể là cung cấp cho họ những dữ liệu khách quan nhất về vấn đề. Cần chú ý đảm bảo rằng những người tham gia được thông báo đầy đủ về các nguồn gốc của vấn đề đang nghiên cứu và cách giải quyết các vấn đề tương tự trong quá khứ.

Công việc bao gồm:

· Biên soạn bảng câu hỏi đặc biệt cho các chuyên gia Các công cụ chính của cuộc khảo sát chuyên gia là một bảng câu hỏi hoặc một mẫu phỏng vấn được xây dựng theo một chương trình đặc biệt. Khác với khảo sát đại trà, chương trình khảo sát chuyên gia không chi tiết và chủ yếu mang tính chất khái niệm. Trong đó, trước hết, hiện tượng được xem xét được xây dựng một cách rõ ràng, các biến thể có thể có của kết quả của nó được đưa ra dưới dạng giả thuyết;

lựa chọn một nhóm các chuyên gia;

đặt ra nhiệm vụ và trình bày các câu hỏi cho các chuyên gia;

lựa chọn phương pháp đánh giá của chuyên gia;

Đánh giá thực tế

phân tích dữ liệu nhận được.

Điều cần thiết là các điều kiện để thực hiện khảo sát góp phần thu được các ước tính đáng tin cậy nhất. Để đảm bảo tính độc lập của các đánh giá, cần loại bỏ ảnh hưởng lẫn nhau của các chuyên gia bất cứ khi nào có thể và giảm ảnh hưởng của các yếu tố không liên quan. Điều quan trọng nhất là cách diễn đạt chính xác của các câu hỏi trong bảng câu hỏi, điều này cho phép thể hiện thái độ của chuyên gia đối với từng câu hỏi dưới dạng đánh giá định lượng và có thể kết hợp hài hòa các đánh giá nhận được từ các chuyên gia khác nhau. Nếu hình thức khảo sát của các chuyên gia liên quan đến sự tương tác trực tiếp của họ, thì cần phải cẩn thận để đảm bảo rằng ý kiến ​​của các chuyên gia nổi tiếng và có thẩm quyền nhất không tạo ra âm điệu cho các cuộc thảo luận (đối với điều này, khi nói, từ “ những người tham gia bình thường ”được đưa ra đầu tiên, sau đó là những người nổi tiếng và có thẩm quyền nhất).

Nó cũng có thể cần thiết:

xác minh dữ liệu đầu vào được sử dụng cho các đánh giá của chuyên gia;

thay đổi thành phần nhóm chuyên gia;

· Các phép đo lặp lại về cùng một vấn đề với sự so sánh sau đó của kết quả với thông tin khách quan thu được bằng các phương pháp khác.

Sau khi thực hiện khảo sát của một nhóm chuyên gia, kết quả được xử lý. Thông tin ban đầu để xử lý là dữ liệu số thể hiện sở thích của các chuyên gia và lý do cơ bản cho những ưu tiên này.

Mục đích của quá trình xử lý là thu được dữ liệu tổng quát và thông tin mới được chứa ở dạng ẩn trong các đánh giá của chuyên gia. Dựa trên kết quả xử lý, một giải pháp cho vấn đề được hình thành. Sự hiện diện của cả dữ liệu số và các tuyên bố có ý nghĩa của các chuyên gia dẫn đến nhu cầu áp dụng các phương pháp định tính và định lượng để xử lý kết quả đánh giá nhóm chuyên gia.

Một trong những giai đoạn quan trọng nhất của quá trình xử lý thông tin thu thập được là sự phối hợp của các ý kiến ​​chuyên gia, có thể được thực hiện trên cơ sở một trong các quy tắc sau:

Quy tắc đa số - đánh giá hiện tượng hoặc giải pháp của vấn đề mà đa số các chuyên gia tuân thủ được lựa chọn (tuy nhiên, cần lưu ý rằng các tình huống không hiếm gặp khi các chuyên gia đưa ra các ước tính đáng tin cậy hơn lại là thiểu số);

Quy tắc xếp hạng trung bình - xếp hạng đơn giản hoặc trung bình có trọng số của các ý kiến ​​chuyên gia được xác định.

Phân tích định tính các lý do của việc nhóm các ý kiến ​​giúp xác lập sự tồn tại của các quan điểm, khái niệm khác nhau, xác định các trường phái khoa học, xác định bản chất của hoạt động nghề nghiệp, v.v. Tất cả những yếu tố này giúp bạn có thể hiểu sâu hơn về kết quả soi cầu của các chuyên gia.

Các hình thức đánh giá của chuyên gia

Các loại hình đánh giá chuyên gia hiện có có thể được phân loại theo các tiêu chí sau:

1 Theo hình thức tham gia của các chuyên gia:

thư tín.

Phương pháp trực tiếp cho phép chuyên gia tập trung vào vấn đề đang được giải quyết, giúp cải thiện chất lượng kết quả, nhưng phương pháp từ xa có thể rẻ hơn. Việc lựa chọn các phương án để làm việc với các chuyên gia được xác định bởi các chi tiết cụ thể của vấn đề và tình huống. Các lựa chọn mặt đối mặt để làm việc với các chuyên gia giúp thu thập thông tin tốt hơn, mặc dù có những khó khăn về tổ chức và ảnh hưởng lẫn nhau của các chuyên gia. Các hình thức làm việc theo thư từ với các chuyên gia có thể bỏ qua ranh giới địa lý khi phỏng vấn các chuyên gia, loại trừ ảnh hưởng lẫn nhau của họ, nhưng làm cho công việc của các nhóm chuyên gia không hoạt động.

Các hình thức khảo sát trực tiếp:

1. Phỏng vấn miễn phí các chuyên gia. Nó có mục đích thông minh và thường được sử dụng hơn khi cần trình bày chính xác hơn vấn đề, làm rõ một số sắc thái, giải thích rõ ràng hơn các khái niệm được sử dụng và vạch ra các hướng nghiên cứu chính. Số lượng các chuyên gia được phỏng vấn ở đây ít (10-15), nhưng điều quan trọng chính là các chuyên gia được lựa chọn phải là những người đại diện cho các quan điểm khác nhau về mặt chuyên môn và khoa học. Một cuộc phỏng vấn như vậy được thực hiện bởi một nhà xã hội học có kinh nghiệm.

2. Bảng câu hỏi khảo sát của các chuyên gia.

3. “Brainstorming”, “brainstorming” - sự trao đổi quan điểm trực tiếp, kích thích khả năng quan sát. Mục tiêu chính là tìm ra giải pháp hoặc các cách giải quyết một vấn đề khoa học hoặc thực tiễn.

Các loại hình khảo sát thư từ:

1. Bảng câu hỏi qua thư của các chuyên gia

2. Kỹ thuật Delphic - là phát triển các ý kiến ​​đã thống nhất bằng cách lặp lại nhiều lần khảo sát của các chuyên gia giống nhau. Sau cuộc khảo sát đầu tiên và tổng hợp kết quả, kết quả của nó được thông báo cho các thành viên của nhóm chuyên gia. Sau đó, một cuộc thăm dò thứ hai được tiến hành, trong đó các chuyên gia hoặc xác nhận quan điểm của họ hoặc thay đổi đánh giá cho phù hợp với ý kiến ​​của đa số. Một chu kỳ như vậy chứa 3-4 lần đi qua. Trong quá trình tiến hành thủ tục như vậy, một đánh giá được phát triển, nhưng đồng thời, nhà nghiên cứu, tất nhiên, không nên bỏ qua ý kiến ​​của những người, sau nhiều lần khảo sát, vẫn giữ quan điểm của họ.

Rõ ràng, loại công việc này với các chuyên gia rất tốn thời gian và phức tạp, mặc dù việc sử dụng kỹ thuật Delphic có những ưu điểm của nó: tính ẩn danh của cuộc khảo sát được đảm bảo bằng cách loại trừ sự tương tác của các chuyên gia; thiết lập phản hồi dưới dạng tin nhắn thông tin đã xử lý về quan điểm đã được thống nhất của các chuyên gia ở các giai đoạn trước của cuộc khảo sát; loại trừ ảnh hưởng lẫn nhau của các chuyên gia. Phương pháp Delphi không nhằm mục đích đạt được sự thống nhất hoàn toàn ý kiến ​​của các chuyên gia về bản chất của vấn đề, do đó, mặc dù có sự hội tụ của các quan điểm nhưng vẫn sẽ có sự khác biệt trong các ý kiến ​​của các chuyên gia. Nhược điểm của loại hình khảo sát này của các chuyên gia là sự phụ thuộc của các đánh giá của các chuyên gia vào cách diễn đạt câu hỏi và lập luận; ảnh hưởng của dư luận đối với các chuyên gia.

2. Theo các nhiệm vụ cần giải quyết:

giải pháp tạo ra;

các lựa chọn đánh giá.

3. Theo loại phản hồi:

· Ý thức hệ;

bảng xếp hạng;

Đánh giá đối tượng theo thang điểm tương đối hoặc tuyệt đối (số).

4. Theo phương pháp xử lý ý kiến ​​chuyên gia:

ngay tức khắc;

phân tích.

5. Theo số lượng các chuyên gia tham gia:

không giới hạn;

hạn chế (thường sử dụng 5 - 12 chuyên gia).

Các phương pháp đánh giá chuyên gia nổi tiếng nhất là phương pháp Delphi, động não và phương pháp phân tích thứ bậc. Mỗi phương pháp có thời điểm riêng và cần đến các chuyên gia.

Thư mục:

1. Beshelev S.D., Gurvich F.G. Các đánh giá của chuyên gia. M.: Nauka, 1973. 246 tr.

2. Beshelev S.D., Gurvich F.G. Phương pháp toán học và thống kê đánh giá của chuyên gia. M.: Thống kê, 1980. 263 tr.

3. Kardanskaya N. Ra quyết định quản lý. M.: UNITI, 1999. 407 tr.

Bộ Giáo dục và Khoa học Nga

Đại học kỹ thuật bang Mari

Phòng điều khiển và sản xuất thiết bị vô tuyến điện

về chủ đề: Phương pháp đánh giá của chuyên gia

Đã hoàn thành: Art. gr. BZD-41

Kopylova I.V.

Kiểm tra bởi GS. quán cà phê Síp

Skulkin N.M.

Yoshkar-Ola 2012

Giới thiệu

Đánh giá của chuyên gia

Các giai đoạn đánh giá chuyên gia

Các loại đánh giá của chuyên gia

Xử lý kết quả khảo sát của các chuyên gia

Sự kết luận

Thư mục

Giới thiệu

Ví dụ về các phương pháp đánh giá chuyên gia. Môi trường kinh tế sẽ thay đổi như thế nào theo thời gian? Điều gì sẽ xảy ra với môi trường tự nhiên trong mười năm nữa? Môi trường sẽ thay đổi như thế nào? Liệu an toàn môi trường của sản xuất công nghiệp sẽ được đảm bảo, hay một sa mạc nhân tạo sẽ bắt đầu lan rộng ra xung quanh? Chỉ cần suy nghĩ về những câu hỏi tự nhiên này là đủ, để phân tích cách chúng ta tưởng tượng về ngày hôm nay cách đây mười hoặc hơn hai mươi năm, để hiểu rằng đơn giản là không thể có một trăm phần trăm dự báo đáng tin cậy. Thay vì những tuyên bố với những con số cụ thể, chỉ có thể đánh giá định tính. Tuy nhiên, các kỹ sư của chúng tôi phải đưa ra quyết định, ví dụ, về môi trường và các dự án và đầu tư khác, hậu quả của chúng sẽ được cảm nhận trong 10, 20, v.v. nhiều năm. Làm sao để? Nó vẫn còn để chuyển sang các phương pháp đánh giá chuyên gia. Những phương pháp này là gì?

1. Đánh giá của chuyên gia

Đánh giá của chuyên gia- thủ tục để có được đánh giá về vấn đề dựa trên ý kiến ​​của các chuyên gia (chuyên gia) nhằm mục đích đưa ra quyết định (lựa chọn) tiếp theo.

Các chuyên gia(từ tiếng Latinh "Expertus" - có kinh nghiệm) - đây là những người có kiến ​​thức và có thể bày tỏ ý kiến ​​hợp lý về hiện tượng đang nghiên cứu.

Phương pháp đánh giá của chuyên gia - đây là những phương pháp tổ chức công việc với các chuyên gia chuyên môn và xử lý các ý kiến ​​của chuyên gia.

Bản chất của phương pháp đánh giá chuyên gia nằm ở chỗ, việc dự báo dựa trên ý kiến ​​của chuyên gia hoặc đội ngũ chuyên gia dựa trên kinh nghiệm chuyên môn, khoa học và thực tiễn. Có đánh giá của chuyên gia cá nhân và tập thể.

Đánh giá của chuyên gia thường được sử dụng trong lựa chọn, ví dụ:

một biến thể của thiết bị kỹ thuật sẽ được đưa vào một loạt các mẫu,

các nhóm phi hành gia từ nhiều người nộp đơn,

một tập hợp các dự án nghiên cứu để được tài trợ từ một nhóm các ứng dụng,

người nhận các khoản vay môi trường từ nhiều người nộp đơn,

khi lựa chọn các dự án đầu tư để thực hiện trong số các dự án đã trình bày, v.v.

2. Các giai đoạn đánh giá chuyên gia

1. Đặt mục tiêu nghiên cứu.

Đánh giá của chuyên gia liên quan đến việc tạo ra một loại trí óc với những khả năng lớn hơn so với khả năng của một cá nhân. Nguồn gốc của các khả năng đa ý kiến ​​là việc tìm kiếm các liên kết và giả định yếu dựa trên kinh nghiệm của một chuyên gia cá nhân. Phương pháp tiếp cận chuyên gia cho phép bạn giải quyết các vấn đề không thể giải quyết theo cách phân tích thông thường, bao gồm:

· Lựa chọn giải pháp tốt nhất trong số những giải pháp có sẵn.

· Dự báo sự phát triển của quá trình.

· Tìm kiếm các giải pháp khả thi cho các vấn đề phức tạp.

Trước khi bắt đầu nghiên cứu chuyên gia, cần xác định rõ mục đích (vấn đề) của nó và hình thành câu hỏi thích hợp cho các chuyên gia. Trong trường hợp này, bạn nên tuân thủ các quy tắc sau:

· Một định nghĩa rõ ràng về các điều kiện, thời gian, các ràng buộc bên ngoài và bên trong của vấn đề. * Khả năng trả lời một câu hỏi với độ chính xác do con người kinh nghiệm.

· Câu hỏi được xây dựng dưới dạng một tuyên bố định tính tốt hơn là một ước tính của một con số. Đối với các ước tính số, không nên đặt nhiều hơn năm thang điểm.

· Các chuyên gia đánh giá các phương án khả thi, và không nên mong đợi họ phát triển một kế hoạch hành động hoàn chỉnh, một bản mô tả chi tiết các giải pháp khả thi.

2. Lựa chọn hình thức nghiên cứu, xác định kinh phí của dự án.

Các loại hình đánh giá chuyên gia hiện có có thể được phân loại theo các tiêu chí sau:

· Theo hình thức tham gia của các chuyên gia: toàn thời gian, bán thời gian. Phương pháp trực tiếp cho phép các chuyên gia tập trung vào vấn đề đang được giải quyết, giúp cải thiện chất lượng của kết quả, nhưng phương pháp từ xa có thể rẻ hơn.

· Theo số lần lặp (lặp lại quy trình để cải thiện độ chính xác) - một bước và lặp lại.

· Theo các nhiệm vụ cần giải quyết: đưa ra các giải pháp và đánh giá các phương án.

· Theo kiểu trả lời: tư tưởng, xếp hạng, đánh giá đối tượng theo thang điểm tương đối hoặc tuyệt đối (số).

· Theo phương pháp xử lý ý kiến ​​chuyên gia: trực tiếp và phân tích.

· Bởi số lượng chuyên gia tham gia: không giới hạn, có hạn. Thông thường 5-12 chuyên gia được sử dụng.

Các phương pháp đánh giá chuyên gia nổi tiếng nhất là phương pháp Delphi, động não và phương pháp phân tích thứ bậc. Mỗi phương pháp có thời điểm riêng và cần đến các chuyên gia. Sau khi lựa chọn phương pháp đánh giá của chuyên gia, có thể xác định được các chi phí của thủ tục, bao gồm chi phí trả cho chuyên gia, thuê mặt bằng, mua văn phòng phẩm, trả cho chuyên gia tiến hành và phân tích kết quả thẩm định.

3. Chuẩn bị tài liệu thông tin, mẫu phiếu điều tra, người điều hành thủ tục.

Các chuyên gia trước khi đưa ra nhận định nên đa dạng hóa vấn đề được trình bày. Để thực hiện thủ tục này, cần chuẩn bị các tài liệu thông tin mô tả vấn đề, các số liệu thống kê sẵn có, các tài liệu tham khảo, các mẫu phiếu điều tra, bản kiểm kê. Cần tránh những sai lầm sau: đề cập đến người phát triển tài liệu, nêu bật một hoặc một phương án giải pháp khác, thể hiện thái độ của ban quản lý đối với kết quả mong đợi. Dữ liệu phải linh hoạt và trung lập. Cần xây dựng trước các hình thức bảng câu hỏi cho các chuyên gia. Tùy thuộc vào phương pháp, họ có thể với câu hỏi mở và đóng, câu trả lời có thể được đưa ra dưới dạng phán đoán, so sánh theo cặp, xếp hạng loạt, tính bằng điểm hoặc đánh giá tuyệt đối.

Bản thân quy trình được thực hiện bởi một người điều hành độc lập của quy trình, người này giám sát việc tuân thủ các quy định, phân phối tài liệu và bảng câu hỏi, nhưng không thể hiện ý kiến ​​riêng của mình.

4. Lựa chọn của các chuyên gia.

Vấn đề lựa chọn chuyên gia là một trong những vấn đề khó về lý luận và thực tiễn của nghiên cứu chuyên gia. Rõ ràng, với tư cách là các chuyên gia, cần phải sử dụng những người mà những đánh giá của họ sẽ giúp đưa ra quyết định phù hợp nhất. Nhưng làm thế nào để xác định, tìm kiếm, lựa chọn những người như vậy? Phải thẳng thắn nói rằng không có phương pháp lựa chọn chuyên gia nào chắc chắn đảm bảo sự thành công của cuộc khám bệnh.

Hai thành phần có thể được phân biệt trong vấn đề lựa chọn chuyên gia - lập danh sách các chuyên gia có thể có và chọn một ủy ban chuyên gia từ họ phù hợp với năng lực của ứng viên.

Các chuyên gia nên có kinh nghiệm trong các lĩnh vực liên quan đến nhiệm vụ cần giải quyết. Khi lựa chọn các chuyên gia, người ta nên tính đến thời điểm lợi ích cá nhân, điều này có thể trở thành một trở ngại đáng kể để có được một nhận định khách quan. Ví dụ, cho mục đích này, các phương pháp của Shar được sử dụng, khi một chuyên gia, chuyên gia được kính trọng nhất, đề xuất một số người khác và xa hơn nữa trong chuỗi cho đến khi nhóm cần thiết được chọn.

5. Tiến hành kiểm tra.

Quy trình thay đổi tùy thuộc vào phương pháp được sử dụng. Khuyến nghị chung:

· Đặt ra và tuân theo các quy tắc. Tăng thời gian đưa ra quyết định vượt quá mức tối ưu không cải thiện độ chính xác của câu trả lời.

6. Phân tích thống kê kết quả . Sau khi nhận được câu trả lời của các chuyên gia mới tiến hành đánh giá. Điều này cho phép:

1) Đánh giá tính nhất quán của các ý kiến ​​chuyên gia. Trong trường hợp không có sự thống nhất đáng kể giữa các chuyên gia, cần phải xác định nguyên nhân của sự không thống nhất (sự hiện diện của các nhóm) và thừa nhận sự không có ý kiến ​​nhất trí (kết quả không đáng kể).

) Ước tính sai số nghiên cứu.

) Xây dựng mô hình thuộc tính đối tượng dựa trên câu trả lời của các chuyên gia (đối với chuyên môn phân tích). Kết quả đánh giá của chuyên gia được ban hành dưới dạng báo cáo. Báo cáo chỉ ra mục đích của nghiên cứu, thành phần các chuyên gia, đánh giá nhận được và phân tích thống kê kết quả.

7. Chuẩn bị một báo cáo với kết quả đánh giá của chuyên gia.

. Các loại đánh giá của chuyên gia

Các phương pháp đánh giá của chuyên gia có thể được chia thành hai nhóm:

§ phương pháp làm việc tập thể của nhóm chuyên gia

§ phương pháp lấy ý kiến ​​cá nhân của các thành viên trong nhóm chuyên gia.

Phương pháp làm việc tập thể của nhóm chuyên gia liên quan đến việc đạt được ý kiến ​​chung trong quá trình thảo luận chung về vấn đề đang được giải quyết. Những phương pháp này đôi khi được gọi là phương pháp lấy ý kiến ​​tập thể trực tiếp. Ưu điểm chính của các phương pháp này nằm ở khả năng phân tích toàn diện các vấn đề. Nhược điểm của các phương pháp này là sự phức tạp của thủ tục thu thập thông tin, sự phức tạp của việc hình thành ý kiến ​​nhóm đối với các đánh giá cá nhân của các chuyên gia, khả năng bị áp lực từ các cơ quan chức năng trong nhóm.

Phương pháp làm việc nhóm bao gồm động não, viết kịch bản, trò chơi kinh doanh, cuộc họp và phán đoán.

Tấn công não.Nó được tổ chức như một cuộc họp của các chuyên gia, trong đó một bài phát biểu của họ, nhưng rất quan trọng, bị hạn chế được áp dụng - người ta không thể chỉ trích các đề xuất của người khác. Bạn có thể phát triển chúng, bạn có thể thể hiện ý tưởng của mình, nhưng bạn không thể chỉ trích! Trong cuộc họp, các chuyên gia, "truyền tai" cho nhau, càng thể hiện những suy xét ngông cuồng hơn. Hai giờ sau, phiên được ghi trên máy ghi âm hoặc máy quay video kết thúc, và giai đoạn thứ hai của động não bắt đầu - phân tích các ý tưởng được thể hiện. Thông thường, trong số 100 ý tưởng, có 30 ý tưởng đáng được tiếp tục xây dựng, trong số 5-6 ý tưởng có khả năng hình thành các dự án ứng dụng, và cuối cùng 2-3 ý tưởng mang lại hiệu quả - lợi nhuận, tăng cường an toàn môi trường, cải thiện môi trường tự nhiên , vân vân. Đồng thời, việc giải thích các ý tưởng là một quá trình sáng tạo. Ví dụ, khi thảo luận về các khả năng bảo vệ tàu khỏi cuộc tấn công của ngư lôi, ý tưởng được thể hiện: "Xếp hàng dọc các thủy thủ và thổi vào ngư lôi để thay đổi hướng đi của nó." Sau khi nghiên cứu kỹ lưỡng, ý tưởng này đã dẫn đến việc tạo ra các thiết bị đặc biệt tạo ra sóng đánh văng ngư lôi.

Phương pháp "635"- một trong những kiểu động não. Các số 6, 3, 5 cho biết sáu người tham gia, mỗi người phải viết ra ba ý tưởng trong vòng năm phút. Chiếc lá di chuyển xung quanh. Vì vậy, trong nửa giờ, mọi người sẽ viết ra 18 ý tưởng trong tài sản của họ, và tất cả cùng nhau - 108. Cấu trúc của các ý tưởng được xác định rõ ràng. Có thể sửa đổi phương pháp. Phương pháp này được sử dụng rộng rãi ở nước ngoài (đặc biệt là ở Nhật Bản) để chọn ra từ nhiều ý tưởng độc đáo và tiến bộ nhất trong việc giải quyết một số vấn đề.

trò chơi kinh doanhdựa trên mô hình hóa hoạt động của hệ thống quản lý xã hội khi thực hiện các hoạt động nhằm đạt được mục tiêu. Không giống như các phương pháp trước đây, nơi các đánh giá của chuyên gia được hình thành trong quá trình thảo luận tập thể, trò chơi kinh doanh liên quan đến hoạt động tích cực của một nhóm chuyên gia, mỗi thành viên trong đó có trách nhiệm nhất định theo các quy tắc và chương trình được biên soạn trước.

Ưu điểm chính của trò chơi kinh doanh là khả năng phát triển một giải pháp trong động lực học, có tính đến tất cả các giai đoạn của quy trình đang nghiên cứu với sự tương tác của tất cả các yếu tố của hệ thống quản lý công. Điểm bất lợi nằm ở sự phức tạp của việc tổ chức một trò chơi kinh doanh trong điều kiện gần với một tình huống có vấn đề thực tế.

Phương thức họp("hoa hồng", "bàn tròn") - đơn giản và truyền thống nhất. Nó bao gồm tổ chức một cuộc họp hoặc thảo luận để phát triển một ý kiến ​​chung của tập thể về vấn đề đang được giải quyết. Ngược lại với phương pháp “brainstorming”, mỗi chuyên gia không chỉ có thể phát biểu ý kiến ​​của mình mà còn có thể phản biện đề xuất của những người khác. Kết quả của việc thảo luận cẩn thận như vậy, khả năng xảy ra sai sót trong quá trình phát triển một quyết định được giảm bớt.

Ưu điểm của phương pháp này là sự đơn giản trong việc thực hiện. Tuy nhiên, tại cuộc họp, ý kiến ​​sai lầm của một trong những người tham gia có thể được thông qua do quyền hạn, vị trí chính thức, sự kiên trì hoặc khả năng của người đó.

Phương thức hoa hồng- một trong những phương pháp đánh giá của chuyên gia, dựa trên công việc của hoa hồng đặc biệt. Các nhóm chuyên gia tại "bàn tròn" thảo luận về một vấn đề cụ thể để thống nhất quan điểm và phát triển quan điểm chung. Nhược điểm của phương pháp này là nhóm các chuyên gia trong các phán đoán của họ được hướng dẫn chủ yếu bởi logic của sự thỏa hiệp.

Phương pháp viết kịch bảndựa trên việc xác định logic của một quá trình hoặc hiện tượng trong thời gian trong các điều kiện khác nhau. Nó liên quan đến việc thiết lập một chuỗi các sự kiện phát triển trong quá trình chuyển đổi từ tình trạng hiện tại sang trạng thái tương lai của đối tượng. Một kịch bản đặc biệt có thể là mô tả trình tự và điều kiện hội nhập quốc tế của nền kinh tế các nước, bao gồm các câu hỏi sau:

từ dạng đơn giản nhất đến dạng phức tạp hơn quá trình này phải vượt qua;

nó sẽ ảnh hưởng như thế nào đến nền kinh tế quốc dân và quan hệ kinh tế của các nước;

những vấn đề tài chính, tổ chức, xã hội, luật pháp có thể nảy sinh trong quá trình quốc tế hoá nền kinh tế là gì.

Kịch bản dự báo quyết định chiến lược phát triển của đối tượng dự báo. Nó phải phản ánh mục tiêu chung về sự phát triển của đối tượng, các tiêu chí đánh giá các cấp trên của cây mục tiêu, mức độ ưu tiên của các vấn đề và các nguồn lực để đạt được các mục tiêu chính. Kịch bản hiển thị một giải pháp nhất quán cho vấn đề, những trở ngại có thể xảy ra. Trong trường hợp này, các tài liệu cần thiết cho sự phát triển của đối tượng dự báo được sử dụng.

Kịch bản nên được viết theo cách mà sau khi đọc nó, mục tiêu chung của công việc được thực hiện dưới ánh sáng của các nhiệm vụ kinh tế - xã hội cho giai đoạn dự báo trở nên rõ ràng.

Nó thường đa biến về bản chất và làm nổi bật ba dòng hành vi:

lạc quan - sự phát triển của hệ thống trong tình huống thuận lợi nhất;

bi quan - sự phát triển của hệ thống trong tình huống kém thuận lợi nhất;

làm việc - sự phát triển của hệ thống, có tính đến khả năng chống lại các yếu tố tiêu cực, rất có thể xảy ra sự xuất hiện của chúng.

Là một phần của kịch bản dự báo, nên đề ra chiến lược dự phòng trong trường hợp không lường trước được.

Kịch bản đã hoàn thành phải được phân tích. Dựa trên việc phân tích thông tin được cho là phù hợp với dự báo sắp tới, các mục tiêu được xây dựng, xác định tiêu chí và xem xét các giải pháp thay thế.

phương pháp tòa ánlà một loại phương pháp "hội họp" và được thực hiện bằng cách tương tự với việc tiến hành phiên tòa.

Các giải pháp được lựa chọn đóng vai trò là "bị cáo";

trong vai trò “thẩm phán” - người ra quyết định;

trong vai trò “công tố viên” và “người bào chữa” - thành viên của nhóm chuyên gia.

Vai trò “nhân chứng” được thực hiện bởi nhiều điều kiện lựa chọn và lập luận khác nhau của các chuyên gia. Khi tiến hành một "phiên tòa" như vậy, các quyết định nhất định bị bác bỏ hoặc đưa ra.

Nên sử dụng phương pháp "tòa án" khi có một số nhóm chuyên gia tuân thủ các giải pháp khác nhau.

Phương pháp lấy ý kiến ​​cá nhân của các thành viên trong nhóm chuyên gia dựa trên việc tiếp nhận sơ bộ thông tin từ các chuyên gia được phỏng vấn độc lập với nhau, với quá trình xử lý dữ liệu nhận được sau đó. Các phương pháp này bao gồm phương pháp bảng câu hỏi, phỏng vấn và phương pháp Delphi. Những ưu điểm chính của phương pháp đánh giá chuyên gia cá nhân là tính hiệu quả, khả năng sử dụng đầy đủ năng lực cá nhân của một chuyên gia, không bị áp lực từ cơ quan chức năng và chi phí giám định thấp. Nhược điểm chính của họ là mức độ chủ quan của các ước tính thu được do kiến ​​thức hạn chế của một chuyên gia.

Phương pháp Delphi.Mục tiêu là phát triển một chương trình khảo sát cá nhân nhiều vòng liên tiếp. Một cuộc khảo sát cá nhân của các chuyên gia thường được thực hiện dưới hình thức bảng câu hỏi. Sau đó, quá trình xử lý thống kê của họ được thực hiện trên máy tính và ý kiến ​​chung của cả nhóm được hình thành, các lập luận ủng hộ các phán đoán khác nhau được xác định và khái quát. Thông tin được xử lý bằng máy tính sẽ được chuyển đến các chuyên gia, những người có thể sửa chữa các ước tính, giải thích lý do họ không đồng ý với đánh giá chung. Quy trình này có thể được lặp lại đến 3 - 4 lần. Kết quả là, phạm vi ước tính bị thu hẹp và đưa ra phán đoán nhất quán về triển vọng phát triển của đối tượng. Các tính năng của phương pháp Delphi:

a) Tính ẩn danh của các chuyên gia (các thành viên của nhóm chuyên gia không quen biết nhau, sự tương tác của các thành viên trong nhóm khi điền vào bảng câu hỏi bị loại trừ hoàn toàn);

b) khả năng sử dụng kết quả của vòng khảo sát trước;

c) đặc điểm thống kê của ý kiến ​​nhóm.

Phương pháp này giúp xác định trước sự phát triển của các tình huống có vấn đề dài hạn. Các chuyên gia của chúng tôi làm việc trong lĩnh vực dự báo khoa học và kỹ thuật cũng phát triển các phương pháp xử lý các đánh giá của chuyên gia. Chúng được gọi là heuristic.

Phương pháp phỏng vấnliên quan đến một cuộc trò chuyện giữa một dự báo viên và một chuyên gia theo sơ đồ câu hỏi-trả lời, trong đó dự báo viên, theo một chương trình được xây dựng trước, đặt câu hỏi cho chuyên gia về triển vọng phát triển của đối tượng dự báo. Sự thành công của một cuộc đánh giá như vậy phụ thuộc phần lớn vào khả năng đưa ra ý kiến ​​ngẫu hứng của một chuyên gia về các vấn đề khác nhau.

Phương pháp phân tíchcung cấp cho một công việc độc lập kỹ lưỡng của một chuyên gia về phân tích các xu hướng, đánh giá trạng thái và các con đường phát triển của đối tượng dự đoán. Một chuyên gia có thể sử dụng tất cả thông tin anh ta cần về đối tượng dự báo. Ông viết những phát hiện của mình dưới dạng một bản ghi nhớ. Ưu điểm chính của phương pháp này là khả năng sử dụng tối đa khả năng cá nhân của chuyên gia. Tuy nhiên, nó không phù hợp lắm để dự báo các hệ thống phức tạp và xây dựng chiến lược do kiến ​​thức hạn chế của một chuyên gia trong các lĩnh vực kiến ​​thức liên quan.

. Xử lý kết quả khảo sát của các chuyên gia

chuyên gia khảo sát cá nhân tập thể

Hãy chuyển sang xem xét các thủ tục được thực hiện ở giai đoạn xử lý kết quả thẩm vấn.

Trên cơ sở đánh giá của chuyên gia, những thông tin khái quát về đối tượng (hiện tượng) được nghiên cứu sẽ thu được và hình thành giải pháp theo mục đích của cuộc kiểm tra. Khi xử lý các đánh giá riêng lẻ của các chuyên gia, các phương pháp định lượng và định tính khác nhau được sử dụng. Việc lựa chọn phương pháp này hay phương pháp kia phụ thuộc vào mức độ phức tạp của vấn đề được giải quyết, hình thức trình bày ý kiến ​​của các chuyên gia và mục tiêu của cuộc kiểm tra.

Thông thường, khi xử lý kết quả điều tra, phương pháp thống kê toán học được sử dụng.

Tùy thuộc vào mục tiêu của kỳ thi, các vấn đề sau có thể được giải quyết khi xử lý đánh giá:

· hình thành một đánh giá tổng quát;

· xác định trọng lượng tương đối của các đối tượng;

· thiết lập mức độ đồng ý của các ý kiến ​​của các chuyên gia, v.v.

1)Hình thành một đánh giá tổng quát

Vì vậy, hãy để một nhóm chuyên gia đánh giá một số đối tượng, sau đó x j - đánh giá của chuyên gia thứ j, , trong đó m là số chuyên gia.

Để hình thành một đánh giá tổng quát của một nhóm chuyên gia, các giá trị trung bình thường được sử dụng nhất. Ví dụ, trung vị (M E ), mà ước tính như vậy được thực hiện, liên quan đến số lượng ước tính lớn bằng số lượng ước tính nhỏ hơn.

Một ước tính điểm cho một nhóm chuyên gia cũng có thể được sử dụng, được tính như một giá trị trung bình cộng:

2)Xác định trọng lượng tương đối của các vật

Đôi khi cần phải xác định mức độ quan trọng (đáng kể) của một hoặc một yếu tố (đối tượng) khác theo quan điểm của bất kỳ tiêu chí nào. Trong trường hợp này, chúng ta nói rằng chúng ta cần xác định trọng số của từng yếu tố.

Một trong những phương pháp xác định trọng số như sau. Hãy x ij - đánh giá yếu tố i, do chuyên gia thứ j đưa ra, , , n - số đối tượng được so sánh, m - số chuyên gia. Sau đó, trọng lượng của vật thể thứ i, được tính toán theo ước tính của tất cả các chuyên gia (wi ), bằng:

ở đâu ij - trọng lượng của vật thứ i, tính theo ước tính của chuyên gia thứ j, bằng:

3)Thiết lập mức độ đồng ý giữa các chuyên gia

Nếu một số chuyên gia tham gia vào cuộc khảo sát, sự khác biệt trong các đánh giá của họ là không thể tránh khỏi, nhưng mức độ của sự khác biệt này là rất quan trọng. Đánh giá nhóm chỉ có thể được coi là đủ tin cậy nếu có sự thống nhất tốt giữa các câu trả lời của từng chuyên gia.

Để phân tích sự phân tán và tính nhất quán của các ước tính, người ta sử dụng các đặc trưng thống kê - các thước đo về sự phân tán.

Phạm vi biến đổi (R):

Xmax -x min ,

nơi x tối đa đánh giá tối đa đối tượng; min - đánh giá tối thiểu của đối tượng.

Độ lệch chuẩn, được tính theo công thức nổi tiếng:

trong đó xj là điểm do chuyên gia thứ j đưa ra; là số chuyên gia.

Hệ số biến thiên (V), thường được biểu thị bằng phần trăm:

Các cách tiếp cận để kiểm tra tính nhất quán được sử dụng trong việc đánh giá các đối tượng bằng phương pháp xếp hạng là cụ thể.

Trong trường hợp này, kết quả công việc của chuyên gia là một thứ hạng, là một chuỗi các cấp bậc (đối với chuyên gia j): x 1j , x 2j,…, x nj .

Có thể xác định sự nhất quán giữa thứ hạng của hai chuyên gia bằng cách sử dụng hệ số tương quan thứ hạng Spearman:

trong đó xij là cấp bậc do chuyên gia thứ j ấn định cho đối tượng thứ i; ik là cấp bậc được chuyên gia thứ k ấn định cho đối tượng thứ i; i là hiệu số giữa các cấp bậc được giao cho đối tượng thứ i vật.

Giá trị có thể thay đổi từ -1 đến +1. Với sự trùng khớp hoàn toàn của các ước tính, hệ số bằng một. Sự bằng nhau của hệ số trừ một được quan sát với sự khác biệt lớn nhất trong các ý kiến ​​của các chuyên gia.

Ngoài ra, việc tính toán hệ số tương quan thứ hạng có thể được sử dụng như một cách để đánh giá mối quan hệ giữa bất kỳ yếu tố nào và đặc điểm kết quả (phản ứng) trong trường hợp không thể đo lường chính xác các đối tượng địa lý nhưng có thể được đặt hàng.

Trong trường hợp này, giá trị của hệ số Spearman có thể được hiểu tương tự như giá trị của hệ số tương quan cặp. Giá trị dương cho biết mối quan hệ trực tiếp giữa các yếu tố, giá trị âm biểu thị mối quan hệ ngược lại, trong khi giá trị tuyệt đối của hệ số càng gần một thì mối quan hệ càng chặt chẽ.

Khi cần xác định tính nhất quán trong thứ hạng của một số lượng lớn (hơn hai) chuyên gia, hệ số tương hợp được tính - hệ số tương quan thứ hạng tổng thể cho một nhóm gồm m chuyên gia:

Lưu ý rằng dấu phụ trong ngoặc đơn không là gì khác ngoài tổng số bậc trung bình (khi tính tổng cho từng đối tượng) mà i đối tượng nhận được từ các chuyên gia.

Hệ số W thay đổi trong phạm vi từ 0 đến 1. Hệ số này bằng với một có nghĩa là tất cả các chuyên gia được xếp cùng cấp bậc cho các đối tượng. Giá trị của hệ số càng gần 0, ước tính của các chuyên gia càng kém nhất quán.

Sự kết luận

Kinh nghiệm, trực giác, quan điểm kết hợp với thông tin giúp các chuyên gia lựa chọn chính xác hơn các mục tiêu và hướng phát triển quan trọng nhất, tìm ra các phương án tốt nhất để giải quyết các vấn đề phức tạp về khoa học, kỹ thuật và kinh tế xã hội trong điều kiện không có thông tin về giải quyết các vấn đề tương tự trong quá khứ.

Việc sử dụng phương pháp đánh giá chuyên gia giúp chính thức hóa quy trình thu thập, tổng hợp và phân tích ý kiến ​​của các chuyên gia để chuyển chúng thành hình thức thuận tiện nhất cho việc đưa ra quyết định sáng suốt. Tuy nhiên, cần lưu ý rằng phương pháp đánh giá của chuyên gia không thể thay thế các quyết định hành chính hoặc lập kế hoạch, nó chỉ cho phép bạn bổ sung thông tin cần thiết cho việc chuẩn bị và thông qua các quyết định đó. Việc sử dụng rộng rãi các đánh giá của chuyên gia chỉ được chứng minh khi không thể áp dụng các phương pháp chính xác hơn để phân tích tương lai.

Các phương pháp chuyên gia liên tục được phát triển và cải tiến. Các hướng chính của sự phát triển này được xác định bởi một số yếu tố, trong đó có thể chỉ ra mong muốn mở rộng phạm vi, nâng cao mức độ sử dụng các phương pháp toán học và máy tính điện tử, đồng thời cũng tìm cách loại bỏ những thiếu sót đang nảy sinh. Mặc dù đã đạt được những tiến bộ trong những năm gần đây trong việc phát triển và sử dụng thực tế phương pháp đánh giá chuyên gia, nhưng vẫn còn một số vấn đề và nhiệm vụ cần phải nghiên cứu thêm về phương pháp luận và kiểm chứng thực tế. Cần cải thiện hệ thống lựa chọn chuyên gia, tăng độ tin cậy của các đặc điểm ý kiến ​​nhóm, xây dựng phương pháp kiểm tra tính hợp lệ của các đánh giá và nghiên cứu các nguyên nhân tiềm ẩn làm giảm độ tin cậy của các đánh giá chuyên gia. Tuy nhiên, ngay cả ngày nay, đánh giá của chuyên gia kết hợp với các phương pháp toán học và thống kê khác là một công cụ quan trọng để cải thiện quản lý ở tất cả các cấp.

Thư mục

1Orlov A.I. Các đánh giá của chuyên gia. // Phòng thí nghiệm của nhà máy. ? Năm 1996.? T. 62.? Số 1. ? trang 54-60.

2Orlov A.I. Các đánh giá của chuyên gia. Proc. phụ cấp. - M.: 2002.

Beshelev S.D., Gurvich F.G. Đánh giá của chuyên gia trong việc đưa ra các quyết định có kế hoạch. Proc. phụ cấp. - M.: Kinh tế học, 1976.? 287 tr.

Evlanov L.G., Kutuzov V.A. Các đánh giá của chuyên gia trong quản lý. - M.: Kinh tế học, 1978.? 133 tr.

Ban quản lý. Proc. phụ cấp. / Ed. J.V. Prokofieva. - M.: Tri thức, 2000. - 288 tr.

Beshelev S.D., Gurvich F.G. Các đánh giá của chuyên gia. - M.: Nauka, 1973. - 79 tr.

Phương pháp thống kê để phân tích các đánh giá của chuyên gia. - M.: Nauka, 1977. - 384 tr.

Moiseev N.N. Các bài toán phân tích hệ thống. - M.: Nauka, 1981. - 487 tr.

Các đánh giá và ra quyết định của chuyên gia Litvak B.G. - M.: Bằng sáng chế, 1996.

Đặc điểm của các phương pháp đánh giá chuyên gia [Nguồn điện tử]: # "justify"> Đánh giá chuyên gia. / Wikipedia. [Tài nguyên điện tử]: # "justify"> Đánh giá của chuyên gia. // StatSoft: Tư vấn SPC. [Nguồn điện tử]: http://www.spc-consults.ru/app/expert.htm

Dạy kèm

Cần trợ giúp để tìm hiểu một chủ đề?

Các chuyên gia của chúng tôi sẽ tư vấn hoặc cung cấp dịch vụ gia sư về các chủ đề mà bạn quan tâm.
Gửi đơn đăng ký cho biết chủ đề ngay bây giờ để tìm hiểu về khả năng nhận được tư vấn.