ekspertmeetod. Eksperthinnangute meetod

Pärast ekspertide rühma küsitluse läbiviimist töödeldakse tulemusi. Töötlemise algteave on arvandmed,

ekspertide eelistuste väljendamine ja nende eelistuste põhjendamine. Töötlemise eesmärk on eksperthinnangutes varjatud kujul sisalduva üldistatud andmete ja uue teabe saamine. Töötlemistulemuste põhjal kujundatakse probleemile lahendus.

Nii arvuliste andmete kui ekspertide sisukate väidete olemasolu toob kaasa vajaduse rakendada grupi eksperthinnangu tulemuste töötlemisel kvalitatiivseid ja kvantitatiivseid meetodeid. Nende meetodite osakaal oleneb oluliselt eksperthinnanguga lahendatavate probleemide klassist.

Nagu juba märgitud, võib kogu probleemide komplekti jagada kahte klassi. Esimesse klassi kuuluvad ülesanded, mille lahendamiseks on piisaval tasemel teadmised ja kogemused, s.o. on olemas vajalik infopotentsiaal. Sellesse klassi kuuluvate ülesannete lahendamisel peetakse asjatundjaid headeks keskmisteks mõõtjateks. Mõiste "keskmiselt hea" viitab võimalusele saada tõele lähedased mõõtmistulemused. Tõenelähedaste mõõtmistulemuste saamise korral rühmitatakse eksperthinnangud tegeliku väärtuse lähedale. Siit järeldub, et esimese klassi ülesannete grupi eksperthinnangu tulemuste töötlemiseks on võimalik edukalt rakendada andmete keskmistamisel põhinevaid matemaatilise statistika meetodeid.

Teise klassi kuuluvad probleemid, mille lahendamiseks pole veel kogunenud piisavat infopotentsiaali. Sellega seoses võivad ekspertide arvamused üksteisest väga erineda. Pealegi võib tõeks osutuda ühe eksperdi hinnang, mis erineb suuresti ülejäänud arvamustest. On ilmne, et grupi eksperthinnangu tulemuste keskmistamise meetodite kasutamine teise klassi probleemide lahendamisel võib kaasa tuua tõsiseid vigu. Seetõttu peaks ekspertide küsitluse tulemuste töötlemine antud juhul põhinema mitte keskmistamise põhimõtteid kasutavatel meetoditel, vaid kvalitatiivse analüüsi meetoditel.

Arvestades, et esimese klassi probleemid on eksperthinnangu praktikas kõige levinumad, keskendume selle probleemiklassi ekspertiisi tulemuste töötlemise meetoditele.

Olenevalt eksperthinnangu eesmärkidest ja valitud mõõtmismeetodist tekivad uuringutulemuste töötlemisel järgmised põhiülesanded:

üldistatud hinnangu ehitamine, objektid ekspertide individuaalsete hinnangute alusel;

üldistatud hinnangu koostamine, mis põhineb iga eksperdi paarisobjektide võrdlusel;

esemete suhteliste kaalude määramine;

ekspertide kokkulepitud arvamuse määramine;

pingerea vaheliste sõltuvuste määramine;

Töötlemise tulemuste usaldusväärsuse hindamine.

Ekspertide individuaalsete hinnangute põhjal objektide üldistatud hinnangu konstrueerimise ülesanne tekib grupi eksperthinnangus. Selle probleemi lahendus sõltub ekspertide kasutatavast mõõtmismeetodist.

Paljude probleemide lahendamisel ei piisa objektide järjestamisest ühe näitaja või mõne näitajate komplekti järgi. Iga objekti jaoks on soovitav omada arvväärtusi, mis näitavad selle suhtelist tähtsust võrreldes teiste objektidega. Teisisõnu, paljude probleemide jaoks on vaja objektide hinnanguid, mis mitte ainult ei korralda nende järjestust, vaid võimaldavad ka määrata ühe objekti eelistamise astet teisele. Selle probleemi lahendamiseks saate rakendada otsese hindamise meetodit. Kuid teatud tingimustel saab sama probleemi lahendada ekspertide hinnangute töötlemisega.

Ekspertarvamuste järjepidevuse määramine toimub arvulise mõõdu arvutamisega, mis iseloomustab üksikute arvamuste sarnasuse astet. Järjepidevuse mõõdiku väärtuse analüüs aitab kaasa õige hinnangu kujunemisele lahendatava probleemi üldise teadmiste taseme kohta ja ekspertarvamuste rühmituste tuvastamisele. Arvamuste rühmitamise põhjuste kvalitatiivne analüüs võimaldab tuvastada erinevate seisukohtade, kontseptsioonide olemasolu, tuvastada teaduskoolkondi, määrata kutsetegevuse olemust jne. Kõik need tegurid võimaldavad ekspertide küsitluse tulemusi sügavamalt mõista.

Eksperthinnangu tulemusi töödeldes on võimalik kindlaks teha erinevate ekspertide pingeridade vahelisi sõltuvusi ning seeläbi tuvastada ekspertide arvamuste ühtsus ja erinevus. Oluline on luua seos erinevate objektide võrdlusnäitajate põhjal üles ehitatud edetabelite vahel. Selliste sõltuvuste tuvastamine võimaldab paljastada seotud võrdlusnäitajaid ja võib-olla rühmitada need seose astme järgi. Sõltuvuste määramise ülesande tähtsus praktika jaoks on ilmne. Näiteks kui võrdlusnäitajateks on erinevad eesmärgid ja objektid on eesmärkide saavutamise vahendid, siis vahendeid eesmärkide saavutamise mõttes järjestavate edetabelite vahelise seose loomine võimaldab mõistlikult vastata küsimusele, mil määral mis saavutus

üks eesmärk etteantud vahenditega aitab kaasa teiste eesmärkide saavutamisele.

Töötlemise põhjal saadud hinnangud on juhuslikud objektid, seega on töötlusprotseduuri üheks oluliseks ülesandeks nende usaldusväärsuse määramine. Selle probleemi lahendamisele tuleks pöörata asjakohast tähelepanu.

Uuringu tulemuste töötlemine on aeganõudev protsess. Hinnangute ja nende usaldusväärsuse näitajate käsitsi arvutamine on seotud suurte tööjõukuludega isegi lihtsate tellimisprobleemide lahendamise korral. Sellega seoses on soovitatav kasutada arvutitehnoloogiat. Arvutite kasutamine tõstatab probleemiks eksperthinnangu tulemuste töötlemise algoritme rakendavate arvutiprogrammide väljatöötamise.

Objektide rühmahindamine

Mõelge objektide komplekti eksperthinnangu tulemuste töötlemise algoritmidele. Laske m ekspertidel hinnata n objekti l näitaja järgi. Hindamistulemused esitatakse väärtustena, kus j on eksperdi number, i on objekti number, h on võrdlusnäitaja (atribuudi) number. Kui objektide hindamine toimub järjestusmeetodil, siis on väärtused auastmed. Kui objektide hindamine toimub otsese hindamise meetodil või järjestikuse võrdluse meetodil, siis on väärtused arvud numbritelje teatud segmendist või punktidest. Hindamistulemuste töötlemine sõltub oluliselt vaadeldavatest mõõtmismeetoditest.

Mõelge esmalt juhtumile, kui kogused

(i = 1, …, n; j = 1, 2, …, m; h = 1, 2, …, l)

saadud otsese hindamise või järjestikuse võrdluse meetoditega, s.o. on numbrid või punktid. Objektide rühmahinnangu saamiseks võite sel juhul kasutada iga objekti hinnangu keskmist väärtust:

(i = 1, 2,…, n), (12.12)

kus q hj on objektide võrdlemise näitajate kaalukoefitsiendid, k j on eksperdipädevuse koefitsiendid.

Näitajate kaalukoefitsiendid ja objektide pädevus on standardväärtused:

Näitajate kaalukoefitsiendid saab määrata ekspert. Kui q hj on j-nda eksperdi antud h-nda näitaja kaalukoefitsient, siis on h-nda näitaja keskmine kaalukoefitsient kõigi ekspertide puhul võrdne:

(h = 1, 2, …, l). (12.14)

Eksperdipädevuse koefitsiente saab arvutada tagantjärele andmetest, s.o. vastavalt objektide hindamise tulemustele. Selle arvutuse põhiidee seisneb eelduses, et ekspertide pädevust tuleks hinnata nende hinnangute vastavuse astmele objektide rühmahinnanguga.

Astesumma meetod

Auastmete summade meetod seisneb objektide järjestamises vastavalt iga objekti poolt kõigilt ekspertidelt saadud auastmete summade väärtustele. Pingerea maatriksi jaoks || rij|| tehakse summad:

r1< r 2 < …< r n .

Näiteks viie objekti järjestuse tulemused viie eksperdi poolt on toodud tabelis 12.2.

Tabel 12.2 Viie objekti järjestuse tulemused viie eksperdi poolt

Kõikide objektide järjestuste summade arvutamise tulemused on toodud tabeli 12.2 viimasel real.

r2< r 1 < r 3 < r 4 < r 5 .

Siit järgneb üldine paremusjärjestus:

O 2 O 1 O 3 O 4 O 5. (12.16)

Selles näites vaatleme juhtumit, kui objektide vaheline suhe on range järjekorra suhe. Kui on olemas ka ekvivalentsusseos, siis üldistatud pingerea koostamise protseduur astmete summa järgi ei muutu.

Ekspertide pädevuse arvestamiseks piisab iga i-nda edetabeli korrutamisest j-nda eksperdi pädevuskoefitsiendiga:

Sel juhul arvutatakse i-nda objekti auastmete summa järgmise valemi abil:

(i = 1, 2, …, n). (12.17)

Üldine paremusjärjestus, võttes arvesse ekspertide pädevust, põhineb kõikide objektide järgusummade järjestamisel.

Tuleb märkida, et üldistatud pingerea koostamine astmete summade järgi on õige protseduur, kui järgud on määratud objektide kohtadena naturaalarvude 1, 2, ..., n kujul. Kui auastmed omistatakse meelevaldselt, numbritena järjekorra skaalal, siis astmete summa üldiselt ei säilita teisenduse monotoonsuse tingimust ja seetõttu on võimalik saada erinevaid üldistatud järjestusi objektide erinevatele kaardistustele. numbriline süsteem. Objektide kohtade nummerdamist saab teha ainulaadsel viisil naturaalarvude abil.

Objektide paarisvõrdluse käsitlemine

Suure hulga objektide hindamise probleemi lahendamisel (järjestamisel, suhtelise kaalu määramisel, punktide määramisel) tekivad psühholoogilised raskused, kuna eksperdid tajuvad paljusid objektide omadusi. Eksperdid lahendavad suhteliselt lihtsalt objektide paarilise võrdlemise probleemi. Tekib küsimus, kuidas saada paaripõhise võrdluse tulemuste põhjal hinnangut kogu objektide kogumile, ilma transitiivsuse tingimusi kehtestamata? Mõelge selle probleemi lahendamise algoritmile. Las t eksperdid hindavad kõiki objektipaare, andes arvulise hinnangu:

(12.18)

Kui paari О i , О j hindamisel rääkisid eelistuse О i О j poolt m i eksperdid, eelistuse О j О i poolt m j eksperdid ja m h eksperdid peavad neid objekte samaväärseteks, siis juhusliku suuruse (r ij) matemaatilise ootuse hinnang on võrdne:

. (12.19)

Ekspertide koguarv on:

m = m i + m h + m j .

Määrates siit m h ja asendades selle valemiga (12.19), saame:

(i, j = 1, 2, …, n). (12.20)

See on ilmne

x ij + x ji = 1.

Väärtuste komplekt x ij moodustab n × m maatriksi, mille põhjal on võimalik koostada kõigi objektide pingerida ja määrata objektide suhtelise tähtsuse koefitsiendid.

Suhtelise tähtsuse koefitsiendid võimaldavad määrata, mitu korda on üks objekt teisest objektist võrreldavate näitajate poolest parem. Olulisuse teguri saab arvutada valemi abil.

Eksperthinnangu meetodite abil lahendatavad prognoosiülesanded sisaldavad kahte formaalselt mitteseotud elementi: prognoosiobjekti arendamise võimalike variantide määratlemist ja nende hindamist. Ekspertmeetodite analüüs näitab "ajurünnaku" kasutamise otstarbekust võimalike arendusvõimaluste väljaselgitamiseks. Nende kasutamine võimaldab saada lühikese aja jooksul produktiivseid tulemusi ja kaasata kõik eksperdid aktiivsesse loomeprotsessi.

"Ajujahi" meetodeid saab liigitada vastavalt sellele, kas juhi ja "ajurünnakus" osalejate vahel on mõne probleemolukorra lahendamise protsessis tagasiside olemasolu või puudumine. Tagasiside olemasolu võimaldab osalejatel keskenduda vaid võimalustele, mis on teatud kriteeriumide järgi kasulikud probleemolukorra lahendamiseks. Piirangute kunstliku sisseseadmisega kaotame aga võimaluse näha kogu lähenemiste mitmekesisust ja nii saab igatahes originaalseid mõtteid, millel on potentsiaalne, kuid hetkel realiseerimata väärtus. Tagasisidet pole, st. väidete maksimaalne stimuleerimine, hõlmab keeruka ja suuremahulise töö läbiviimist nende hindamise etapis. Praegune olukord nõudis ajurünnaku meetodi väljatöötamist, mis suudab kvalitatiivselt ja kiiresti hinnata võimalusi, piiramata nende arvu.

Selle meetodi olemus seisneb spetsialistide loomingulise potentsiaali aktualiseerimises probleemsituatsiooni "ajurünnaku" käigus, mille käigus esmalt rakendatakse ideede genereerimist ja sellele järgnevat nende ideede hävitamist (hävitamist, kritiseerimist) koos vastulausete sõnastusega. ideid. "Ajujahi" meetodiga töötamine hõlmab järgmise kuue etapi rakendamist.

Esimene aste- "ajurünnakul" osalejate rühma moodustamine (suuruse ja koosseisu poolest). Osalejate grupi optimaalne suurus leitakse empiiriliselt: 10-15-liikmelised rühmad tunnistatakse kõige produktiivsemateks. Osalejate rühma koosseis eeldab nende sihipärast valikut: 1) ligikaudu sama auastmega isikute hulgast, kui osalejad tunnevad üksteist; 2) erineva auastmega isikutelt, kui osalejad ei ole omavahel tuttavad (sel juhul tuleb iga osaleja tasandada, määrates talle numbri, millele järgneb osaleja poole pöördumine numbri järgi). Mis puudutab osaleja spetsialiseerumisvajadust probleemsituatsiooni valdkonnas, siis see tingimus ei ole kohustuslik kõigile rühmaliikmetele. Veelgi enam, on väga soovitav, et rühma kuuluksid teiste teadmiste valdkondade spetsialistid, kellel on kõrge ülderuditsioon ja kes mõistavad probleemolukorra tähendust.

Teine faas- ajurünnakul osaleja probleemmärkme koostamine. Selle koostab probleemsituatsiooni analüüsi rühm ja see sisaldab selle meetodi kirjeldust ja probleemolukorra kirjeldust. See kirjeldus sisaldab: meetodi põhimõtet; tingimused, mis tagavad "ajurünnaku" suurima efektiivsuse, rünnaku tulemuste autorsuse; põhireeglid ründamiseks. Probleemsituatsiooni kirjeldus sisaldab: probleemolukorra põhjused; tekkinud probleemsituatsiooni põhjuste ja võimalike tagajärgede analüüs (soovitav on tagajärgedega liialdada, et oleks teravamalt tunda vastuolude lahendamise vajadust); maailmakogemuse analüüs sarnase probleemolukorra lahendamisel (kui see on olemas); olemasolevate probleemsituatsiooni lahendamise viiside klassifitseerimine (süstematiseerimine), probleemsituatsiooni formuleerimine keskse küsimuse vormis koos alamküsimuste hierarhiaga.

Kolmas etapp- ideede genereerimine. See algab sellega, et läbiviija paljastab probleemse märkuse sisu. Meetodi kirjeldust ennustades suunab läbiviija osalejate tähelepanu ajurünnaku reeglitele: 1) osalejate väited peavad olema selged ja kokkuvõtlikud; 2) skeptilised märkused ja eelnevate sõnavõttude kriitika ei ole lubatud; 3) igal osalejal on õigus esineda mitu korda, kuid mitte järjest; 4) ei ole lubatud järjest lugeda ideede nimekirja, mille saavad osalejad eelnevalt koostada. Probleemsituatsiooni sisu ümber jutustades suunab läbiviija osalejate tähelepanu põhiküsimusele. Koolitaja peaks oma kõne üles ehitama nii, et see ärataks osalejate psühholoogilise vastuvõtlikkuse, paneks nad tundma vajadust teha seda, mida ta neilt palub. Osalejate soovitud vastus on tahe sihipäraseks mõtlemiseks, mille eesmärk on probleemolukorra lahendamine.

Saatejuhi aktiivset tegevust eeldatakse alles "ajurünnaku" alguses. Kui osalejad on piisavalt elevil, on uute ideede väljamõtlemine spontaanne. Selle protsessi juht mängib passiivset rolli, reguleerides osalejaid vastavalt rünnaku reeglitele. Tuleb meeles pidada, et mida mitmekesisem ja suurem on väidete hulk, seda laiemalt ja sügavamalt käsitletavat teemat käsitletakse ning seda tõenäolisem on väärtuslike väidete ilmumine. Arvestades ülaltoodud asjaolu, peaks juht rünnaku ajal juhinduma järgmistest reeglitest:

Suunake osalejate tähelepanu probleemsituatsioonile, määrates raamistiku selle spetsiifilistele nõuetele ja väljendatud ideede terminoloogilisele rangusele;

Ära kuuluta valeks, ära mõista hukka ega lõpeta ühegi idee uurimist, s.t. kaaluma mis tahes ideed, olenemata selle ilmsest asjakohasusest või teostatavusest;

Tervitage ideede täiustamist või kombinatsiooni, andes kõigepealt sõna kõigile, kes soovivad rääkida seoses eelmise ettekandega;

Pakkuda osalejatele tuge ja julgustust, mis on vajalik nende piirangutest vabastamiseks;

Luua pingevaba õhkkond, aidates sellega kaasa rünnakus osalejate aktiviseerumisele.

Neljas etapp- generatsioonifaasis väljendatud ideede süstematiseerimine. Ideede süstematiseerimine probleemsituatsiooni analüüsi rühmas toimub järgmises järjestuses: koostatakse kõigist väljendatud ideedest nomenklatuurne loetelu; iga idee on sõnastatud üldkasutatavates terminites; tuvastatakse dubleerivad ja täiendavad ideed; dubleerivad ja (või) täiendavad ideed kombineeritakse ja sõnastatakse üheks kompleksseks ideeks; eristatakse märke, mille järgi saab ideid kombineerida; ideed kombineeritakse vastavalt valitud tunnustele rühmadesse; koostatakse ideede loend rühmade kaupa (igas grupis kirjutatakse ideed nende üldistuse järjekorras: üldisemast konkreetseks, üldisemaid ideid täiendades või arendades).

Viies etapp- süstematiseeritud ideede hävitamine (hävitamine, kriitika) (spetsiaalne protseduur ideede hindamiseks ajurünnaku protsessis praktilise teostatavuse tagamiseks, kui ajurünnakus osalejad kritiseerivad neid kõiki).

Hävitamisetapi põhireegel on käsitleda iga süstematiseeritud ideed ainult selle elluviimise takistuste seisukohalt, s.o. rünnakus osalejad esitasid argumente, mis lükkavad ümber süstematiseeritud idee. Eriti väärtuslik on asjaolu, et hävitamise käigus võib tekkida vastuidee, mis sõnastab olemasolevad piirangud ja teeb ettepaneku nende piirangute kaotamise võimalikkuse kohta.

Selle etapi ajurünnakus osalejate grupp koosneb arutluse all oleva valdkonna kõrgelt kvalifitseeritud spetsialistidest, selle arv ulatub 20-25 inimeseni ja selle kestvus on 1,5 tundi. Hävitamise protsess jätkub seni, kuni iga nimekirja süstematiseeritud ideed kritiseeritakse. Väljendatud kriitika ja vastumõtted on salvestatud magnetofonile.

Kuues etapp- kriitika hindamine ja praktikas rakendatavate ideede loetelu koostamine. Etapi elluviimist viib läbi probleemolukorra analüüsi rühm:

1. Koostatakse nimekiri kõigist hävitamisetapis saadud kriitikatest. Vajadusel kriitilisi kommentaare täpsustatakse, dubleerivad jäetakse kõrvale.

2. Koostatakse ideede süstematiseerimise ja hävitamise etappide koondtabel, samuti ideede praktilise rakendatavuse näitajate loetelu (need näitajad on igal konkreetsel juhul spetsiifilised ja sõltuvad konkreetsest probleemsituatsioonist). Tabeli esimene veerg - ideede süstematiseerimise etapi tulemused; teine ​​- ideid ümber lükkavad kriitilised märkused; kolmas - ideede praktilise rakendatavuse näitajad; neljas - hävitamise staadiumis väljendatud vastuideed.

3. Iga kriitilist märkust ja vastumõtet hinnatakse:

a) jäetakse tabelist välja, kui see on ümber lükatud vähemalt ühe praktilise kohaldatavuse näitajaga;

b) ei kustutata, kui seda ei lükka ümber ükski näitaja.

4. Koostatakse ideede lõplik nimekiri; nimekirja kantakse vaid need ideed, mida kriitilised märkused ümber ei lükka ja tabelisse jäävad, samuti vastuideed.

Kollektiivne ideede genereerimise meetod on praktikas testitud ja võimaldab leida grupilahenduse prognoosiobjekti arendamise võimalike variantide määramisel, välistades kompromisside tee, kui konsensust ei saa pidada erapooletu analüüsi tulemuseks. probleem.

Delphi meetod. Viimasel kahel aastakümnel on loodud eraldi meetodid, mis võimaldavad teatud määral korraldada ekspertekspertide arvamuste statistilist töötlemist ja saavutada enam-vähem kokkulepitud arvamus. Delphi meetod on tuleviku vastastikuse eksperdihinnangu üks levinumaid meetodeid, st. ekspertennustus. Selle meetodi töötas välja Ameerika uurimiskorporatsioon RAND ja see aitab kindlaks teha ja hinnata teatud sündmuste tõenäosust.

Delphi meetod põhineb järgmisel põhimõttel: ebatäpsetes teadustes peavad ekspertarvamused ja subjektiivsed hinnangud tingimata asendama loodusteadustes kajastatud täpseid põhjuslikkuse seadusi.

Delphi meetod võimaldab üldistada üksikute ekspertide arvamused kokkulepitud grupiarvamuseks. Sellel on kõik eksperthinnangute põhjal üles ehitatud prognooside puudused. RAND Corporationi poolt selle süsteemi täiustamiseks tehtud töö on aga oluliselt suurendanud prognoosimise paindlikkust, kiirust ja täpsust.

Delphi meetodit iseloomustavad kolm tunnust, mis eristavad seda tavapärastest ekspertide rühmatöö meetoditest. Need omadused hõlmavad järgmist: a) ekspertide anonüümsus; b) eelmise küsitlusvooru tulemuste kasutamine; c) rühma vastuse statistilised omadused.

Anonüümsus seisneb selles, et prognoositava nähtuse, objekti, ekspertgrupi osalejate eksperthinnangu menetluse käigus on üksteisele tundmatud. Samal ajal on täielikult välistatud grupiliikmete suhtlemine küsimustike täitmisel. Selle väite tulemusena saab vastuse autor oma meelt muuta ilma seda avalikult teatamata.

Küsitluse eelmise vooru tulemuste kasutamine on järgmine: kuna grupi interaktsioon toimub otse küsimustikule vastamise kaudu, siis Delphi meetodil uuringut läbi viiv spetsialist või organisatsioon võtab ankeetidest välja ainult selle probleemiga seotud teabe. . Spetsialiseerunud prognoosija võtab iga vaatenurga puhul arvesse ekspertide arvamust "poolt" ja "vastu". Selle süsteemi toimimise peamine tulemus on takistada rühmal oma eesmärke ja eesmärke vastu võtmast. See süsteem võimaldab spetsialistide rühmal koondada oma jõupingutused algülesannetele, mitte võtta iga kord midagi uut.

Rühma vastuse statistiline tunnus on see, et spetsialistide rühm teeb prognoosi, mis sisaldab ainult eksperdi enamuse seisukohta, s.o. seisukoht, millega enamus grupist võiks nõustuda. Vaevalt saab aga viidata sellele, kui suur on arvamuste erinevus grupi liikmete vahel. Selle asemel kasutab Delphi meetod vastuse statistilisi karakteristikuid, mis hõlmavad kogu rühma arvamust. Mediaani koostamisel võetakse arvesse iga rühmasisest vastust ning vastuste hajumise suurust iseloomustab kvartiilide vaheline intervall. Teisisõnu, grupi vastust saab esitada mediaanina ja kahe kvartiilina, s.o. sellise arvu näol, mille hinnangul pooled grupiliikmed olid sellest arvust rohkem ja teine ​​pool vähem. Delphi meetod võimaldab žüriiliikmetel tõhusalt suhelda, kuigi selle suhtluse tulemusi kontrollib grupijuht argumentide summeerimise teel. Žüriiliikmed muudavad oma hinnanguid just siis, kui kolleegide argumendid on veenvad, vastasel juhul jäävad nad kangekaelselt oma vastandlikele seisukohtadele kinni.

Delphi meetod on teostatav ja efektiivne, et saada kasu grupi osalemisest prognoosi koostamisel; samal ajal minimeerib või kõrvaldab see meetod enamiku komisjoni tööga seotud raskustest, kuigi see võib nõuda rohkem aega kui liikmete isikliku suhtlusega komisjon, eriti kui küsitlus toimub posti teel.

Delphi meetodi väljatöötamisel rakendatakse ristkorrektsiooni. Tulevikusündmust esitletakse kui tohutut ühendatud ja ristuvate arenguteede kogumit.

Esitades teaduslike ja tehnoloogiliste nihkete prognoosi kui D 1 , D 2 , ..., D n ja vastavad tõenäosused P 1 , P 2 , ..., P n ja eeldades, et P 1 = 100%, leia muutused P 2, ..., Рi, …, Рn väärtused.

Ristkorrelatsiooni kasutuselevõtuga muutuvad iga sündmuse väärtused teatud seoste tõttu positiivselt või negatiivselt, kohandades seeläbi vaadeldavate sündmuste tõenäosust. Mudeli edaspidiseks vastavuseks tegelikele tingimustele saab mudelisse sisse viia juhuslikkuse elemente.

Prognooside koostamise eksperthinnangumeetodite olemus on määrata kindlaks ekspertarvamuste järjepidevus prognoosiobjekti arendamise perspektiivsete suundade kohta, mis on eelnevalt sõnastatud üksikute spetsialistide poolt, samuti objekti arendamise aspektide hindamisel, ei saa määrata muude meetoditega (näiteks analüütiline arvutus, katse jne).

I. Rühmade loomine. Eksperthinnangute korraldamiseks luuakse töörühmad, mille ülesanneteks on küsitluse läbiviimine, materjalide töötlemine ja kollektiivse eksperthinnangu tulemuste analüüsimine. Töörühm nimetab ametisse eksperdid, kes annavad vastused küsimustele selle valdkonna arenguperspektiivide kohta. Prognoosi koostamisse kaasatud ekspertide arv võib olenevalt objekti keerukusest varieeruda 10-150 inimeseni.

II. Süsteemi globaalse eesmärgi sõnastamine. Enne ekspertide küsitluse korraldamist on vaja selgeks teha objekti arengu põhisuunad, samuti koostada maatriks, mis kajastab üldist eesmärki, alaeesmärke ja vahendeid nende saavutamiseks. Ühtlasi selgitatakse eelanalüüsi käigus koos spetsialistide rühmaga välja olulisemad eesmärgid ja alaeesmärgid probleemi lahendamiseks. Eesmärgi saavutamise vahendite all mõistetakse teadusliku uurimis- ja arendustegevuse valdkondi, mille tulemusi saab eesmärgi saavutamiseks kasutada. Samas ei tohiks teadusliku uurimis- ja arendustegevuse suunad omavahel ristuda.

III. Küsimustiku väljatöötamine. See seisneb ekspertidele esitatavate küsimuste väljatöötamises. Küsimuse vormi saab arendada tabelite kujul, kuid nende sisu peaks määrama ennustatava objekti või tööstusharu spetsiifika. Samas tuleks küsimused koostada kindla struktuur-hierarhilise skeemi järgi, s.t. laiast kitsani, keerulisest lihtsani.

Ekspertide küsitluse läbiviimisel on vaja tagada üksikküsimuste mõistmise üheselt mõistetavus, samuti ekspertide hinnangute sõltumatus.

IV. Eksperthinnangu arvutamine. Vajalik on läbi töötada eksperthinnangute materjalid, mis iseloomustavad üldistatud arvamust ja ekspertide üksikute hinnangute kooskõla astet. Eksperthinnangu andmete töötlemine on lähtematerjaliks prognoositavate hüpoteeside ja tööstuse arenguvõimaluste sünteesimisel.

Lõplik kvantitatiivne hinnang määratakse nelja peamise eksperdihinnangu meetodi ja paljude nende variantide abil:

1) lihtne järjestusmeetod (või eelistusmeetod);

2) kaalukoefitsientide määramise meetod;

3) paarisvõrdluse meetod;

4) järjestikuste võrdluste meetod.

Lihtne järjestamise meetod on see, et igal eksperdil palutakse funktsioonid eelistusjärjekorras järjestada. Number üks tähistab kõige olulisemat tunnust, number kaks tähistab tähtsuselt järgmist jne. Saadud andmed on kokku võetud järgmises tabelis.

Tabel 2.1 Eksperthinnangud märkide kohta (uuringusuunad)

Selle funktsiooni eelistusjärjekord teiste suhtes.

Seejärel saadakse matemaatilise statistika meetodeid kasutades ekspertide üldistatud arvamus. Määratakse keskmine järjestus, j-nda tunnuse keskmine statistiline väärtus S j:

kus m kj on j-ndat omadust hindavate ekspertide arv (m k m);

i - eksperdi number; i = 1,…,m;

j - tunnuse arv, j = 1,2,…,n.

Määratakse iga funktsiooni keskmine asetus. Mida väiksem on S j väärtus, seda suurem on selle tunnuse tähtsus.

Et saaks öelda, kas auastmete jaotus on juhuslik või on ekspertide arvamustes järjepidevus, arvutatakse kokku vastavuskoefitsient, mille tutvustas M. Kendall.

Funktsioonide komplekti keskmine järjestus määratakse:

Arvutatakse j-nda tunnuse keskmise järgu hälve d j üldkogumi keskmisest järgust:

Määratakse ekspertide poolt j-ndale tunnusele omistatud identsete astmete arv - t q .

Määratakse identsete auastmetega rühmade arv - Q. Vastavuskordaja määratakse valemiga:

,(2.4)

,(2.5)

Koefitsient võib võtta väärtusi vahemikus 0 kuni 1. Ekspertide arvamustega täielikult nõustudes on vastavuskoefitsient võrdne ühega, täieliku lahkarvamuse korral null. Kõige realistlikum on ekspertide arvamuste osaline kokkulangemine.

Ekspertide arvamuste konsensuse kasvades suureneb ka vastavuse koefitsient ja piirmääras kaldub ühtsus. Kuid isegi kui see on võrdne nulliga või nullilähedane, ei ole alati täielikku lahkarvamust. Hästi kooskõlastatud arvamustega ekspertide hulgas võib olla rühmitusi, kuid need arvamused on vastandlikud ja üldiselt neutraliseerivad üksteist. Sel juhul tuleks nende rühmade tuvastamiseks teha kobar- või kombineeritud analüüs.

Lihtsa järjestusmeetodi eelised:

1) hinnangute saamise korra võrdlev lihtsus;

2) sama tunnuste kogumi hindamisel teiste meetoditega võrreldes väiksem ekspertide arv.

Selle puuduseks on see, et:

1) peab teadlikult hinnete jaotust ühtlaseks;

2) samuti eeldatakse tunnuste tähtsuse vähenemist ühtlaseks, samas kui praktikas seda ei juhtu.

Kaalumise meetod on määrata kõikidele funktsioonidele kaalud. Kaalukoefitsiente saab sisestada kahel viisil:

1) kõikidele tunnustele määratakse kaalukoefitsiendid nii, et koefitsientide summa võrdub mõne kindla arvuga (näiteks üks, kümme või sada);

2) kõigist märkidest kõige olulisemale antakse kaalukoefitsient, mis on võrdne mõne fikseeritud arvuga, ja kõigile ülejäänutele antakse koefitsiendid, mis on võrdsed selle arvu murdosadega.

Ekspertide üldistatud arvamus saadakse ka matemaatilise statistika meetodeid kasutades valemite (2.1 - 2.5) järgi.

Järjestikuse võrdluse meetod on järgmine:

1) ekspert järjestab kõik tunnused tähtsuse kahanevas järjekorras: A 1 >A 2 >…> A n ;

2) omistab esimesele atribuudile väärtuse, mis on võrdne ühega: A 1 =1, määrab teistele atribuutidele kaalukoefitsiendid ühe murdosades;

3) võrdleb esimese tunnuse väärtust kõigi järgnevate summaga.

Valikuid on kolm:

A 1 >A 2 + A 3 + … + A n

A 1 \u003d A 2 + A 3 + ... + A n

A 1< A 2 + A 3 + …+ A n

Ekspert valib enda arvates sobivaima variandi ja viib sellega kooskõlla hinnangu esimesele sündmusele;

4) võrdleb esimese tunnuse väärtust kõigi järgnevate tunnuste summaga, millest on lahutatud uusim tunnus.

Toob esimese tunnuse hinnangu vastavalt kolme valiku hulgast valitud ebavõrdsusele:

A 1 > A 2 + A 3 + … + A n-1

A 1 = A 2 + A 3 + … + A n-1

A 1< A 2 + A 3 + … + A n-1

5) protseduuri korratakse seni, kuni A 1 võrreldakse A 2 + A 3-ga.

Pärast seda, kui ekspert on täpsustanud esimese tunnuse hinnangut vastavalt tema poolt kolme võimaliku hulgast valitud ebavõrdsusele:

A1 > A2 + A3

A 1< A 2 + A 3

ta jätkab teise tunnuse A 2 hinnangu täpsustamist sama skeemi järgi, mis esimese puhul, s.o. teise tunnuse punktisummat võrreldakse järgnevate summaga.

Selle eeliseks on see, et ekspert ise analüüsib oma hinnanguid tunnuste hindamise protsessis. Koefitsientide määramise asemel toimub nende koefitsientide loomise loominguline protsess.

Meetodi puudused on järgmised:

1) selle keerukus; väljaõppeta eksperdil on selle protseduuriga raske toime tulla; selle asemel, et oma esialgseid hinnanguid täpsustada, satub ta nendest segadusse;

2) mahukus; sama funktsioonide komplekti hindamiseks on vaja neli korda rohkem toiminguid kui lihtsa järjestamise meetodiga (teisisõnu, sama töö jaoks on vaja neli korda rohkem eksperte).

Paaripõhise võrdlemise meetod

Selle järgi võrreldakse kõiki märke omavahel paarikaupa. Paaripõhise võrdluse põhjal leitakse edasise töötlemise käigus iga atribuudi hinded.

Et asjatundjal oleks lihtsam võrrelda, kantakse tabelisse tunnused (A,B,C,…N) nii horisontaalselt kui ka vertikaalselt.

Ekspert täidab sellise tabeli lahtrid. Atribuudi võrdlemine iseendaga annab ühe. Esimesse lahtrisse kirjutab ekspert ühe, teise - esimese tunnuse teisega võrdlemise tulemuse, kolmandasse - esimese tunnuse võrdlemise tulemuse kolmandaga ja nii edasi. Teisele reale liikudes kirjutab ekspert esimesse lahtrisse teise tunnuse ja esimesega võrdlemise tulemuse, teise lahtrisse - ühe, kolmandasse - teise tunnuse võrdluse kolmandaga ja nii peal.

Diagonaali kohal olev tabelipool peegeldab alumist poolt. Et mitte tekitada segadust, mitte provotseerida asjatundjat arvutama ühte pool tabelit teisele, et vähendada toimingute arvu, on soovitatav täita ainult üks pool tabelist (diagonaalist kõrgemal või allpool). ). Seega esitatakse ekspertide vastused järgmise maatriksi kujul:

Pärast mitmeid matemaatilisi teisendusi saame iga funktsiooni kohta hinnangud A 1, A 2, ..., An eksperdi vaatevinklist. Kokkuvõtlikud tunnuste hinded saadakse kokkuvõtliku maatriksi identse töötlemisega, mille iga element on kõigi ekspertide antud tunnuste võrdluste summa.

Kogumaatriksil on vorm

m on antud tunnuste kogumit hindavate ekspertide arv;

- hinnanguliselt vastavalt 1, 2, …, j, …, m eksperti;

Kõikide ekspertide antud koondhinded.

Määrates kogumaatriksi dispersiooni ja kõrvutades seda sama elementide arvuga maatriksi maksimaalse võimaliku dispersiooniga, on võimalik määrata ekspertarvamuste kooskõla. Mida lähemal on kokkuvõtliku maatriksi dispersioon maksimaalsele võimalikule dispersioonile, seda suurem on arvamuste konsensus. Seega võimaldab paarisvõrdluse meetod läbi viia range, statistiliselt põhjendatud eksperdiarvamuste kooskõla analüüsi, et selgitada välja, kas saadud hinnangud on juhuslikud või mitte. Kahtlemata on paarisvõrdluse meetodi protseduur keerulisem kui lihtsa järjestamise meetod, kuid lihtsam kui järjestikuste võrdluste meetod.

Teatud tunnuste komplekti paarisvõrdlusmeetodil hindamiseks vajalike ekspertide arv on kaks korda suurem kui lihtsa järjestusmeetodi kasutamisel ja kaks korda väiksem kui järjestikuse võrdlusmeetodi kasutamisel.

Praegu pakutakse paljudes eksperthinnangute läbiviimise meetodites koefitsienti eksperdipädevuse näitajana:

, (2.6)

kus on eksperdipädevuse koefitsient;

Arutatava probleemi eksperdi tundmise koefitsient;

Põhjendustegur.

Uurimissuuna tundmise astme koefitsient määratakse eksperdi enesehinnanguga kümnepallisel skaalal. Enesehindamise hinded on järgmised:

0 - ekspert ei ole probleemiga kursis;

1,2,3 - ekspert ei ole teemaga kursis, kuid küsimus on tema huvide ulatuses;

4,5,6 - ekspert on probleemiga rahuldavalt kursis, ei osale otseselt küsimuse praktilises lahendamises;

7,8,9 - ekspert on probleemiga hästi kursis, osaleb küsimuse praktilises lahendamises;

10 - küsimus sisaldub eksperdi kitsa spetsialiseerumise ringis.

Eksperdil palutakse hinnata, kuivõrd ta on asjaga kursis, ja alla kriipsutada sobiva hinde. Seejärel korrutatakse see skoor 0,1-ga ja saame koefitsiendi.

Põhjenduskoefitsient võtab arvesse nende argumentide struktuuri, mis olid eksperdi teatud hinnangu aluseks. Põhjenduskoefitsient soovitatakse määrata vastavalt tabelile 2.2, liites eksperdi poolt selle tabeli lahtritesse märgitud väärtused.

Olles määranud pädevuskoefitsiendi, korrutage sellega eksperthinnangute väärtus.

Tabel 2.2 Põhjenduskoefitsiendi väärtused

Eksperthinnangute töötlemise peamised etapid:

ekspertide pädevuse määramine;

üldhinnangu määratlemine;

objektide üldistatud pingerea koostamine mitme hinnatud objekti või alternatiivi puhul);

pingerea vaheliste sõltuvuste määramine;

Ekspertarvamuste kooskõla hindamine. Ekspertidevahelise olulise kokkuleppe puudumisel on vaja välja selgitada vastuolu põhjused (rühmade olemasolu) ja tunnistada kokkulepitud arvamuse puudumist (ebaolulised tulemused);

uurimisvea hindamine;

objekti (objektide) omaduste mudeli ehitamine ekspertide vastuste põhjal (analüütiliseks ekspertiisiks);

aruande koostamine (näidates ära uuringu eesmärgi, ekspertide koosseisu, hinnangu ja tulemuste analüüsi).

26. Ekspertide valik ja nende küsitlus.

Sageli tehakse ettepanek kasutada ekspertide pädevuse vastastikuse hindamise ja enesehindamise meetodeid. Ühest küljest, kes tunneks eksperdi võimeid paremini kui tema ise? Teisalt hindab pädevuse enesehinnang pigem eksperdi enesekindluse astet kui tema tegelikku pädevust. Veelgi enam, mõiste "pädevus" ei ole rangelt määratletud. Seda saab täpsustada komponentide esiletoomisega, kuid see raskendab ekspertkomisjoni töö eelosa.

Vastastikuse hindamise meetodi kasutamisel mängib lisaks isikliku ja grupi meeldimise ja mittemeeldimise väljanäitamise võimalusele rolli ka ekspertide teadmatus üksteise võimete suhtes. Kaasaegsetes tingimustes saavad üksteise töö ja võimalustega üsna hästi kursis olla vaid aastaid koos töötanud spetsialistid. Selliste spetsialistide paaride kaasamine pole aga kuigi asjakohane, kuna nad on üksteisega liiga sarnased.

Formaalsete näitajate (ametikoht, akadeemiline kraad ja ametinimetus, staaž, publikatsioonide arv...) kasutamine võib ilmselt olla abistava iseloomuga. Varasematel uuringutel osalemise edukus on hea kriteerium degusteerija, arsti, kohtuniku tegevusele spordivõistlustel, s.o. eksperdid, kes osalevad paljudes sarnastes uuringutes. Kuid paraku on kõige huvitavam ja olulisem suurte projektide ainulaadne ekspertiis, millel pole analooge.

Kui ekspertküsitluse protseduur hõlmab ekspertide ühist tööd, on nende isikuomadused väga olulised. Üks "rääkija" võib halvata kogu komisjoni tegevuse. Sellistel juhtudel on oluline järgida WG poolt välja töötatud tööreegleid.

On olemas kasulik "lumepalli" meetod, kus igalt eksperdina kaasatud spetsialistilt hangitakse mitu nime, kes võivad olla vaadeldava teema ekspert. Ilmselgelt on osa neist perekonnanimedest WG tegevuses varem kohtunud ja mõned on uued. Loendi laiendamise protsess peatub, kui uusi perekonnanimesid enam ei tule. Tulemuseks on üsna ulatuslik nimekiri võimalikest ekspertidest. On selge, et kui esimesel etapil olid kõik eksperdid samast "klannist", siis "lumepalli" meetod annab suure tõenäosusega selle "klanni" inimesi, teiste "klannide" arvamused ja argumendid jäävad ilma.

Tuleb rõhutada, et ekspertide valimine on lõppkokkuvõttes töörühma ülesanne ja ükski valikumeetod ei vabasta tema vastutust. Teisisõnu, just töörühm vastutab ekspertide pädevuse eest, nende põhimõttelise suutlikkuse eest probleemi lahendada. Oluline nõue on, et otsustaja peab ekspertide nimekirja kinnitama.

Ekspertkomisjonide tegevust teatud valdkondades reguleerivad mitmed normdokumendid. Näiteks võib tuua Vene Föderatsiooni 23. novembri 1995. aasta ökoloogilise ekspertiisi seaduse, mis reguleerib "kavandatava majandus- või muu tegevuse" kontrollimise korda, et teha kindlaks võimalik kahju, mida kõnealune tegevus võib põhjustada looduskeskkond.

27. Ekspertidelt saadud teabe töötlemine, selle järjepidevuse ja usaldusväärsuse kontrollimine.

Eksperthinnanguid nimetatakse teaduslike uurimismeetodite üldrühma meetoditeks, mida kasutatakse keerukate süsteemide kvalitatiivsel tasemel hindamiseks.

Eksperthinnangu kasutamisel eeldatakse tavaliselt, et ekspertide rühma arvamus on usaldusväärsem kui üksikeksperdi arvamus. Mõned teoreetilised uuringud märgivad, et see eeldus ei ole ilmne, kuid samal ajal väidetakse, et teatud nõuete kohaselt on rühmahinnangud enamikul juhtudel usaldusväärsemad kui individuaalsed. Seetõttu on ekspertküsitluste korraldamisel oluline kehtestada teatud reeglid ning kasutada eksperthinnangute saamiseks ja töötlemiseks sobivaid meetodeid.

Ekspertküsitluste korraldamise algoritm sisaldab etappe, milles käsitletakse järgmisi küsimusi:

· ekspertrühmade moodustamise probleemid, sh nõuded ekspertidele, rühmade suurused, ekspertide koolitamise küsimused, nende pädevuse hindamine;

ekspertküsitluse vormid (erinevad ankeedid, intervjuud, küsitluse segavormid) ja küsitluse korraldamise meetodid (sh küsitlusmeetodid, ajurünnak, ärimängud jne);

Hindamisviisid (järjestus, normaliseerimine, mitmesugused järjestamise tüübid, sh eelistusmeetodid, paarisvõrdlused jne);

eksperthinnangute töötlemise meetodid;

Eksperdiarvamuste järjepidevuse, eksperthinnangute usaldusväärsuse määramise meetodid (sh dispersiooni hindamise statistilised meetodid, antud hinnangumuutuste vahemiku tõenäosused, Kendall, Spearmani järgu korrelatsioon, vastavuskordaja jne) ja meetodid järjepidevuse parandamiseks. hinnangud asjakohaste tulemuste töötlemise meetodite abil ekspertuuringu;

· Saadud tulemuste tõlgendamise variandid.

Selle või teise meetodi rakendamise otstarbekuse määrab analüüsitava probleemi iseloom, kasutatav teave.

Kui õigustatud on vaid objektide kvalitatiivne hindamine teatud kvalitatiivsete tunnuste järgi, siis kasutatakse järjestamise, paaris- ja mitmevõrdluse meetodeid. Kui analüüsitava teabe olemus on selline, et on soovitatav saada objektide arvulisi hinnanguid, võib kasutada üht või teist meetodit, alates otsestest numbrilistest hinnangutest skaala abil kuni peenemate järjestikuse võrdluse meetoditeni, näiteks Churchman-Akoff. .

läbivaatuse protseduurid

Uuringute käigus võib esineda vigu - hinnangute kallutatust, mis tuleneb ekspertarvamuste kogumise ja analüüsimise protseduurist. Seetõttu pööravad ekspertmeetodite valdkonna spetsialistid suurt tähelepanu uuringute ettevalmistamise ja läbiviimise usaldusväärsete reeglite väljatöötamisele. Kõige olulisemad reeglid ja eksamite etapid on käsitletud allpool.

Eksami ettevalmistamiseks tuleks moodustada spetsialistide-korraldajate rühm. See rühm on kutsutud looma tingimused ekspertide tõhusaks tegevuseks, töötama välja uuritava probleemi olemusele kõige sobivama ekspertiisiprotseduuri. Rühma ülesannete hulka kuuluvad:

· Probleemi püstitus, eksami eesmärkide ja eesmärkide määramine, selle piirid, põhietapid;

· Eksamikorra väljatöötamine;

Ekspertide valik, nende pädevuse kontrollimine ja ekspertrühmade moodustamine:

· Küsitluse läbiviimine ja hinnangute kokkuleppimine;

· Saadud info vormistamine, selle töötlemine, analüüs ja tõlgendamine.

Ekspertide rühma suurus ei tohiks olla väike, kuna sel juhul kaob eksperthinnangute kujundamise mõte. Lisaks mõjutaks iga eksperdi skoor tugevalt rühmade hindeid. Samas väga suure ekspertide arvu juures ei oma igaühe hinnang grupihinnangule peaaegu mingit mõju. Eksperdirühma suuruse suurendamine ei suurenda alati hinnangute usaldusväärsust, sest sageli on ekspertide rühma laiendamine võimalik vaid madala kvalifikatsiooniga spetsialistide kaasamisega. Ekspertide arvu kasvades suurenevad ka küsitluse tulemuste töötlemise ja grupi töö koordineerimisega seotud raskused.

Enne ekspertuuringut tuleks välja töötada selle läbiviimise ja korraldamise eeskirjad, mis sisaldavad mitmeid sätteid, mis on kohustuslikud kõigile ekspertidele. Need eeskirjad peaksid tagama, et järgitakse tingimusi, mis soodustavad ekspertide objektiivse arvamuse kujundamist. Need tingimused hõlmavad järgmist:

· Ekspertide moodustamise sõltumatus hinnatavate sündmuste kohta oma arvamusest;

· vastuste anonüümsuse säilitamine;

· eeldatavate sündmuste kollektiivsete arutelude pidamise võimalus;

Nõutava teabe pakkumine ekspertidele.

Olenevalt probleemi olulisusest ja keerukusest ning vastavalt korraldajate grupile pandud ülesannetest kuulub sellesse kuni viis kuni seitse inimest – selle valdkonna (teadmiste valdkondade) spetsialistid, samuti ekspertmeetodite spetsialistid (sotsioloogid). , psühholoogid, matemaatikud).

Eksami ettevalmistamine algab probleemipüstituses. Selleks tutvutakse ennekõike probleemi tausta ja olekuga, tehakse kindlaks selle koht ja tähendus. Pärast seda viiakse läbi probleemi esialgne analüüs, selgitatakse välja kõik välised ja sisemised seosed ning määratakse kaalutlusse kaasatud materjali piirid. Selleks esitasid eksami korraldajad keskse küsimuse, mis moodustab probleemi olemuse, ja seejärel “jagasid” selle alaküsimusteks, piirates samal ajal vaid nende alamküsimustega, ilma vastusteta. millele kesksele küsimusele vastust saada on võimatu.

Keeruliste sotsiaalmajanduslike ning teaduslike ja tehniliste probleemide lahendamisel viitavad eri teadmusharusid esindavad eksperdid erinevate distsipliinide mõistetele. Seetõttu on vaja sõnastada põhimõisted. läbivaatuses kasutatud.

Olenevalt eksami eesmärkidest ja eesmärkidest, sellel osalevate spetsialistide valikust valivad eksami korraldajad küsitlusmeetod: individuaalne või rühm (kollektiiv), isiklik (täistööaeg) või kirjavahetus, suuline või kirjalik.

Olenemata sellest, kas räägime ankeedist või intervjuust, toimub küsitluse aluseks ankeet, mille abil kogutakse vajalikku infot. Eksami eesmärgi ja ülesande tõlkimine küsimuste keelde nõuab eksami korraldajatelt keerulist ja vaevarikast tööd, eri tüüpi küsimuste tundmist, oskust neid täpselt sõnastada, kindlasse järjestusse seada.

Küsimustik on struktuurselt organiseeritud küsimuste kogum, millest igaüks on loogiliselt seotud eksami keskse ülesandega. Kõik küsimustiku küsimused võib olenevalt nende sisust jagada kolme rühma: andmed eksperdi enda kohta (tema vanus, ametikoht, töökogemus, haridus, teaduslik nimetus, kitsas eriala jne); küsimused uuritava probleemi sisukuse kohta; küsimusi hindamaks motiive, millest ekspert oma analüüsis kinni pidas.

Vormi järgi on küsimused avatud, suletud ja poolsuletud; otsene ja kaudne. Küsimus loetakse avatuks (tasuta), kui sellele saab vastata mis tahes kujul ja see ei ole millegagi reguleeritud, suletuks - kui selle sõnastus sisaldab võimalike vastuste variante ning ekspert peab valima ühe või mitu; poolsuletud, kui loetelus on ette nähtud lisakommentaaride võimalus.

Küsimusi, millele antakse eksperthinnang, on kolme tüüpi - küsimused, mille vastused sisaldavad kvantitatiivset hinnangut (1), sisukat vastust nõudvad kokkuvõtlikul (2) ja laiendatud kujul (3).

Eksamil osalevate ekspertide valiku töö algab tavaliselt uuritava valdkonna pädevate isikute nimekirja koostamisest. See nimekiri on aluseks ekspertide valikul, kasutades nende omaduste hindamiseks spetsiaalseid meetodeid. Selliseid meetodeid on neli peamist rühma: enesehindamine; hinnangud iga spetsialisti rühma poolt; hinnang, mis põhineb eksperdi varasema tegevuse tulemustel; eksperdikandidaatide pädevuse hindamise meetodid.

©2015-2019 sait
Kõik õigused kuuluvad nende autoritele. See sait ei pretendeeri autorlusele, kuid pakub tasuta kasutamist.
Lehe loomise kuupäev: 2016-04-27

Eksperthinnangu liigid

Eksperthinnangu meetodi olemus seisneb selles, et eksperdid viivad läbi probleemi intuitiivse-loogilise analüüsi koos otsuste kvantitatiivse hindamise ja tulemuste formaalse töötlemisega. Töötlemise tulemusena saadud ekspertide üldistatud arvamus aktsepteeritakse probleemi lahendusena.

Eksperthinnangu meetodi kui keerukate mitteametlike probleemide lahendamise teadusliku vahendi iseloomulikud tunnused on järgmised:

eksami kõikide etappide teaduslikult põhjendatud korraldus, tagades igas etapis töö suurima efektiivsuse;

· kvantitatiivsete meetodite kasutamine nii ekspertiisi korraldamisel kui ka ekspertide hinnangute hindamisel ja tulemuste formaalsel rühmatöötlemisel.

Spetsiaalne vastastikuse eksperdihinnangu meetod on ekspertküsitlus – küsitluse liik, kus vastajateks on eksperdid – teatud tegevusvaldkonna kõrgelt kvalifitseeritud spetsialistid.

Ekspert on pädev isik, kellel on uurimisobjekti või uurimisobjekti kohta sügavad teadmised.

Meetod eeldab spetsialistide kompetentset osalemist vaadeldava probleemi analüüsis ja lahendamises.

Psühholoogiliste ja sotsioloogiliste uuringute praktikas kasutatakse seda:

konkreetse nähtuse arengu prognoosimine;

mis tahes nähtuse olemasoleva seisundi hindamine;

uurimisprobleemi kohta eelinfo kogumine (sondeerimine);

õpilaste psühholoogiliste ja pedagoogiliste omaduste hindamine;

meeskondlikud hinnangud;

Personali sertifitseerimine (ekspertidena tegutsevad meeskonna juhid, ühiskondlikud organisatsioonid või spetsiaalne sertifitseerimiskomisjon).

Vastastikuse eksperdihinnangu meetodi eelised

Diagnoosi puudutavaid otsuseid tehes eeldame tavaliselt, et seda toetav teave on kehtiv ja usaldusväärne. Kuid paljude pedagoogiliste ja psühholoogiliste probleemide puhul ei saa seda eeldust tõestada. Praktika näitab, et peamised raskused, mis tekivad erinevaid psühholoogilisi olukordi puudutavate lahenduste otsimisel ja valikul, tulenevad eelkõige olemasoleva statistilise informatsiooni ebapiisavalt kõrgest kvaliteedist ja mittetäielikkusest või selle saamise põhimõttelisest võimatusest. Siis tuleb appi ekspertide meetod, mis võimaldab vaadata probleemi laiemalt ja näha võimalikku lahendust.

Eksperthinnangute põhjal tehtud hinnangute ja otsuste usaldusväärsus on küllalt kõrge ning sõltub suuresti saadud arvamuste kogumise, analüüsimise ja töötlemise menetluse korraldusest ja suunamisest. Ekspertgruppide küsitluse tulemused erinevad oluliselt komisjonide koosolekute arutelude tulemusena kujunenud otsustest, kus võib domineerida autoriteetsete või lihtsalt „kehtestavate“ osalejate arvamus. See ei tähenda, et konkreetse spetsialisti individuaalne arvamus või sellise komisjoni otsus poleks oluline. Kuid ekspertide rühmalt saadud õigesti töödeldud teave osutub reeglina usaldusväärsemaks ja usaldusväärsemaks.

Seda meetodit ei saa kasutada, kui:

Esialgne statistiline teave ei ole piisavalt usaldusväärne;

osa teabest on kvalitatiivset laadi ja seda ei saa kvantifitseerida;

Põhimõtteliselt saab vajalikku teavet hankida, kuid otsuse tegemise ajal pole see kättesaadav, kuna see on seotud suure aja- või rahainvesteeringuga;

On suur hulk tegureid, mis võivad tulevikus lahenduse rakendamist mõjutada, kuid neid ei saa täpselt ennustada.

Nõuded ekspertrühmale

Grupi eksperthinnangu usaldusväärsus sõltub ekspertide koguarvust rühmas, erinevate spetsialistide osakaalust rühmas ning ekspertide omadustest.

Keeruline probleem on eksperttunnuste süsteemi moodustamine, mis võib oluliselt mõjutada ekspertiisi käiku ja tulemusi. Need omadused peaksid kirjeldama spetsialisti spetsiifilisi omadusi ja võimalikke inimestevahelisi suhteid, mis uuringut mõjutavad.

Ekspertide valik, ekspertgruppide moodustamine on üsna keeruline ülesanne, mille tulemus määrab kõige suuremal määral meetodi efektiivsuse ja saadud lahenduste õigsuse. Spetsialistide valimine ekspertuuringus osalemiseks algab ülesande lahendamisega otseselt seotud teaduslike, tehniliste ja administratiivsete probleemide väljaselgitamisest.

Koostatakse nõutavatel aladel pädevate isikute nimekiri, mis on ekspertide valiku aluseks. Ekspert selle sõna täies tähenduses on aktiivne teadusuuringutes osaleja. Katse varjata tema eest uuringu eesmärki, muutes ta seeläbi passiivseks teabeallikaks, on täis usalduse kaotust uuringu korraldajate vastu.

Potentsiaalsete ekspertide rühma moodustamine algab "lumepalli" meetodiga. Pärast võimalike eksperdikandidaatide arvu hindamist otsustatakse ekspertrühma suuruse küsimus. Vaevalt on võimalik optimaalset arvu täpselt määrata, kuid on ilmselge, et väikeses ekspertide rühmas mõjutab lõplikku skoori liigselt iga eksperdi hinne. Liiga palju eksperte muudab konsensusliku arvamuse kujundamise keeruliseks. Lisaks väheneb osalejate arvu kasvuga ebastandardsete arvamuste roll, mis erinevad enamuse arvamusest, kuid ei osutu alati valeks. Suure hulga ekspertide kaasamine võimaldab infopuudust vähemalt osaliselt kompenseerida, individuaalset ja kollektiivset kogemust täielikumalt ära kasutada ning arvestada spetsialistide eeldustega objektide tulevikuseisundite kohta.

Põhimõttelise tähtsusega on erinevate valdkondade teadlaste-spetsialistide "võrdsuse" tagamise võimalus, erineva pädevustasemega, arvestades uuritava probleemi spetsiifikat.

Siiski saab kehtestada mõned üldised nõuded, mis viitavad omadustele, mis peaksid olema "ideaalsel" eksperdil, kellega on eelistatav töötada:

potentsiaalse eksperdi pädevus uuritavas valdkonnas,

eruditsioon seotud valdkondades,

teadusliku või praktilise töö kogemus teatud valdkonnas,

töökoht,

· terviklikkus,

Objektiivsus

Oskus loovalt mõelda

intuitsioon.

Töörühma spetsialistide valimiseks kasutatakse mõningaid lihtsaid statistilisi meetodeid ja tehnikaid ning nende kombinatsiooni:

1) eksperimentaalne (kasutades testimist, kontrollides oma varasema eksperttegevuse tulemuslikkust);

2) dokumentaalfilm (sotsiaal-demograafiliste andmete alusel);

4) enesehindamise abil (hinnang uuritava probleemi pädevusastmele, mille annab potentsiaalne ekspert ise).

Lisaks nendele meetoditele on võimalik välja arvutada mis tahes potentsiaalse eksperdi poolt minevikus esitatud eksperthinnangute usaldusväärsus ja täpsus. Selleks arvutatakse eksperdi usaldusväärsuse aste, mille all mõistetakse nende juhtumite suhtelist sagedust, mil ekspert omistas kõige suurema tõenäosuse hüpoteesidele, mis hiljem kinnitust said (st eksperdi tehtud ennustuste arv üldiselt). jagatakse täide läinud ennustuste arvuga). Eksperdi usaldusväärsuse ja täpsuse mõiste põhineb eeldusel, et on olemas probleemide klass, mille lahendamiseks ekspert kas sobib või ei sobi.

Eksperthinnangu protseduur

Ekspertuuringu korraldaja töö hõlmab ka ekspertide tööks ettevalmistamist, eelkõige neile probleemi kohta kõige objektiivsemate andmete esitamist. Tuleks jälgida, et osalejad oleksid piisavalt informeeritud uuritava probleemi allikatest ja sellest, kuidas sarnaseid probleeme minevikus lahendada.

Töö sisaldab:

· Spetsiaalsete ankeetküsitluste koostamine ekspertidele Ekspertküsitluse peamisteks töövahenditeks on ankeet või eriprogrammi järgi välja töötatud intervjuu vorm. Erinevalt massiküsitlusest ei ole ekspertküsitluse programm nii detailne ja on peamiselt kontseptuaalset laadi. Selles on esiteks üheselt sõnastatud vaadeldav nähtus, hüpoteeside vormis esitatakse selle tulemuse võimalikud variandid;

ekspertide rühma valimine;

ülesande püstitamine ja küsimuste esitamine ekspertidele;

eksperthinnangute meetodi valik;

Tegelik hinnang

saadud andmete analüüs.

On vajalik, et uuringu läbiviimise tingimused aitaksid kaasa kõige usaldusväärsemate hinnangute saamisele. Hindamiste sõltumatuse tagamiseks tuleks võimalusel välistada ekspertide vastastikune mõju ning vähendada kõrvaliste tegurite mõju. Suur tähtsus on küsimustiku küsimuste korrektsel sõnastusel, mis võimaldab väljendada eksperdi suhtumist igasse küsimusesse kvantitatiivse hinnangu vormis ning ühtlustada erinevatelt ekspertidelt saadud hinnanguid. Kui ekspertide küsitluse vorm hõlmab nende näost näkku suhtlemist, tuleb jälgida, et kõige kuulsamate ja autoriteetsemate ekspertide arvamused ei annaks aruteludes tooni (selleks tuleb kõneldes sõna „ tavalised” osalejad ja seejärel kõige kuulsamad ja autoriteetsemad).

Vajalik võib olla ka:

eksperthinnanguteks kasutatud sisendandmete kontrollimine;

ekspertrühmade koosseisu muutus;

· korduvad mõõtmised samadel teemadel koos järgneva tulemuste võrdlemisega muude meetoditega saadud objektiivse teabega.

Pärast ekspertide rühma küsitluse läbiviimist töödeldakse tulemusi. Töötlemise lähteinfoks on ekspertide eelistusi väljendavad arvandmed ja nende eelistuste sisuline põhjendus.

Töötlemise eesmärk on eksperthinnangutes varjatud kujul sisalduva üldistatud andmete ja uue teabe saamine. Töötlemistulemuste põhjal kujundatakse probleemile lahendus. Nii arvuliste andmete kui ekspertide sisukate väidete olemasolu toob kaasa vajaduse rakendada grupi eksperthinnangu tulemuste töötlemisel kvalitatiivseid ja kvantitatiivseid meetodeid.

Kogutud teabe töötlemise üks olulisemaid etappe on ekspertarvamuste kooskõlastamine, mida saab teha ühe järgmistest reeglitest lähtudes:

Enamusreegel - valitakse hinnang nähtusele või probleemilahendus, millest enamik eksperte kinni peab (samas tuleb märkida, et harvad ei ole olukorrad, kus usaldusväärsemaid hinnanguid andvad eksperdid on vähemuses);

Keskmise hinnangu reegel – määratakse ekspertarvamuste liht- või kaalutud keskmine hinnang.

Arvamuste rühmitamise põhjuste kvalitatiivne analüüs võimaldab tuvastada erinevate seisukohtade, kontseptsioonide olemasolu, tuvastada teaduskoolkondi, määrata kutsetegevuse olemust jne. Kõik need tegurid võimaldavad ekspertide küsitluse tulemusi sügavamalt mõista.

Eksperthinnangu liigid

Olemasolevaid eksperthinnanguid saab klassifitseerida järgmiste kriteeriumide alusel:

1 Vastavalt ekspertide osalemise vormile:

kirjavahetus.

Näost-silma meetod võimaldab eksperdil keskenduda lahendatavale probleemile, mis parandab tulemuse kvaliteeti, kuid kaugmeetod võib olla odavam. Ekspertidega töötamise võimaluste valiku määrab probleemi ja olukorra eripära. Ekspertidega töötamise näost näkku võimalused võimaldavad koguda paremat teavet, kuigi esineb korralduslikke raskusi ja ekspertide vastastikust mõju. Ekspertidega töötamise kirjavahetuse vormid võimaldavad ekspertide küsitlemisel eirata geograafilisi piire, välistada nende vastastikuse mõju, kuid muuta ekspertrühmade töö mittetoimivaks.

Näost näkku küsitluse tüübid:

1. Tasuta ekspertide intervjuu. Sellel on luureeesmärk ja seda kasutatakse sagedamini siis, kui on vaja probleemi täpsemalt esitada, selgitada mõningaid nüansse, selgemalt tõlgendada kasutatud mõisteid ja visandada uurimistöö põhisuunad. Intervjueeritud ekspertide arv on siin väike (10-15), kuid peamine on see, et valitud eksperdid oleksid professionaalselt ja teaduslikult erinevate seisukohtade esindajad. Sellise intervjuu viib läbi kogenud sotsioloog.

2. Ekspertide ankeetküsitlus.

3. "Ajujaht", "ajujaht" - vahetu arvamuste vahetus, ergutav vaatlus. Peamine eesmärk on leida lahendus või viisid teadusliku või praktilise probleemi lahendamiseks.

Kirjavahetusküsitluse sordid:

1. Ekspertide küsimustik posti teel

2. Delphi tehnika - on kokkulepitud arvamuste väljatöötamine, korrates korduvalt samade ekspertide küsitlust. Pärast esimest küsitlust ja tulemuste kokkuvõtmist edastatakse selle tulemused ekspertrühma liikmetele. Seejärel viiakse läbi teine ​​küsitlus, mille käigus eksperdid kas kinnitavad oma seisukohta või muudavad hinnangut vastavalt enamuse arvamusele. Selline tsükkel sisaldab 3-4 läbimist. Sellise protseduuri käigus kujuneb välja hinnang, kuid samas ei tohiks teadlane muidugi ignoreerida nende arvamust, kes pärast korduvaid küsitlusi jäid oma seisukohale.

Ilmselgelt on seda tüüpi töö ekspertidega väga aeganõudev ja keeruline, kuigi Delphic tehnika kasutamisel on omad eelised: küsitluse anonüümsus on tagatud ekspertide suhtluse välistamisega; tagasiside loomine töödeldud teabe sõnumi kujul ekspertide kokkulepitud seisukoha kohta uuringu eelmistes etappides; ekspertide vastastikuse mõju välistamine. Delfi meetodi eesmärk ei ole saavutada asja sisulises osas ekspertide arvamuste täielikku üksmeelt, mistõttu vaatamata seisukohtade lähenemisele jääb ekspertide arvamustes siiski lahkarvamusi. Seda tüüpi ekspertide küsitluse miinuseks on ekspertide antud hinnangute sõltuvus küsimuste ja argumentide sõnastusest; avaliku arvamuse mõju ekspertidele.

2. Vastavalt lahendatavatele ülesannetele:

lahenduste genereerimine;

hindamisvõimalused.

3. Vastuse tüübi järgi:

· ideoloogiline;

pingerida;

Objekti hindamine suhtelisel või absoluutsel (numbrilisel) skaalal.

4. Vastavalt ekspertarvamuste töötlemise meetodile:

vahetu;

analüütiline.

5. Kaasatud ekspertide arvu järgi:

ilma piiranguteta;

piiratud (tavaliselt kasutatakse 5–12 eksperti).

Tuntumad eksperthinnangu meetodid on Delphi meetod, ajurünnak ja hierarhiaanalüüsi meetod. Igal meetodil on oma ajastus ja vajadus ekspertide järele.

Bibliograafia:

1. Beshelev S.D., Gurvich F.G. Eksperthinnangud. M.: Nauka, 1973. 246 lk.

2. Beshelev S.D., Gurvich F.G. Eksperthinnangute matemaatilised ja statistilised meetodid. M.: Statistika, 1980. 263 lk.

3. Kardanskaja N. Juhtimisotsuste tegemine. M.: UNITI, 1999. 407 lk.

Venemaa haridus- ja teadusministeerium

Mari Riiklik Tehnikaülikool

Raadioseadmete juhtimise ja tootmise osakond

teemal: Eksperthinnangute meetodid

Lõpetatud: Art. gr. BZD-41

Kopylova I.V.

Kontrollinud prof. kohvik Küpros

Skulkin N.M.

Joškar-Ola 2012

Sissejuhatus

Eksperthinnang

Eksperthinnangu etapid

Eksperthinnangute liigid

Ekspertide küsitluse tulemuste töötlemine

Järeldus

Bibliograafia

Sissejuhatus

Näited eksperthinnangu meetoditest. Kuidas muutub majanduskeskkond aja jooksul? Mis saab looduskeskkonnast kümne aasta pärast? Kuidas keskkond muutub? Kas tööstusliku tootmise keskkonnaohutus on tagatud või hakkab ümberringi levima inimtekkeline kõrb? Piisab, kui mõelda nendele loomulikele küsimustele, analüüsida, kuidas me kümme või enam kui kakskümmend aastat tagasi tänapäeva ette kujutasime, et mõista, et sajaprotsendiliselt usaldusväärseid prognoose lihtsalt ei saa olla. Konkreetsete numbritega väidete asemel võib oodata vaid kvalitatiivseid hinnanguid. Sellest hoolimata peame meie, insenerid, tegema otsuseid näiteks keskkonna- ja muude projektide ning investeeringute osas, mille tagajärjed on tunda kümne, kahekümne jne pärast. aastat. Kuidas olla? Jääb üle pöörduda eksperthinnangute meetodite poole. Mis need meetodid on?

1. Eksperthinnang

Eksperthinnang- spetsialistide (ekspertide) arvamuse põhjal probleemile hinnangu saamise kord hilisemaks otsustamiseks (valikuks).

Eksperdid(ladina sõnast "expertus" - kogenud) - need on isikud, kellel on teadmised ja kes on võimelised uuritava nähtuse kohta põhjendatud arvamust avaldama.

Eksperthinnangute meetodid - need on ekspertspetsialistidega töö korraldamise ja ekspertarvamuste töötlemise meetodid.

Eksperthinnangu meetodite olemus seisneb selles, et prognoos põhineb spetsialisti või spetsialistide meeskonna arvamusel, mis põhineb erialastel, teaduslikel ja praktilistel kogemustel. On olemas individuaalsed ja kollektiivsed eksperthinnangud.

Valiku tegemisel kasutatakse sageli eksperthinnangut, näiteks:

tehnilise seadme üks variant, mis käivitatakse mitme näidise seeriasse,

paljude taotlejate astronautide rühmad,

uurimisprojektide kogum, mida rahastatakse taotluste kogumi alusel,

keskkonnalaenu saajad paljudelt taotlejatelt,

elluviimiseks esitatavate investeerimisprojektide valimisel jne.

2. Eksperthinnangu etapid

1. Uuringu eesmärgi seadmine.

Eksperthinnang hõlmab teatud tüüpi meele loomist, millel on inimese võimetega võrreldes suuremad võimed. Multimeele võimaluste allikaks on üksiku spetsialisti kogemuse põhjal nõrkade seoste ja oletuste otsimine. Asjatundlik lähenemine võimaldab teil lahendada probleeme, mida ei saa tavapärasel analüütilisel viisil lahendada, sealhulgas:

· Olemasolevate lahenduste hulgast parima lahenduse valimine.

· Protsessi arengu prognoosimine.

· Keerulistele probleemidele võimalike lahenduste leidmine.

Enne ekspertuuringuga alustamist on vaja selgelt määratleda selle eesmärk (probleem) ja sõnastada ekspertidele sobiv küsimus. Sel juhul on soovitatav järgida järgmisi reegleid:

· Probleemi tingimuste, aja, väliste ja sisemiste piirangute selge määratlemine. * Oskus vastata küsimusele inimkogemuse täpsusega.

· Küsimus on paremini sõnastatud kvalitatiivse väitena kui arvu hinnanguna. Numbriliste hinnangute jaoks ei ole soovitatav määrata üle viie gradatsiooni.

· Eksperdid hindavad võimalikke variante ja neilt ei tasu loota tervikliku tegevusplaani, võimalike lahenduste üksikasjaliku kirjelduse väljatöötamist.

2. Uurimisvormi valik, projekti eelarve määramine.

Olemasolevaid eksperthinnanguid saab klassifitseerida järgmiste kriteeriumide alusel:

· Vastavalt ekspertide osalemise vormile: täistööaeg, osaline tööaeg. Näost-silma meetod võimaldab ekspertidel keskenduda lahendatavale probleemile, mis parandab tulemuse kvaliteeti, kuid kaugmeetod võib olla odavam.

· Iteratsioonide arvu järgi (protseduuri kordused täpsuse parandamiseks) - üheastmeline ja iteratiivne.

· Vastavalt lahendatavatele ülesannetele: lahenduste genereerimine ja võimaluste hindamine.

· Vastuse tüübi järgi: ideoloogiline, pingerida, objekti hindav suhteline või absoluutne (numbriline) skaalal.

· Ekspertarvamuste töötlemise meetodi järgi: otsene ja analüütiline.

· Kaasatud ekspertide arvu järgi: piiramatu, piiratud. Tavaliselt kasutatakse 5-12 eksperti.

Tuntumad eksperthinnangu meetodid on Delphi meetod, ajurünnak ja hierarhiaanalüüsi meetod. Igal meetodil on oma ajastus ja vajadus ekspertide järele. Peale eksperthinnangu meetodi valimist on võimalik määrata menetluse kulud, mis sisaldavad ekspertide tasu, ruumide renti, kirjatarvete ostmist, ekspertiisi läbiviimise ja tulemuste analüüsi spetsialisti tasu.

3. Infomaterjalide koostamine, küsimustike vormid, protseduuri moderaator.

Enne otsuse tegemist peaksid eksperdid esitatud probleemi mitmekesistama. Selle protseduuri läbiviimiseks on vaja koostada probleemi kirjeldavad infomaterjalid, olemasolevad statistilised andmed, teatmematerjalid, ankeetvormid, inventar. Vältida tuleks järgmisi vigu: materjalide väljatöötajate mainimine, ühe või teise lahendusvariandi esiletoomine, juhtkonna suhtumise väljendamine oodatud tulemustesse. Andmed peaksid olema mitmekülgsed ja neutraalsed. Eelnevalt on vaja välja töötada ekspertide küsimustike vormid. Olenevalt meetodist võivad need olla avatud ja suletud küsimustega, vastuse võib anda hinnangu, paarisvõrdluse, järjestatud seeria, punktide või absoluuthinnangu vormis.

Protseduuri ennast viib läbi sõltumatu menetluse moderaator, kes kontrollib eeskirjade täitmist, jagab materjale ja küsimustikke, kuid ei avalda oma arvamust.

4. Ekspertide valik.

Ekspertide valiku probleem on ekspertuuringute teoorias ja praktikas üks keerulisemaid. Ilmselgelt tuleb asjatundjatena kasutada neid inimesi, kelle hinnangud adekvaatse otsuse tegemisele kõige rohkem kaasa aitavad. Kuidas aga selliseid inimesi tuvastada, leida, välja valida? Pean ausalt ütlema, et ekspertide valimiseks puuduvad meetodid, mis kindlasti tagaksid ekspertiisi edu.

Ekspertide valiku probleemis võib eristada kahte komponenti - võimalike ekspertide nimekirja koostamine ja nende hulgast ekspertkomisjoni valimine vastavalt kandidaatide pädevusele.

Eksperdid peaksid omama kogemusi lahendatavate ülesannetega seotud valdkondades. Ekspertide valikul tuleks arvestada isikliku huvi hetkega, mis võib saada oluliseks takistuseks objektiivse hinnangu saamisel. Selleks kasutatakse näiteks Shari meetodeid, kui üks ekspert, kõige lugupeetum spetsialist, soovitab mitmeid teisi ja ahelas edasi, kuni vajalik meeskond on valitud.

5. Eksami läbiviimine.

Protseduur varieerub sõltuvalt kasutatavast meetodist. Üldised soovitused:

· Seadke reeglid ja järgige neid. Otsuse tegemise aja pikendamine optimaalsest pikemaks ei paranda vastuse täpsust.

6. Tulemuste statistiline analüüs . Pärast ekspertide vastuste saamist on vaja neid hinnata. See võimaldab:

1) Hinnake ekspertarvamuste kooskõla. Ekspertidevahelise olulise kokkuleppe puudumisel on vaja välja selgitada vastuolu põhjused (rühmade olemasolu) ja tunnistada kokkulepitud arvamuse puudumist (ebaolulised tulemused).

) Hinnake uurimisviga.

)Ehitage ekspertide vastuste põhjal objekti omaduste mudel (analüütiliseks ekspertiisiks). Eksperthinnangu tulemused väljastatakse aruande vormis. Aruandes näidatakse uuringu eesmärk, ekspertide koosseis, saadud hinnang ja tulemuste statistiline analüüs.

7. Eksperthinnangu tulemustega akti koostamine.

. Eksperthinnangute liigid

Eksperthinnangu meetodid võib jagada kahte rühma:

§ ekspertrühma kollektiivse töö meetodid

§ ekspertrühma liikmete individuaalse arvamuse saamise meetodid.

Ekspertrühma kollektiivse töö meetodid hõlmab ühise arvamuse saamist lahendatava probleemi ühise arutelu käigus. Neid meetodeid nimetatakse mõnikord otseste kollektiivse arvamuse meetoditeks. Nende meetodite peamine eelis seisneb probleemide tervikliku analüüsimise võimaluses. Meetodite puudusteks on teabe hankimise protseduuri keerukus, ekspertide individuaalsete otsuste kohta rühma arvamuse kujundamise keerukus, grupi võimude surve võimalus.

Meeskonnatöö meetodid hõlmavad ajurünnakut, skriptimist, ärimänge, koosolekuid ja otsuseid.

Ajurünnak.See on korraldatud ekspertide koosolekuna, mille sõnavõttudele kehtib üks, kuid väga oluline piirang - teiste ettepanekuid kritiseerida ei saa. Saate neid arendada, oma ideid väljendada, aga kritiseerida ei saa! Kohtumise käigus avaldavad eksperdid üksteist "nakatades" üha ekstravagantsemaid kaalutlusi. Kaks tundi hiljem lõpeb magnetofoni või videokaameraga salvestatud seanss ning algab ajurünnaku teine ​​etapp - väljaöeldud ideede analüüs. Tavaliselt väärib 100 ideest 30 edasiarendamist, 5-6 ideest võimaldavad sõnastada rakendusprojekte ja 2-3 osutuvad lõpuks kasulikuks efektiks - kasum, suurem keskkonnaohutus, looduskeskkonna parandamine. , jne. Samas on ideede tõlgendamine loominguline protsess. Näiteks arutledes laevade kaitsmise võimaluste üle torpeedorünnaku eest, öeldi välja mõte: "Reastage madrused mööda külge ja puhuge torpeedole, et muuta selle kurssi." Pärast läbitöötamist viis see idee spetsiaalsete seadmete loomiseni, mis tekitavad laineid, mis löövad torpeedo kursilt kõrvale.

Meetod "635"- üks ajurünnaku vorme. Numbrid 6, 3, 5 tähistavad kuut osalejat, kellest igaüks peab viie minuti jooksul kirja panema kolm ideed. Leht liigub ringi. Seega paneb igaüks poole tunni jooksul oma varasse kirja 18 ideed ja kõik kokku - 108. Ideede struktuur on selgelt määratletud. Meetodi muutmine on võimalik. Seda meetodit kasutatakse laialdaselt välisriikides (eriti Jaapanis), et valida erinevate ideede hulgast kõige originaalsemad ja edumeelsemad teatud probleemide lahendamisel.

ärimängudpõhinevad sotsiaalse juhtimissüsteemi toimimise modelleerimisel eesmärgi saavutamisele suunatud toimingute sooritamisel. Erinevalt varasematest meetoditest, kus eksperthinnangud kujunevad kollektiivse arutelu käigus, on ärimängudes aktiivne ekspertgrupi töö, mille igal liikmel on teatud vastutus vastavalt eelnevalt koostatud reeglitele ja programmile.

Ärimängude peamine eelis on võimalus töötada välja lahendus dünaamikas, võttes arvesse uuritava protsessi kõiki etappe ja avaliku halduse süsteemi kõigi elementide koostoimet. Puuduseks on ärimängu korraldamise keerukus reaalsele probleemolukorrale lähedastes tingimustes.

Kohtumise meetod("vahendustasud", "ümarlaud") - kõige lihtsam ja traditsioonilisem. See hõlmab koosoleku või arutelu korraldamist, et kujundada lahendatava probleemi kohta ühine kollektiivne arvamus. Erinevalt "ajurünnaku" meetodist saab iga ekspert mitte ainult oma arvamust avaldada, vaid ka kritiseerida teiste ettepanekuid. Sellise hoolika arutelu tulemusena väheneb vigade võimalus otsuse väljatöötamisel.

Meetodi eeliseks on selle rakendamise lihtsus. Küll aga võib koosolekul ühe osavõtja eksliku arvamuse omaks võtta tema autoriteedi, ametipositsiooni, visaduse või oraatorivõimete tõttu.

Komisjoni meetod- üks eksperthinnangute meetoditest, mis põhineb erikomisjonide tööl. "Ümarlaua" ekspertide rühmad arutavad konkreetset küsimust, et leppida kokku seisukohtades ja kujundada ühine arvamus. Selle meetodi puuduseks on asjaolu, et ekspertide rühm juhindub oma hinnangutes peamiselt kompromissi loogikast.

Skripti kirjutamise meetodpõhineb protsessi või nähtuse loogika määramisel ajas erinevates tingimustes. See hõlmab sündmuste jada loomist, mis arenevad üleminekul praegusest olukorrast objekti tulevasse olekusse. Omapärane stsenaarium võib olla riikide majanduste rahvusvahelise integratsiooni järjekorra ja tingimuste kirjeldus, sealhulgas järgmised küsimused:

millistest lihtsamatest vormidest keerulisematesse peab see protsess läbima;

kuidas see mõjutab riigi majandust ja riikide majandussuhteid;

millised on rahalised, organisatsioonilised, sotsiaalsed, juriidilised probleemid, mis võivad tekkida majanduse rahvusvahelistumise käigus.

Prognoosistsenaarium määrab prognoosiobjekti arengustrateegia. See peaks kajastama objekti arendamise üldist eesmärki, eesmärgipuu ülemiste tasandite hindamise kriteeriume, probleemide prioriteete ja ressursse põhieesmärkide saavutamiseks. Stsenaarium kuvab probleemi järjekindla lahenduse, võimalikud takistused. Sel juhul kasutatakse prognoosiobjekti arendamiseks vajalikke materjale.

Stsenaarium tuleks koostada selliselt, et peale lugemist selguks tehtava töö üldine eesmärk prognoosiperioodi sotsiaalmajanduslike ülesannete valguses.

Tavaliselt on see mitme muutujaga ja tõstab esile kolm käitumisjoont:

optimistlik - süsteemi areng kõige soodsamas olukorras;

pessimistlik - süsteemi areng kõige ebasoodsamas olukorras;

töötamine - süsteemi arendamine, võttes arvesse negatiivsete tegurite vastutegevust, mille ilmnemine on kõige tõenäolisem.

Prognoosistsenaariumi osana on soovitatav ettenägematute olukordade puhuks välja töötada varustrateegia.

Valmis skripti tuleb analüüsida. Eelseisva prognoosi jaoks sobivaks peetud teabe analüüsi põhjal sõnastatakse eesmärgid, määratakse kriteeriumid ja kaalutakse alternatiivseid lahendusi.

kohtu meetodon omamoodi "kohtumiste" meetod ja seda rakendatakse analoogselt kohtuprotsessi läbiviimisega.

Valitud lahendused toimivad "kostjatena";

"kohtunike" rollis - otsustajad;

"prokuröride" ja "kaitsjate" rollis - ekspertrühma liikmed.

"Tunnistajate" rolli täidavad erinevad valikutingimused ja ekspertide argumendid. Sellise "kohtuprotsessi" läbiviimisel lükatakse teatud otsused tagasi või tehakse.

"Kohtu" meetodit on soovitatav kasutada siis, kui erinevatest lahendustest kinni peavad mitu ekspertide rühma.

Eksperdirühma liikmete individuaalse arvamuse saamise meetodid põhinevad üksteisest sõltumatult küsitletud ekspertidelt saadud teabe esialgsel saamisel koos saadud andmete hilisema töötlemisega. Need meetodid hõlmavad küsimustiku meetodeid, intervjuusid ja Delphi meetodeid. Individuaalse eksperthinnangu meetodi peamised eelised on selle tõhusus, eksperdi individuaalsete võimete täieliku kasutamise võimalus, ametiasutuste surve puudumine ja ekspertiiside madal hind. Nende peamine puudus on ühe eksperdi piiratud teadmiste tõttu saadud hinnangute kõrge subjektiivsus.

Delphi meetod.Eesmärk on töötada välja järjestikuste mitmevooruliste individuaalsete uuringute programm. Ekspertide individuaalne küsitlus viiakse tavaliselt läbi küsimustike vormis. Seejärel tehakse nende statistiline töötlemine arvutis ja kujundatakse grupi kollektiivne arvamus, selgitatakse välja ja üldistatakse argumendid erinevate hinnangute kasuks. Arvutiga töödeldud teave edastatakse ekspertidele, kes saavad hinnanguid parandada, selgitades kollektiivse otsusega mittenõustumise põhjuseid. Seda protseduuri saab korrata kuni 3-4 korda. Selle tulemusena ahenetakse hinnangute ulatust ja tehakse järjekindlaid hinnanguid objekti arendamise väljavaadete osas. Delphi meetodi omadused:

a) ekspertide anonüümsus (ekspertrühma liikmed on üksteisele tundmatud, rühmaliikmete suhtlemine küsimustike täitmisel on täielikult välistatud);

b) uuringu eelmise vooru tulemuste kasutamise võimalus;

c) rühma arvamuse statistiline tunnus.

See meetod aitab ette määrata pikaajaliste probleemsituatsioonide kujunemise. Meie teadusliku ja tehnilise prognoosimise valdkonnas töötavad spetsialistid töötavad välja ka meetodeid eksperthinnangute töötlemiseks. Neid nimetatakse heuristilisteks.

Intervjuu meetodhõlmab vestlust ennustaja ja eksperdi vahel küsimuste-vastuste skeemi järgi, mille käigus prognoosija esitab vastavalt eelnevalt väljatöötatud programmile eksperdile küsimusi prognoositava objekti arendamise väljavaadete kohta. Sellise hindamise edukus sõltub suurel määral eksperdi võimest anda erinevates küsimustes eksprompt arvamus.

Analüütiline meetodnäeb ette põhjaliku iseseisva eksperdi töö prognoositava objekti trendide analüüsil, seisukorra ja arenguteede hindamisel. Ekspert saab kasutada kogu teavet, mida ta prognoosiobjekti kohta vajab. Ta kirjutab oma leiud memorandumi vormis. Selle meetodi peamine eelis on võimalus maksimaalselt ära kasutada eksperdi individuaalseid võimeid. Keeruliste süsteemide ennustamiseks ja strateegia väljatöötamiseks see aga väga sobilik ei ole ühe asjatundja väheste teadmiste tõttu seotud teadmisvaldkondades.

. Ekspertide küsitluse tulemuste töötlemine

ekspertide kollektiivne individuaalne uuring

Läheme üle ülekuulamise tulemuste töötlemise etapis läbiviidavate protseduuride käsitlemisele.

Eksperthinnangute alusel saadakse üldistatud informatsioon uuritava objekti (nähtuse) kohta ja kujundatakse lahendus, mille määrab ekspertiisi eesmärk. Ekspertide individuaalsete hinnangute töötlemisel kasutatakse erinevaid kvantitatiivseid ja kvalitatiivseid meetodeid. Selle või teise meetodi valik sõltub lahendatava probleemi keerukusest, ekspertide arvamuste esitamise vormist ja ekspertiisi eesmärkidest.

Kõige sagedamini kasutatakse küsitluste tulemuste töötlemisel matemaatilise statistika meetodeid.

Sõltuvalt eksami eesmärkidest saab hinnangute töötlemisel lahendada järgmised probleemid:

· üldistatud hinnangu kujundamine;

· esemete suhteliste kaalude määramine;

· ekspertide arvamuste kokkulangevuse määra kindlaksmääramine jne.

1)Üldhinnangu kujundamine

Niisiis, laske ekspertide rühmal hinnata mõnda objekti, siis x j - j-nda eksperdi hinnang, , kus m on ekspertide arv.

Ekspertide rühma üldise hinnangu andmiseks kasutatakse kõige sagedamini keskmisi väärtusi. Näiteks mediaan (M E ), mille kohta tehakse selline hinnang, mille suhtes on suurte hinnangute arv võrdne väiksemate arvuga.

Võib kasutada ka ekspertide rühma punkthinnangut, mis arvutatakse aritmeetilise keskmisena:

2)Objektide suhtelise massi määramine

Mõnikord on vaja kindlaks teha, kui oluline (oluline) on üks või teine ​​tegur (objekt) mõne kriteeriumi seisukohalt. Sel juhul ütleme, et peame määrama iga teguri kaalu.

Üks kaalude määramise meetodeid on järgmine. Las x ij - j-nda eksperdi antud hinnang tegurile i, , , n - võrreldavate objektide arv, m - ekspertide arv. Seejärel i-nda objekti kaal, mis arvutatakse kõigi ekspertide hinnangute järgi (wi ), on võrdne:

kus w ij - i-nda objekti kaal, mis on arvutatud j-nda eksperdi hinnangul, on võrdne:

3)Ekspertidevahelise kokkuleppe määra kindlaksmääramine

Mitmete ekspertide küsitluses osalemise puhul on erinevused nende hinnangutes paratamatud, kuid oluline on selle lahknevuse suurus. Rühmahinnangut saab pidada piisavalt usaldusväärseks vaid siis, kui üksikute spetsialistide vastused on omavahel hästi kokku leppinud.

Hinnangute hajuvuse ja järjepidevuse analüüsimiseks kasutatakse statistilisi karakteristikuid - hajuvuse mõõte.

Variatsioonivahemik (R):

Xmax -x min ,

kus x max- objekti maksimaalne hinnang; min - objekti minimaalne hinnang.

Tuntud valemiga arvutatud standardhälve:

kus xj on j-nda eksperdi antud punktisumma, ekspertide arv.

Variatsioonikoefitsient (V), mida tavaliselt väljendatakse protsentides:

Objektide järjestusmeetodil hindamisel kasutatavad järjepidevuse kontrolli lähenemised on spetsiifilised.

Sel juhul on eksperdi töö tulemuseks paremusjärjestus, mis on järjestus (eksperdi j puhul): x 1j , x 2j, …, x nj .

Kahe eksperdi pingerea vahelise kooskõla saab määrata Spearmani järgu korrelatsioonikordaja abil:

kus xij on j-nda eksperdi poolt i-ndale objektile antud auaste; ik on k-nda eksperdi poolt i-ndale objektile antud auaste; i on i-ndale objektile määratud auastmete vahe objektiks.

Väärtus võib varieeruda vahemikus -1 kuni +1. Hinnangute täieliku kokkulangemise korral on koefitsient võrdne ühega. Koefitsiendi miinus üks võrdsust täheldatakse ekspertide arvamustes kõige suurema lahknemisega.

Lisaks saab järgu korrelatsioonikordaja arvutamist kasutada mis tahes teguri ja tekkiva tunnuse (reaktsiooni) vahelise seose hindamiseks juhtudel, kui tunnuseid ei saa täpselt mõõta, kuid neid saab järjestada.

Sel juhul saab Spearmani koefitsiendi väärtust tõlgendada sarnaselt paari korrelatsioonikordaja väärtusega. Positiivne väärtus näitab otsest seost tegurite vahel, negatiivne väärtus vastupidist seost, kusjuures mida lähemal on koefitsiendi absoluutväärtus ühele, seda tihedam on seos.

Kui on vaja kindlaks määrata suure (rohkem kui kahe) ekspertide arvu pingeread, arvutatakse nn vastavuskoefitsient - üldine astme korrelatsioonikoefitsient m eksperdi rühma jaoks:

Pange tähele, et sulgudes olev alamjaotus ei ole midagi muud kui i-objektide ekspertidelt saadud auastmete keskmine summa (kui summeeritakse iga objekti kohta).

Koefitsient W varieerub vahemikus 0 kuni 1. Selle võrdsus ühega tähendab, et kõik eksperdid määrasid objektidele samad auastmed. Mida lähemal on koefitsiendi väärtus nullile, seda vähem järjepidevad on ekspertide hinnangud.

Järeldus

Kogemused, intuitsioon, perspektiivitunne kombineerituna infoga aitavad spetsialistidel täpsemalt valida kõige olulisemad eesmärgid ja arengusuunad, leida parimad võimalused keeruliste teaduslike, tehniliste ja sotsiaalmajanduslike probleemide lahendamiseks tingimustes, kus info puudub. sarnaste probleemide lahendamine minevikus.

Eksperthinnangute meetodi kasutamine aitab vormistada spetsialistide arvamuste kogumise, kokkuvõtte ja analüüsimise protseduurid, et kujundada need teadliku otsuse tegemiseks kõige mugavamaks vormiks. Kuid tuleb märkida, et eksperthinnangu meetod ei saa asendada ei haldus- ega planeerimisotsuseid, vaid võimaldab vaid täiendada nende otsuste koostamiseks ja vastuvõtmiseks vajalikku teavet. Eksperthinnangute laialdane kasutamine on õigustatud vaid seal, kus tuleviku analüüsimiseks pole võimalik täpsemaid meetodeid rakendada.

Ekspertmeetodeid arendatakse ja täiustatakse pidevalt. Selle arengu põhisuunad määravad mitmed tegurid, mille hulgas võib välja tuua soovi laiendada valdkonda, suurendada matemaatiliste meetodite ja elektroonikaarvutite kasutusastet ning leida võimalusi tekkivate puuduste kõrvaldamiseks. Vaatamata viimastel aastatel tehtud edusammudele eksperthinnangute meetodi väljatöötamisel ja praktilisel kasutamisel, on mitmeid probleeme ja ülesandeid, mis nõuavad täiendavat metoodilist uurimist ja praktilist kontrolli. Vaja on täiustada ekspertide valiku süsteemi, tõsta grupiarvamuse tunnuste usaldusväärsust, välja töötada meetodid hinnangute õigsuse kontrollimiseks ning uurida eksperthinnangu usaldusväärsust vähendavaid varjatud põhjuseid. Kuid ka tänapäeval on eksperthinnangud koos teiste matemaatiliste ja statistiliste meetoditega oluliseks vahendiks juhtimise parandamisel kõigil tasanditel.

Bibliograafia

1Orlov A.I. Eksperthinnangud. // Tehase laboratoorium. ? 1996.? T. 62.? nr 1. ? lk 54-60.

2Orlov A.I. Eksperthinnangud. Proc. toetust. - M.: 2002.

Beshelev S.D., Gurvich F.G. Eksperthinnangud planeeritud otsuste tegemisel. Proc. toetust. - M.: Majandus, 1976. ? 287 lk.

Evlanov L.G., Kutuzov V.A. Eksperthinnangud juhtimises. - M.: Majandus, 1978. ? 133 lk.

Juhtimine. Proc. toetust. / Toim. J.V. Prokofjeva. - M.: Teadmised, 2000. - 288 lk.

Beshelev S.D., Gurvich F.G. Eksperthinnangud. - M.: Nauka, 1973. - 79 lk.

Statistilised meetodid eksperthinnangute analüüsimiseks. - M.: Nauka, 1977. - 384 lk.

Moiseev N.N. Süsteemianalüüsi matemaatilised probleemid. - M.: Nauka, 1981. - 487 lk.

Litvak B.G. Eksperthinnangud ja otsuste tegemine. - M.: Patent, 1996.

Eksperthinnangu meetodite tunnused [Elektrooniline ressurss]: #"justify">Eksperthinnang. / Vikipeedia. [Elektrooniline ressurss]: #"justify">Eksperdi hinnangud. // StatSoft: SPC Consulting. [Elektrooniline ressurss]: http://www.spc-consulting.ru/app/expert.htm

Õpetamine

Vajad abi teema õppimisel?

Meie eksperdid nõustavad või pakuvad juhendamisteenust teile huvipakkuvatel teemadel.
Esitage taotlus märkides teema kohe ära, et saada teada konsultatsiooni saamise võimalusest.