ekspertmetode. Metode for ekspertvurderinger
Etter å ha gjennomført en spørreundersøkelse av en gruppe eksperter, blir resultatene bearbeidet. Den første informasjonen for behandling er numeriske data,
uttrykke preferansene til eksperter og underbygge disse preferansene. Formålet med behandlingen er å innhente generaliserte data og ny informasjon inneholdt i skjult form i sakkyndige vurderinger. Basert på behandlingsresultatene dannes en løsning på problemet.
Tilstedeværelsen av både numeriske data og meningsfulle uttalelser fra eksperter fører til behovet for å bruke kvalitative og kvantitative metoder for å behandle resultatene av gruppeekspertevaluering. Andelen av disse metodene avhenger i hovedsak av klassen av problemer som løses ved ekspertevaluering.
Som allerede nevnt, kan hele settet med problemer deles inn i to klasser. Den første klassen inkluderer problemer for løsningen som det er tilstrekkelig nivå av kunnskap og erfaring, dvs. det er nødvendig informasjonspotensial. Ved løsning av problemer som tilhører denne klassen, anses eksperter som gode gjennomsnittsmålere. Begrepet "bra i gjennomsnitt" refererer til muligheten for å oppnå måleresultater som er nær sanne. Når det gjelder å oppnå måleresultater som er nær sanne, grupperes ekspertvurderinger nær den sanne verdien. Det følger at for å behandle resultatene av gruppeekspertevaluering av problemer i første klasse, er det mulig å lykkes med å bruke metodene for matematisk statistikk basert på datagjennomsnitt.
Den andre klassen inkluderer problemer for løsningen som det ennå ikke er akkumulert tilstrekkelig informasjonspotensial for. I denne forbindelse kan ekspertenes meninger variere sterkt fra hverandre. Dessuten kan dommen fra en ekspert, som er svært forskjellig fra resten av meningene, vise seg å være sann. Det er åpenbart at bruk av metoder for å beregne gjennomsnittsresultatene fra en gruppeekspertvurdering for å løse problemer av andre klasse kan føre til alvorlige feil. Derfor bør behandlingen av resultatene fra en undersøkelse av eksperter i dette tilfellet ikke være basert på metoder som bruker prinsippene for gjennomsnitt, men på metoder for kvalitativ analyse.
Tatt i betraktning at problemer av første klasse er de vanligste i praksis med ekspertvurdering, vil vi fokusere på metoder for å bearbeide resultater av ekspertise for denne klassen av problemer.
Avhengig av målene for ekspertvurdering og den valgte målemetoden, oppstår følgende hovedoppgaver ved behandling av undersøkelsesresultater:
bygge en generalisert vurdering, objekter basert på individuelle vurderinger av eksperter;
bygge en generalisert vurdering basert på en paret sammenligning av objekter av hver ekspert;
bestemme den relative vekten til gjenstander;
fastsettelse av den avtalte mening fra eksperter;
bestemmelse av avhengigheter mellom rangeringer;
Evaluering av påliteligheten til behandlingsresultater.
Oppgaven med å konstruere en generalisert vurdering av objekter basert på individuelle vurderinger av sakkyndige oppstår i gruppeekspertvurdering. Løsningen på dette problemet avhenger av målemetoden som brukes av ekspertene.
Når du løser mange problemer, er det ikke nok å ordne objekter i henhold til en indikator eller et sett med indikatorer. Det er ønskelig å ha numeriske verdier for hvert objekt, som indikerer dens relative betydning sammenlignet med andre objekter. Med andre ord, for mange problemer er det nødvendig å ha estimater av objekter som ikke bare utfører deres bestilling, men som også lar en bestemme graden av preferanse for ett objekt fremfor et annet. For å løse dette problemet kan du bruke metoden for direkte evaluering. Men under visse betingelser kan det samme problemet løses ved å behandle ekspertestimat.
Bestemmelsen av konsistensen av ekspertuttalelser utføres ved å beregne et numerisk mål som karakteriserer graden av likhet mellom individuelle meninger. Analyse av verdien av konsistensmålet bidrar til å utvikle en korrekt vurdering av det generelle kunnskapsnivået om problemet som skal løses og identifisering av grupperinger av ekspertuttalelser. En kvalitativ analyse av årsakene til å gruppere meninger gjør det mulig å fastslå eksistensen av forskjellige synspunkter, konsepter, identifisere vitenskapelige skoler, bestemme arten av profesjonell aktivitet, etc. Alle disse faktorene gjør det mulig å forstå resultatene av ekspertundersøkelsen dypere.
Ved å behandle resultatene av ekspertevaluering er det mulig å bestemme avhengighetene mellom rangeringene til forskjellige eksperter og dermed etablere enhet og forskjell i ekspertenes meninger. Det er viktig å etablere forholdet mellom rangeringene bygget på ulike indikatorer for objektsammenligning. Identifikasjonen av slike avhengigheter lar en avsløre relaterte sammenligningsindikatorer og kanskje gruppere dem i henhold til graden av sammenheng. Betydningen av oppgaven med å bestemme avhengigheter for praksis er åpenbar. For eksempel, hvis sammenligningsindikatorene er forskjellige mål, og objektene er middelet for å oppnå målene, så kan du ved å etablere forholdet mellom rangeringene som ordner midlene når det gjelder å nå målene gi deg rimelig svar på spørsmålet om omfanget av som prestasjonen
ett mål med gitte midler bidrar til å oppnå andre mål.
Estimater oppnådd på grunnlag av behandling er tilfeldige objekter, så en av de viktige oppgavene til behandlingsprosedyren er å bestemme påliteligheten deres. Passende oppmerksomhet bør rettes mot løsningen av dette problemet.
Å behandle resultatene av undersøkelsen er en tidkrevende prosess. Å utføre manuelle beregninger av estimater og indikatorer på deres pålitelighet er forbundet med store arbeidskostnader, selv når det gjelder å løse enkle bestillingsproblemer. I denne forbindelse er det tilrådelig å bruke datateknologi. Bruk av datamaskiner reiser problemet med å utvikle dataprogrammer som implementerer algoritmer for å behandle resultatene av ekspertevaluering.
Gruppevurdering av objekter
Vurder algoritmene for å behandle resultatene av ekspertevaluering av et sett med objekter. La m eksperter vurdere n objekter i henhold til l indikatorer. Evalueringsresultatene presenteres som verdier, der j er nummeret til eksperten, i er nummeret på objektet, h er nummeret på sammenligningsindikatoren (attributtet). Hvis vurderingen av objekter gjøres ved hjelp av rangeringsmetoden, er verdiene rangeringer. Hvis vurderingen av objekter utføres ved metoden for direkte vurdering eller ved metoden for sekvensiell sammenligning, er verdiene tall fra et visst segment av den numeriske aksen, eller punkter. Behandlingen av evalueringsresultatene avhenger i vesentlig grad av målemetodene som vurderes.
Vurder først tilfellet når mengdene
(i = 1, …, n; j = 1, 2, …, m; h = 1, 2, …, l)
oppnådd ved metoder for direkte evaluering eller sekvensiell sammenligning, dvs. er tall eller poeng. For å få en gruppevurdering av objekter i dette tilfellet, kan du bruke gjennomsnittsverdien av vurderingen for hvert objekt:
(i = 1, 2,…, n), (12.12)
hvor q hj er koeffisientene til vekter for indikatorer for sammenligning av objekter, k j er koeffisientene for ekspertkompetanse.
Koeffisientene for vekter av indikatorer og kompetanse til objekter er standardverdier:
Vektkoeffisientene til indikatorene kan bestemmes av en ekspert. Hvis q hj er vektkoeffisienten til den h-te indikatoren gitt av den j-te eksperten, så er den gjennomsnittlige vektkoeffisienten til den h-te indikatoren for alle eksperter lik:
(h = 1, 2, …, l). (12.14)
Ekspertkompetansekoeffisienter kan beregnes fra a posteriori data, dvs. i henhold til resultatene av vurderingen av objekter. Hovedideen med denne beregningen er antakelsen om at eksperters kompetanse skal vurderes ut fra graden av konsistens av vurderingene deres med gruppevurderingen av objekter.
Rangeringssummetode
Metoden for rangeringssummer består i å rangere objekter i henhold til verdiene av summene av rangeringer mottatt av hvert objekt fra alle eksperter. For rangeringsmatrisen || rij|| summer er laget:
r1< r 2 < …< r n .
For eksempel er rangeringsresultatene for fem objekter av fem eksperter presentert i tabell 12.2.
Tabell 12.2 Rangering av resultater av fem objekter av fem eksperter
Resultatene av å beregne summen av ranger for alle objekter er gitt i siste linje i Tabell 12.2.
Ved å sammenligne summen av rangeringer får vi en kjede av ulikheter:
r2< r 1 < r 3 < r 4 < r 5 .
Herfra følger den generaliserte rangeringen:
O 2 O 1 O 3 O 4 O 5 . (12.16)
I dette eksemplet vurderer vi tilfellet når forholdet mellom objekter er et strengt ordensforhold. Hvis det også er en ekvivalensrelasjon, endres ikke prosedyren for å konstruere en generalisert rangering etter summen av rangeringer.
For å ta hensyn til kompetansen til eksperter, er det nok å multiplisere hver i-te rangering med kompetansekoeffisienten til den j-te eksperten:
I dette tilfellet beregnes summen av rangeringer for det i-te objektet ved å bruke følgende formel:
(i = 1, 2, …, n). (12.17)
Den generaliserte rangeringen, som tar hensyn til eksperters kompetanse, er basert på rekkefølgen av summene av rangeringer for alle objekter.
Det skal bemerkes at konstruksjonen av en generalisert rangering etter summene av rangeringer er en korrekt prosedyre hvis rangeringene er tilordnet som steder for objekter i form av naturlige tall 1, 2, ..., n. Hvis vi tildeler rangeringer vilkårlig, som tall på rekkefølgeskalaen, vil summen av rangeringer generelt sett ikke opprettholde betingelsen for monotonitet av transformasjonen, og derfor kan vi oppnå forskjellige generaliserte rangeringer for forskjellige kartlegginger av objekter på en numerisk system. Nummerering av steder av objekter kan gjøres på en unik måte ved hjelp av naturlige tall.
Håndtering av parvise objektsammenligninger
Når du løser problemet med å evaluere et stort antall objekter (ved rangering, fastsettelse av relative vekter, scoring), oppstår psykologiske vanskeligheter på grunn av eksperters oppfatning av mange egenskaper til objekter. Eksperter løser relativt enkelt problemet med parvis sammenligning av objekter. Spørsmålet oppstår, hvordan få et estimat av hele settet med objekter basert på resultatene av parvis sammenligning, uten å pålegge transitivitetsbetingelsene? Vurder en algoritme for å løse dette problemet. La t eksperter vurderer alle par av objekter, og gir et numerisk estimat:
(12.18)
Hvis, når de evaluerer paret О i , О j, m i-eksperter talte for preferansen О i О j , m j-eksperter talte for preferansen О j О i , og m h-eksperter anser disse objektene for å være likeverdige, så estimat av den matematiske forventningen til den tilfeldige variabelen (r ij) er lik:
. (12.19)
Det totale antallet eksperter er:
m = m i + m h + m j.
Ved å bestemme m h herfra og erstatte den med formel (12.19), får vi:
(i, j = 1, 2, …, n). (12.20)
Det er åpenbart det
x ij + x ji = 1.
Settet med verdier x ij danner en n × m-matrise, på grunnlag av hvilken det er mulig å bygge en rangering av alle objekter og bestemme koeffisientene for den relative betydningen av objekter.
Relative viktighetskoeffisienter lar deg bestemme hvor mange ganger ett objekt er overlegent et annet objekt når det gjelder sammenlignede indikatorer. Viktighetsfaktoren kan beregnes ved hjelp av formelen.
Prognoseproblemer løst ved hjelp av ekspertvurderingsmetoder inkluderer to formelt ikke-relaterte elementer: definisjonen av mulige alternativer for utvikling av prognoseobjektet og deres evaluering. En analyse av ekspertmetoder viser muligheten for å bruke "brainstorming" for å bestemme mulige utviklingsmuligheter. Bruken av dem lar deg få produktive resultater på kort tid og involvere alle eksperter i en aktiv kreativ prosess.
Metoder for "brainstorming" kan klassifiseres i henhold til tilstedeværelsen eller fraværet av tilbakemeldinger mellom lederen og deltakerne i "brainstormingen" i prosessen med å løse en problemsituasjon. Tilstedeværelsen av tilbakemelding lar deltakerne fokusere oppmerksomheten bare på alternativer som er nyttige i henhold til visse kriterier for å løse en problemsituasjon. Men ved å kunstig innføre restriksjoner, mister vi muligheten til å se hele variasjonen av tilnærminger, og dermed blir det mulig å gå glipp av originale tanker som har potensial, men ikke nåværende realisert verdi. Ingen tilbakemelding, dvs. maksimal stimulering av utsagn, innebærer å utføre komplekst og storstilt arbeid på stadiet av deres evaluering. Den nåværende situasjonen krevde utvikling av en "brainstorming"-metode som var i stand til kvalitativt og raskt å evaluere alternativer, uten å begrense antallet.
Essensen av denne metoden ligger i aktualiseringen av det kreative potensialet til spesialister under "brainstorming" av en problemsituasjon, som først implementerer generering av ideer og den påfølgende ødeleggelsen (ødeleggelse, kritikk) av disse ideene med formulering av mot- ideer. Å jobbe med "brainstorming"-metoden innebærer implementering av følgende seks stadier.
Første etappe- dannelse av en gruppe deltakere i "brainstorming" (med tanke på størrelse og sammensetning). Den optimale størrelsen på en gruppe deltakere er funnet empirisk: grupper på 10-15 personer er anerkjent som de mest produktive. Sammensetningen av deltakergruppen innebærer deres målrettede utvelgelse: 1) fra personer av omtrent samme rangering, dersom deltakerne kjenner hverandre; 2) fra personer av forskjellige rangeringer, hvis deltakerne ikke er kjent med hverandre (i dette tilfellet bør hver av deltakerne utjevnes ved å tildele ham et nummer, etterfulgt av å adressere deltakeren etter nummer). Når det gjelder behovet for spesialisering av deltakeren i problemsituasjonens felt, er denne betingelsen ikke obligatorisk for alle medlemmer av gruppen. Dessuten er det svært ønskelig at gruppen inkluderer spesialister fra andre kunnskapsfelt som har et høyt nivå av generell lærdom og forstår betydningen av problemsituasjonen.
Andre fase- kompilere et problemnotat fra en idédugnadsdeltaker. Den er satt sammen av problemsituasjonsanalysegruppen og inkluderer en beskrivelse av denne metoden og en beskrivelse av problemsituasjonen. Denne beskrivelsen inneholder: prinsippet som metoden bygger på; forhold som sikrer størst effektivitet av "brainstorming", forfatterskapet til resultatene av angrepet; grunnleggende regler for angrep. Beskrivelsen av problemsituasjonen inneholder: årsakene til problemsituasjonen; analyse av årsakene til og mulige konsekvenser av problemsituasjonen som har oppstått (det er tilrådelig å overdrive konsekvensene slik at behovet for å løse motsetninger blir mer akutt følt); analyse av verdenserfaring for å løse en lignende problemsituasjon (hvis noen); klassifisering (systematisering) av eksisterende måter å løse en problemsituasjon på, formulering av en problemsituasjon i form av et sentralt spørsmål med et hierarki av delspørsmål.
Tredje trinn- generering av ideer. Det begynner med at tilretteleggeren avslører innholdet i det problematiske notatet. Tilretteleggeren forutsier beskrivelsen av metoden og fokuserer deltakernes oppmerksomhet på reglene for idédugnad: 1) deltakernes uttalelser må være klare og konsise; 2) skeptiske bemerkninger og kritikk av tidligere taler er ikke tillatt; 3) hver av deltakerne har talerett mange ganger, men ikke på rad; 4) det er ikke tillatt å lese en idéliste på rad, som kan utarbeides av deltakerne på forhånd. Å gjenfortelle innholdet i problemsituasjonen, fokuserer tilretteleggeren oppmerksomheten til deltakerne på hovedsaken. Tilretteleggeren bør bygge talen sin på en slik måte at den vekker deltakernes psykologiske mottakelighet, får dem til å føle behov for å gjøre det han ber dem om. Den ønskede responsen fra deltakerne er viljen til målrettet tenkning rettet mot å løse en problemsituasjon.
Den aktive aktiviteten til programlederen er ment bare i begynnelsen av "brainstormingen". Når deltakerne er tilstrekkelig begeistret, er prosessen med å komme opp med nye ideer spontant. Lederen i denne prosessen spiller en passiv rolle, og regulerer deltakerne i henhold til reglene for angrepet. Det bør huskes at jo mer mangfoldig og større antall utsagn, jo bredere og dypere dekkes problemet som vurderes, og jo mer sannsynlig er det at verdifulle utsagn vil dukke opp. Gitt ovennevnte omstendigheter, bør lederen under angrepet bli veiledet av følgende regler:
Fokuser deltakernes oppmerksomhet på problemsituasjonen, sett rammen for dens spesifikke krav og den terminologiske strengheten til ideene uttrykt;
Ikke erklær falsk, ikke fordømme eller slutt å forske på noen idé, dvs. vurdere enhver idé uavhengig av dens tilsynelatende relevans eller gjennomførbarhet;
Velkommen til en forbedring eller kombinasjon av ideer, gi ordet først til den som ønsker å snakke i forbindelse med en tidligere presentasjon;
Gi støtte og oppmuntring til deltakerne, så nødvendig for å frigjøre dem fra tvang;
Å skape en avslappet atmosfære, og dermed bidra til aktivisering av deltakerne i angrepet.
Fjerde trinn- systematisering av ideer uttrykt på generasjonsstadiet. Systematiseringen av ideer av problemsituasjonsanalysegruppen utføres i følgende rekkefølge: en nomenklaturliste over alle ideene uttrykt er kompilert; hver av ideene er formulert i vanlige termer; dupliserte og komplementære ideer identifiseres; duplisering og (eller) komplementære ideer kombineres og formuleres som én kompleks idé; tegn kjennetegnes ved hvilke ideer kan kombineres; ideer kombineres i grupper i henhold til de valgte funksjonene; en liste over ideer er satt sammen av grupper (i hver gruppe er ideer skrevet i rekkefølgen av deres generalitet: fra mer generell til spesiell, supplere eller utvikle mer generelle ideer).
Femte etappe- ødeleggelse (ødeleggelse, kritikk) av systematiserte ideer (en spesialisert prosedyre for å evaluere ideer for praktisk gjennomførbarhet i prosessen med brainstorming, når hver av dem blir utsatt for omfattende kritikk fra brainstorming-deltakerne).
Hovedregelen for ødeleggelsesstadiet er å vurdere hver av de systematiserte ideene bare fra synspunktet om hindringer for implementeringen, dvs. deltakere i angrepet fremførte argumenter som motbeviser den systematiserte ideen. Spesielt verdifullt er det at det i ødeleggelsesprosessen kan genereres en motidé som formulerer de eksisterende restriksjonene og fremmer et forslag om muligheten for å fjerne disse restriksjonene.
Gruppen med deltakere i brainstormingen på dette stadiet består av høyt kvalifiserte spesialister i området som diskuteres, antallet når 20-25 personer, og varigheten er 1,5 timer. Ødeleggelsesprosessen fortsetter til hver av de systematiserte ideene på listen blir kritisert. Den uttrykte kritikken og motideene er spilt inn på en båndopptaker.
Sjette etappe- vurdere kritikk og sette sammen en liste over praktisk anvendelige ideer. Gjennomføringen av stadiet utføres av problemsituasjonsanalysegruppen:
1. En liste over all kritikk mottatt på destruktureringsstadiet er satt sammen. Om nødvendig avklares kritiske kommentarer, dupliserende kommentarer forkastes.
2. En sammendragstabell over stadiene for systematisering og ødeleggelse av ideer er satt sammen, samt en liste over indikatorer for praktisk anvendelighet av ideer (disse indikatorene er spesifikke i hvert enkelt tilfelle og avhenger av den spesifikke problemsituasjonen). Den første kolonnen i tabellen - resultatene av scenen for systematisering av ideer; den andre - kritiske bemerkninger som tilbakeviser ideer; den tredje - indikatorer på praktisk anvendelighet av ideer; den fjerde - motideer uttrykt på ødeleggelsesstadiet.
3. Hver kritisk bemerkning og motidé blir evaluert:
a) slettes fra tabellen hvis den motbevises av minst én indikator på praktisk anvendelighet;
b) slettes ikke hvis den ikke tilbakevises av noen indikator.
4. En endelig liste over ideer er utarbeidet; bare de ideene overføres til listen som ikke tilbakevises av kritiske bemerkninger og forblir i tabellen, så vel som motideer.
Metoden for kollektiv generering av ideer har blitt testet i praksis og gjør det mulig å finne en gruppeløsning når man bestemmer mulige alternativer for utvikling av prognoseobjektet, unntatt veien til kompromisser, når en konsensus ikke kan betraktes som et resultat av en upartisk analyse av prognoseobjektet. problem.
Delphi-metoden. I løpet av de siste to tiårene er det laget egne metoder som til en viss grad gjør det mulig å organisere den statistiske behandlingen av eksperteksperters uttalelser og oppnå en mer eller mindre enig oppfatning. Delphi-metoden er en av de vanligste metodene for fagfellevurdering av fremtiden, d.v.s. ekspertprognoser. Denne metoden ble utviklet av det amerikanske forskningsselskapet RAND og tjener til å bestemme og evaluere sannsynligheten for visse hendelser.
Delphi-metoden er basert på følgende prinsipp: i unøyaktige vitenskaper må ekspertuttalelser og subjektive vurderinger nødvendigvis erstatte de eksakte kausalitetslovene som reflekteres av naturvitenskapene.
Delphi-metoden lar deg generalisere meningene til individuelle eksperter til en omforent gruppemening. Den har alle manglene til prognoser bygget på grunnlag av ekspertvurderinger. Imidlertid har arbeidet utført av RAND Corporation for å forbedre dette systemet betydelig økt fleksibiliteten, hastigheten og nøyaktigheten til prognoser.
Delphi-metoden er preget av tre funksjoner som skiller den fra de vanlige metodene for gruppeinteraksjon med eksperter. Disse funksjonene inkluderer: a) eksperters anonymitet; b) å bruke resultatene fra forrige runde av undersøkelsen; c) statistisk karakteristikk av grupperesponsen.
Anonymitet ligger i det faktum at under prosedyren for ekspertevaluering av det forutsagte fenomenet, er objektet, deltakerne i ekspertgruppen ukjente for hverandre. Samtidig elimineres samspillet mellom gruppemedlemmer når de fyller ut spørreskjemaer. Som et resultat av denne uttalelsen kan forfatteren av svaret ombestemme seg uten å kunngjøre det offentlig.
Bruken av resultatene fra forrige runde av undersøkelsen er som følger: siden gruppeinteraksjon utføres direkte ved å svare på spørreskjemaet, trekker en spesialist eller organisasjon som utfører forskning ved hjelp av Delphi-metoden ut fra spørreskjemaene kun informasjonen som er relatert til dette problemet . Spesialisteren tar hensyn til ekspertenes mening "for" og "mot" for hvert synspunkt. Hovedresultatet av funksjonen til dette systemet er å hindre gruppen i å vedta sine egne mål og mål. Dette systemet gjør det mulig for en gruppe spesialister å konsentrere innsatsen om de første oppgavene, og ikke anta noe nytt hver gang.
Det statistiske kjennetegnet ved en gruppesvar er at en gruppe spesialister lager en prognose som inneholder synspunktet til bare flertallet av eksperten, dvs. et synspunkt som flertallet av gruppen kunne være enig i. Det kan imidlertid neppe være noen indikasjon på graden av meningsforskjeller som kan eksistere blant medlemmene i gruppen. I stedet bruker Delphi-metoden de statistiske egenskapene til svaret, som inkluderer hele gruppens mening. Hvert svar i gruppen tas med i betraktningen når medianen konstrueres, og størrelsen på spredningen av svar karakteriseres av intervallet mellom kvartilene. Med andre ord kan grupperesponsen representeres som en median og to kvartiler, dvs. i form av et slikt tall, hvis estimater av halvparten av gruppemedlemmene var mer enn dette antallet, og den andre halvparten var mindre. Delphi-metoden gjør det mulig for jurymedlemmene å samhandle effektivt, selv om resultatene av denne interaksjonen kontrolleres av gruppelederen ved å oppsummere argumentene. Jurymedlemmer endrer sine vurderinger nettopp når argumentene til kollegene deres er overbevisende, ellers holder de seg hardnakket til sine motstridende synspunkter.
Delphi-metoden er gjennomførbar og effektiv for å oppnå fordelene ved gruppedeltakelse i utarbeidelsen av prognosen; samtidig minimerer eller eliminerer denne metoden de fleste vanskelighetene knyttet til kommisjonens arbeid, selv om det kan kreve mer tid enn en kommisjon med personlig kommunikasjon av medlemmene, spesielt hvis undersøkelsen gjøres per post.
I utviklingen av Delphi-metoden brukes krysskorreksjon. Den fremtidige begivenheten presenteres som et stort sett med sammenhengende og kryssende utviklingsveier.
Ved å presentere prognosen for vitenskapelige og teknologiske endringer som D 1 , D 2 , …, D n , og de tilsvarende sannsynlighetene som P 1 , P 2 , …, P n og anta P 1 = 100 %, finn endringer i verdiene av P 2, …, Рi, …, Рn.
Med introduksjonen av krysskorrelasjon vil verdiene til hver hendelse på grunn av de introduserte visse relasjonene endres enten positivt eller negativt, og dermed justere sannsynlighetene for hendelsene som vurderes. For fremtidig samsvar av modellen med reelle forhold, kan elementer av tilfeldighet introduseres i modellen.
Essensen av ekspertvurderingsmetoder for å utvikle prognoser er å bestemme konsistensen av ekspertuttalelser om lovende retninger for utviklingen av prognoseobjektet, tidligere formulert av individuelle spesialister, samt å vurdere aspekter ved utviklingen av objektet, som ikke kan bestemmes av andre metoder (for eksempel analytisk beregning, eksperiment osv.).
I. Opprettelse av grupper. For å organisere ekspertvurderinger opprettes det arbeidsgrupper som har til funksjoner å gjennomføre en undersøkelse, bearbeide materialer og analysere resultatene av en samlet ekspertvurdering. Arbeidsgruppen oppnevner eksperter som gir svar på spørsmål som stilles om utsiktene for utviklingen av denne næringen. Antall eksperter som er involvert i utviklingen av prognosen kan variere fra 10 til 150 personer, avhengig av objektets kompleksitet.
II. Formulering av systemets globale mål. Før du organiserer en undersøkelse av eksperter, er det nødvendig å avklare hovedretningene for utviklingen av objektet, samt å utarbeide en matrise som gjenspeiler det generelle målet, delmålene og midlene for å oppnå dem. Samtidig, under foranalysen, sammen med en gruppe spesialister, fastsettes de viktigste målene og delmålene for å løse oppgaven. Midlene for å nå målet forstås som områder for vitenskapelig forskning og utvikling, hvis resultater kan brukes til å nå målet. Samtidig bør ikke retningene for vitenskapelig forskning og utvikling krysse hverandre.
III. Utvikling av spørreskjema. Det består i utvikling av spørsmål som vil bli foreslått for eksperter. Spørsmålets form kan utvikles i form av tabeller, men innholdet deres bør bestemmes av spesifikasjonene til det forutsagte objektet eller industrien. Samtidig bør spørsmål settes sammen etter et visst strukturelt-hierarkisk opplegg, d.v.s. fra bred til smal, fra kompleks til enkel.
Når man gjennomfører en undersøkelse av eksperter, er det nødvendig å sikre entydig forståelse av enkeltspørsmål, samt uavhengighet av eksperters vurderinger.
IV. Beregning av ekspertestimater. Det er nødvendig å behandle materialet til ekspertvurderinger, som karakteriserer den generelle oppfatningen og graden av konsistens i individuelle vurderinger av eksperter. Behandlingen av ekspertvurderingsdata fungerer som kildemateriale for syntese av prediktive hypoteser og alternativer for utvikling av industrien.
Den endelige kvantitative vurderingen bestemmes ved hjelp av fire hovedmetoder for ekspertvurderinger og mange av deres varianter:
1) enkel rangeringsmetode (eller preferansemetode);
2) metoden for å sette vektkoeffisientene;
3) metoden for parede sammenligninger;
4) metoden for suksessive sammenligninger.
Enkel rangeringsmetode er at hver ekspert blir bedt om å ordne funksjonene i prioritert rekkefølge. Tallet én angir den viktigste egenskapen, tallet to angir den neste i viktighet, og så videre. Dataene som er oppnådd er oppsummert i følgende tabell.
Tabell 2.1 Ekspertvurderinger av tegn (forskningslinjer)
Rekkefølgen av preferanse for denne funksjonen fremfor andre.
Deretter, ved å bruke metodene for matematisk statistikk, oppnås en generalisert mening fra eksperter. Den gjennomsnittlige rangeringen bestemmes, den gjennomsnittlige statistiske verdien Sj for den j-te funksjonen:
hvor m kj er antall eksperter som vurderer den j-te egenskapen (m k m);
i - ekspertnummer; i = 1,...,m;
j - funksjonsnummer, j = 1,2,...,n.
Gjennomsnittlig rangering av hver funksjon bestemmes. Jo mindre verdien av Sj, jo større er viktigheten av denne funksjonen.
For å kunne si om fordelingen av ranger er tilfeldig eller det er konsistens i ekspertenes meninger, utføres beregningen av konkordanskoeffisienten , introdusert av M. Kendall.
Den gjennomsnittlige rangeringen av settet med funksjoner bestemmes:
Avviket d j for den gjennomsnittlige rangeringen til den j-te funksjonen fra den gjennomsnittlige rangeringen av populasjonen beregnes:
Antallet identiske rangeringer tildelt av eksperter til den j-te funksjonen bestemmes - t q .
Antall grupper med identiske rekker bestemmes - Q. Konkordanskoeffisienten bestemmes av formelen:
,(2.4)
,(2.5)
Koeffisienten kan ta verdier fra 0 til 1. Med fullstendig enighet om ekspertenes meninger er konkordanskoeffisienten lik en, med fullstendig uenighet - null. Det mest realistiske er tilfellet med delvis enighet om ekspertenes meninger.
Etter hvert som konsensusen mellom ekspertenes meninger øker, øker konkordanskoeffisienten og tenderer i ytterste konsekvens til enhet. Men selv om den er lik eller nær null, er det ikke alltid en fullstendig uenighet. Det kan være grupper blant eksperter med godt koordinerte meninger, men disse meningene er motsatte og nøytraliserer generelt hverandre. I dette tilfellet bør klynge eller kombinert analyse gjøres for å identifisere disse gruppene.
Fordeler med den enkle rangeringsmetoden:
1) den komparative enkelheten til prosedyren for å innhente estimater;
2) et mindre antall eksperter sammenlignet med andre metoder ved evaluering av samme sett med funksjoner.
Ulempen er at:
1) bevisst vurdere fordelingen av merker som ensartet;
2) nedgangen i betydningen av funksjoner antas også å være ensartet, mens dette i praksis ikke skjer.
Vektmetode er å tildele vekter til alle funksjoner. Vektkoeffisienter kan legges inn på to måter:
1) vektkoeffisienter er tilordnet alle funksjoner slik at summen av koeffisientene er lik et fast tall (for eksempel en, ti eller hundre);
2) det viktigste av alle tegn gis en vektingskoeffisient lik et eller annet fast tall, og alle resten får koeffisienter lik brøkdeler av dette tallet.
Den generelle oppfatningen fra eksperter oppnås også ved å bruke metodene for matematisk statistikk i henhold til formler (2.1 - 2.5).
Sekvensiell sammenligningsmetode er som følgende:
1) eksperten ordner alle funksjoner i synkende rekkefølge etter deres betydning: A 1 >EN 2 >…> A n ;
2) tildeler verdien lik én til den første attributten: A 1 =1, tildeler vektkoeffisienter til de andre attributtene i brøkdeler av én;
3) sammenligner verdien av den første funksjonen med summen av alle påfølgende.
Det er tre alternativer:
A 1 >A 2 + A 3 + … + A n
A 1 \u003d A 2 + A 3 + ... + A n
A 1< A 2 + A 3 + …+ A n
Eksperten velger det mest hensiktsmessige, etter hans mening, alternativet og bringer vurderingen av den første hendelsen i samsvar med det;
4) sammenligner verdien av den første funksjonen med summen av alle påfølgende funksjoner minus den nyeste funksjonen.
Tar vurderingen av den første funksjonen i samsvar med ulikheten valgt fra de tre alternativene:
A 1 > A 2 + A 3 + … + A n-1
A 1 = A 2 + A 3 + … + A n-1
A 1< A 2 + A 3 + … + A n-1
5) prosedyren gjentas til A 1 sammenlignes med A 2 + A 3.
Etter at eksperten har avgrenset estimatet av den første funksjonen i samsvar med ulikheten valgt av ham blant de tre mulige:
A1 > A2 + A3
A 1< A 2 + A 3
han fortsetter med å avgrense evalueringen av den andre egenskapen A 2 i henhold til samme skjema som i tilfellet med den første, dvs. poengsummen til den andre funksjonen sammenlignes med summen av de påfølgende.
Fordelen er at eksperten selv analyserer estimatene sine i prosessen med å evaluere funksjoner. I stedet for å tildele koeffisienter, er det en kreativ prosess for å lage disse koeffisientene.
Ulempene med metoden er:
1) dens kompleksitet; en utrent ekspert vil finne det vanskelig å takle denne prosedyren; i stedet for å avgrense sine opprinnelige estimater, vil han bli forvirret av dem;
2) omfang; det krever fire ganger flere operasjoner for å evaluere det samme settet med funksjoner enn den enkle rangeringsmetoden (med andre ord, fire ganger så mange eksperter er nødvendig for samme jobb).
Parvis sammenligningsmetode
Ifølge den sammenlignes alle tegn i par med hverandre. På grunnlag av parvise sammenligninger, blir skårene for hver attributt deretter funnet gjennom videre bearbeiding.
For å gjøre det lettere for en ekspert å gjøre sammenligninger, legges funksjoner (A,B,C,...N) inn i tabellen både horisontalt og vertikalt.
Eksperten fyller ut cellene i en slik tabell. Å sammenligne attributtet med seg selv gir en. I den første cellen skriver eksperten en, i den andre - resultatet av å sammenligne den første funksjonen med den andre, i den tredje - resultatet av å sammenligne den første funksjonen med den tredje, og så videre. Går videre til den andre linjen, skriver eksperten i den første cellen resultatet av å sammenligne den andre funksjonen med den første, i den andre cellen - en, i den tredje cellen - sammenligning av den andre funksjonen med den tredje, og så på.
Halvdelen av bordet over diagonalen fungerer som en refleksjon av den nederste halvdelen. For ikke å introdusere forvirring, for ikke å provosere eksperten til å beregne den ene halvdelen av tabellen på den andre, for å redusere antall operasjoner, er det tilrådelig å bare fylle ut halvparten av tabellen (over eller under diagonalen ). Derfor vil ekspertenes svar presenteres i form av følgende matrise:
Etter en rekke matematiske transformasjoner får vi estimater for hver funksjon A 1, A 2, ..., An fra ekspertens synspunkt. Oppsummerende funksjonspoeng oppnås ved identisk behandling av sammendragsmatrisen, hvor hvert element er summen av funksjonssammenligninger gitt av alle eksperter.
Den totale matrisen har formen
m er antall eksperter som vurderer et gitt sett med funksjoner;
- anslår henholdsvis 1, 2, …, j, …, m eksperter;
Den totale poengsummen gitt av alle eksperter.
Ved å bestemme variansen til den totale matrisen og sammenligne den med den maksimalt mulige variansen til en matrise med samme antall elementer, er det mulig å bestemme konsistensen av ekspertuttalelser. Jo nærmere variansen til sammendragsmatrisen er den maksimalt mulige variansen, desto høyere er konsensus av meninger. Dermed gjør metoden med parede sammenligninger det mulig å utføre en streng, statistisk underbygget analyse av konsistensen av ekspertuttalelser, for å avsløre om estimatene som er oppnådd er tilfeldige eller ikke. Utvilsomt er prosedyren for metoden for parede sammenligninger mer komplisert enn metoden for enkel rangering, men enklere enn metoden for sekvensielle sammenligninger.
Antallet eksperter som kreves for å evaluere et bestemt sett med funksjoner ved å bruke den parede sammenligningsmetoden er to ganger flere enn når du bruker den enkle rangeringsmetoden, og to ganger mindre enn når du bruker metoden for sekvensiell sammenligning.
For tiden, i mange metoder for å utføre ekspertvurderinger, er koeffisienten foreslått som en indikator på ekspertkompetanse:
, (2.6)
hvor er koeffisienten for ekspertkompetanse;
Koeffisient for ekspertens kjennskap til problemet under diskusjon;
Begrunnelsesfaktor.
Koeffisienten for graden av kjennskap til forskningens retning bestemmes ved egenvurdering av eksperten på en ti-punkts skala. Poengsummene for egenvurdering er som følger:
0 - eksperten er ikke kjent med problemet;
1,2,3 - eksperten er ikke kjent med spørsmålet, men spørsmålet er innenfor rammen av hans interesser;
4,5,6 - eksperten er tilfredsstillende kjent med problemet, deltar ikke direkte i den praktiske løsningen av problemet;
7,8,9 - eksperten er godt kjent med problemet, deltar i den praktiske løsningen av problemet;
10 - spørsmålet er inkludert i sirkelen av snever spesialisering av den sakkyndige.
Eksperten inviteres til å vurdere graden av deres kjennskap til problemstillingen og understreke passende poengsum. Så multipliseres denne poengsummen med 0,1, og vi får koeffisienten.
Begrunnelseskoeffisienten tar hensyn til strukturen til argumentene som fungerte som grunnlag for en viss vurdering av eksperten. Begrunnelseskoeffisient foreslås bestemt i samsvar med tabell 2.2 ved å summere verdiene notert av eksperten i cellene i denne tabellen.
Etter å ha bestemt kompetansekoeffisienten, multipliser verdien av ekspertvurderinger med den.
Tabell 2.2 Begrunnelseskoeffisientverdier
De viktigste stadiene i behandlingen av ekspertvurderinger:
fastsettelse av kompetansen til eksperter;
definisjon av en generalisert vurdering;
konstruksjon av en generalisert rangering av objekter i tilfelle av flere evaluerte objekter eller alternativer);
bestemmelse av avhengigheter mellom rangeringer;
Evaluering av konsistensen av ekspertuttalelser. I fravær av betydelig enighet mellom eksperter, er det nødvendig å identifisere årsakene til inkonsekvens (tilstedeværelse av grupper) og anerkjenne fraværet av en avtalt mening (ubetydelige resultater);
vurdering av forskningsfeil;
bygge en modell av egenskapene til objektet (objektene) basert på svarene fra eksperter (for analytisk ekspertise);
utarbeidelse av en rapport (som angir formålet med studien, sammensetningen av eksperter, vurdering og analyse av resultatene).
26. Utvelgelse av eksperter og deres undersøkelse.
Det foreslås ofte å bruke metoder for gjensidig vurdering og egenvurdering av eksperters kompetanse. På den ene siden, hvem er bedre å kjenne til en eksperts evner enn han selv? På den annen side vurderer egenvurdering av kompetanse heller graden av selvtillit til en ekspert enn hans reelle kompetanse. Dessuten er ikke selve begrepet «kompetanse» strengt definert. Det kan foredles ved å fremheve komponentene, men dette kompliserer den foreløpige delen av ekspertkommisjonens arbeid.
Når du bruker metoden for gjensidig vurdering, i tillegg til muligheten for å vise personlige og gruppelike liker og misliker, spiller eksperters uvitenhet om hverandres evner en rolle. I moderne forhold er det bare spesialister som har jobbet sammen i mange år som kan ha en ganske god kjennskap til hverandres arbeid og evner. Imidlertid er involveringen av slike spesialister ikke særlig hensiktsmessig, siden de er for like hverandre.
Bruken av formelle indikatorer (stilling, akademisk grad og tittel, tjenestetid, antall publikasjoner...) kan selvsagt være av hjelpekarakter. Suksessen med å delta i tidligere undersøkelser er et godt kriterium for aktivitetene til en smaksprøver, lege, dommer i sportskonkurranser, dvs. slike eksperter som deltar i en lang rekke lignende undersøkelser. Men dessverre, det mest interessante og viktige er den unike ekspertisen til store prosjekter som ikke har noen analoger.
Dersom ekspertundersøkelsesprosedyren involverer eksperters felles arbeid, er deres personlige egenskaper av stor betydning. Én "snakker" kan lamme aktiviteten til hele kommisjonen. I slike tilfeller er det viktig å følge arbeidsreglementet utviklet av arbeidsgruppen.
Det er en nyttig "snøball"-metode, der fra hver spesialist som er involvert som ekspert, innhentes flere navn på de som kan være eksperter på emnet som vurderes. Det er klart at noen av disse etternavnene møttes tidligere i WGs aktiviteter, og noen er nye. Prosessen med å utvide listen stopper når nye etternavn ikke lenger forekommer. Resultatet er en ganske omfattende liste over mulige eksperter. Det er klart at hvis alle eksperter på det første stadiet var fra samme "klan", så vil "snøball"-metoden mest sannsynlig gi personer fra denne "klanen", meninger og argumenter til andre "klaner" vil bli savnet.
Det må understrekes at utvelgelsen av eksperter til syvende og sist er Arbeidsgruppens funksjon, og ingen utvelgelsesmetoder kan frata dens ansvar. Det er med andre ord Arbeidsgruppen som har ansvar for kompetansen til ekspertene, for deres grunnleggende evne til å løse problemet. Et viktig krav er at beslutningstakeren godkjenner listen over eksperter.
Det finnes en rekke normative dokumenter som regulerer virksomheten til ekspertkommisjoner på visse områder. Et eksempel er den russiske føderasjonens lov "Om økologisk ekspertise" datert 23. november 1995, som regulerer prosedyren for undersøkelse av "foreslåtte økonomiske eller andre aktiviteter" for å identifisere mulig skade som den aktuelle aktiviteten kan forårsake for naturlige omgivelser.
27. Behandle informasjon mottatt fra eksperter, kontrollere konsistensen og påliteligheten.
Ekspertvurderinger kalles metoder for en generell gruppe vitenskapelige forskningsmetoder som brukes til å evaluere komplekse systemer på et kvalitativt nivå.
Ved bruk av sakkyndig skjønn antas det vanligvis at en ekspertgruppes oppfatning er mer pålitelig enn en individuell sakkyndigs oppfatning. Noen teoretiske studier bemerker at denne antakelsen ikke er åpenbar, men samtidig argumenteres det for at gruppeestimater i de fleste tilfeller er mer pålitelige enn individuelle. Når du organiserer ekspertundersøkelser, er det derfor viktig å innføre visse regler og bruke hensiktsmessige metoder for å innhente og behandle ekspertvurderinger.
Algoritmen for å organisere ekspertundersøkelser inkluderer stadier der følgende spørsmål vurderes:
· problemer med å danne ekspertgrupper, inkludert krav til eksperter, gruppestørrelser, spørsmål om opplæring av eksperter, vurdering av deres kompetanse;
former for ekspertundersøkelser (ulike typer spørreskjemaer, intervjuer, blandede former for undersøkelser) og undersøkelsesmetoder (inkludert undersøkelsesmetoder, idédugnad, forretningsspill osv.);
Tilnærminger til evaluering (rangering, normalisering, ulike typer bestilling, inkludert preferansemetoder, parede sammenligninger, etc.);
metoder for å behandle ekspertvurderinger;
Metoder for å bestemme konsistensen av ekspertuttalelser, påliteligheten til ekspertvurderinger (inkludert statistiske metoder for å vurdere varians, sannsynligheter for et gitt utvalg av vurderingsendringer, Kendall, Spearmans rangkorrelasjon, konkordanskoeffisient, etc.) og metoder for å forbedre konsistensen av vurderinger gjennom hensiktsmessige metoder for å behandle resultater ekspertundersøkelse;
· Varianter av tolkning av de oppnådde resultatene.
Hensiktsmessigheten av å bruke denne eller den metoden bestemmes av arten av det analyserte problemet, informasjonen som brukes.
Hvis bare kvalitative vurderinger av objekter i henhold til visse kvalitative egenskaper er berettiget, brukes metoder for rangering, paret og flere sammenligninger. Hvis arten av den analyserte informasjonen er slik at det er tilrådelig å innhente numeriske estimater av objekter, kan en eller annen metode brukes, alt fra direkte numeriske estimater ved bruk av skalaer til mer subtile metoder for sekvensiell sammenligning, for eksempel Churchman-Akoff .
eksamensprosedyrer
I prosessen med undersøkelser kan det oppstå feil - skjevheter i estimater introdusert av selve prosedyren for å samle inn og analysere ekspertuttalelser. Derfor legger spesialister innen ekspertmetoder stor vekt på utviklingen av pålitelige regler for forberedelse og gjennomføring av undersøkelser. De viktigste reglene og stadiene av eksamen er diskutert nedenfor.
For å forberede eksamen, bør det dannes en gruppe spesialister-arrangører. Denne gruppen blir bedt om å legge forholdene til rette for effektiv aktivitet til eksperter, for å utvikle en undersøkelsesprosedyre som er mest hensiktsmessig for arten av problemet som vurderes. Arbeidsoppgavene til gruppen inkluderer:
· Uttalelse av problemet, bestemmelse av målene og målene for eksamen, dens grenser, hovedstadier;
· Utvikling av eksamensprosedyre;
Utvalg av eksperter, verifisering av deres kompetanse og dannelse av ekspertgrupper:
· Gjennomføre en undersøkelse og bli enige om vurderinger;
· Formalisering av den mottatte informasjonen, dens behandling, analyse og tolkning.
Størrelsen på ekspertgruppen bør ikke være liten, da i dette tilfellet vil betydningen av utformingen av ekspertvurderinger gå tapt. I tillegg vil gruppepoengsummene være sterkt påvirket av hver eksperts poengsum. Samtidig, med et svært stort antall sakkyndige, har vurderingen av hver av dem nesten ingen innvirkning på gruppevurderingen. En økning i størrelsen på ekspertgruppen øker ikke alltid påliteligheten til estimatene, fordi utvidelsen av ekspertgruppen ofte bare er mulig ved å tiltrekke seg lavkvalifiserte spesialister. Etter hvert som antallet eksperter øker, øker også vanskelighetene knyttet til å behandle resultatene av undersøkelsen og koordinere arbeidet i gruppen.
Før en ekspertundersøkelse bør det utarbeides regler for dens oppførsel og organisering, som inneholder en rekke bestemmelser som er obligatoriske for alle eksperter. Disse reglene bør sikre at vilkårene som bidrar til at eksperter kan danne seg en objektiv mening, overholdes. Disse forholdene inkluderer:
· Uavhengighet av formasjonen av eksperter av deres egen mening om hendelsene som vurderes;
· Opprettholde anonymiteten til svarene;
· Mulighet for å holde kollektive diskusjoner om de estimerte hendelsene;
Gi eksperter nødvendig informasjon.
Avhengig av viktigheten og kompleksiteten til problemet og følgelig oppgavene som er tildelt gruppen av arrangører, inkluderer det opptil fem til syv personer - spesialister på dette feltet (områder) av kunnskap, samt spesialister i ekspertmetoder (sosiologer) , psykologer, matematikere).
Forberedelsen av eksamen begynner med problemstilling. For å gjøre dette, først og fremst blir de kjent med bakgrunnen og tilstanden til problemet, fastslår dets plass og betydning. Deretter utføres en foreløpig analyse av problemet, alle eksterne og interne forbindelser avklares, og grensene for materialet som inngår i vurderingen bestemmes. For å gjøre dette, fremmet arrangørene av eksamen det sentrale spørsmålet som utgjør essensen av problemet, og deretter "delte" det opp i underspørsmål, mens de begrenser "feltet" for vurdering bare til disse underspørsmålene, uten svar som det er umulig å få svar på det sentrale spørsmålet.
Når du løser komplekse sosioøkonomiske og vitenskapelige og tekniske problemer, refererer eksperter som representerer ulike grener av kunnskap til konseptene til forskjellige disipliner. Derfor er det nødvendig å formulere de grunnleggende konseptene. brukt i eksamen.
Avhengig av målene og målene for undersøkelsen, av utvalget av spesialister som deltar i den, velger arrangørene av undersøkelsen avstemningsmetode: individuelt eller gruppe (kollektiv), personlig (heltid) eller korrespondanse, muntlig eller skriftlig.
Uansett om det er snakk om et spørreskjema eller et intervju, er undersøkelsen basert på et spørreskjema, ved hjelp av hvilket den nødvendige informasjonen samles inn. Oversettelsen av formålet og oppgaven med eksamen til spørsmålsspråket krever komplekst og møysommelig arbeid fra arrangørene av eksamen, kunnskap om ulike typer spørsmål, evnen til å formulere dem nøyaktig, ordne dem i en viss rekkefølge.
Spørreskjemaet er et strukturelt organisert sett med spørsmål, som hver er logisk knyttet til eksamenens sentrale oppgave. Alle spørsmål i spørreskjemaet, avhengig av innholdet, kan deles inn i tre grupper: data om eksperten selv (hans alder, stilling, arbeidserfaring, utdanning, vitenskapelig tittel, smal spesialisering, etc.); spørsmål om fordelene ved problemet som studeres; spørsmål for å vurdere motivene som den sakkyndige holdt seg til i sin analyse.
I henhold til skjemaet er spørsmål åpne, lukkede og halvlukkede; direkte og indirekte. Spørsmålet anses som åpent (gratis) hvis svaret på det kan gis i noen form og ikke er regulert av noe, lukket - hvis ordlyden inneholder alternativer for mulige svar, og eksperten må velge ett eller flere; semi-lukket, dersom listen gir mulighet for ytterligere kommentarer.
Det er tre typer spørsmål som det gis en sakkyndig vurdering på - spørsmål der svarene inneholder en kvantitativ vurdering (1), som krever et meningsfylt svar i kortfattet (2) og utvidet (3) form.
Arbeidet med å velge ut eksperter som deltar i undersøkelsen begynner vanligvis med sammenstillingen av en liste over kompetente personer i feltet som studeres. Denne listen tjener som grunnlag for utvalget av eksperter som bruker spesielle metoder for å evaluere deres kvaliteter. Det er fire hovedgrupper av slike metoder: egenvurdering; vurderinger av gruppen til hver spesialist; vurdering basert på resultatene av ekspertens tidligere aktiviteter; metoder for å vurdere kompetansen til ekspertkandidater.
©2015-2019 nettsted
Alle rettigheter tilhører deres forfattere. Dette nettstedet krever ikke forfatterskap, men tilbyr gratis bruk.
Opprettelsesdato for side: 2016-04-27
Typer sakkyndig vurdering
Essensen av metoden for ekspertvurderinger ligger i gjennomføringen av eksperter av en intuitiv-logisk analyse av problemet med kvantitativ vurdering av dommer og den formelle behandlingen av resultatene. Den generelle oppfatningen fra eksperter innhentet som et resultat av behandlingen aksepteres som en løsning på problemet.
De karakteristiske trekkene ved metoden for ekspertvurderinger som et vitenskapelig verktøy for å løse komplekse uformelle problemer er:
vitenskapelig underbygget organisering av alle stadier av eksamen, for å sikre størst mulig effektivitet i arbeidet på hvert trinn,
· bruk av kvantitative metoder både ved organisering av eksamen og ved vurdering av eksperters vurderinger og formell gruppebehandling av resultatene.
En spesiell type fagfellevurderingsmetode er en ekspertundersøkelse - en type undersøkelse der respondentene er eksperter - høyt kvalifiserte spesialister innen et bestemt aktivitetsfelt.
En ekspert er en kompetent person som har dyp kunnskap om emnet eller objektet for forskning.
Metoden innebærer kompetent deltakelse av spesialister i analysen og løsningen av problemet under vurdering.
I praksisen med psykologisk og sosiologisk forskning brukes den til:
å forutsi utviklingen av et bestemt fenomen;
vurdering av den eksisterende tilstanden til ethvert fenomen;
samle inn foreløpig informasjon om forskningsproblemet (sondering);
vurdering av de psykologiske og pedagogiske egenskapene til studenter;
teamvurderinger;
Personellsertifisering (ledere for teamet, offentlige organisasjoner eller en spesiell sertifiseringskommisjon fungerer som eksperter).
Fordeler med fagfellevurderingsmetoden
Når vi tar beslutninger om en diagnose, antar vi vanligvis at informasjonen som brukes for å støtte den er gyldig og pålitelig. Men for mange pedagogiske og psykologiske problemer kan denne antakelsen ikke bevises. Praksis viser at hovedvanskene som oppstår ved søk og valg av løsninger vedrørende ulike psykologiske situasjoner først og fremst skyldes utilstrekkelig høy kvalitet og ufullstendighet av tilgjengelig statistisk informasjon eller prinsipielt umulig å få tak i den. Da kommer metoden til eksperter til unnsetning, som lar deg se på problemet bredt og se en mulig løsning.
Påliteligheten til vurderinger og avgjørelser tatt på grunnlag av ekspertvurderinger er ganske høy og avhenger i stor grad av organiseringen og retningen av prosedyren for innsamling, analyse og behandling av de mottatte uttalelsene. Resultatene av en undersøkelse av ekspertgrupper skiller seg vesentlig fra beslutningene som er truffet som et resultat av diskusjoner på møter i kommisjoner, der oppfatningen fra autoritative eller bare "påståelige" deltakere kan råde. Dette betyr ikke at den individuelle oppfatningen til en bestemt spesialist eller avgjørelsen til en slik kommisjon ikke er vesentlig. Imidlertid viser riktig behandlet informasjon mottatt fra en gruppe eksperter seg som regel å være mer pålitelig og pålitelig.
Denne metoden kan ikke brukes når:
Den første statistiske informasjonen er ikke tilstrekkelig pålitelig;
noe av informasjonen er av kvalitativ karakter og kan ikke kvantifiseres;
I prinsippet kan nødvendig informasjon innhentes, men på tidspunktet for beslutningen er den ikke tilgjengelig, siden dette er forbundet med en stor investering av tid eller penger;
Det er en stor gruppe faktorer som kan påvirke implementeringen av løsningen i fremtiden, men de kan ikke forutsies nøyaktig.
Krav til ekspertgruppen
Påliteligheten til gruppeekspertvurderinger avhenger av det totale antallet eksperter i gruppen, andelen ulike spesialister i gruppen og av ekspertenes egenskaper.
Et vanskelig problem er dannelsen av et system med ekspertegenskaper som kan påvirke kurset og resultatene av eksamen betydelig. Disse egenskapene skal beskrive spesialistens spesifikke egenskaper og mulige forhold mellom personer som påvirker undersøkelsen.
Utvelgelsen av eksperter, dannelsen av ekspertgrupper er en ganske vanskelig oppgave, hvis resultat bestemmer i størst grad effektiviteten til metoden og riktigheten av de oppnådde løsningene. Utvalget av spesialister til å delta i en ekspertundersøkelse begynner med identifisering av vitenskapelige, tekniske og administrative problemer direkte knyttet til løsningen av oppgaven.
Det utarbeides en liste over personer som er kompetente på de nødvendige feltene, som fungerer som grunnlag for utvalget av eksperter. En ekspert i ordets fulle forstand er en aktiv deltaker i vitenskapelig forskning. Et forsøk på å skjule hensikten med studien for ham, og dermed gjøre ham til en passiv informasjonskilde, er full av tap av tilliten til arrangørene av studien.
Dannelsen av en gruppe potensielle eksperter begynner med "snøball"-metoden. Etter å ha vurdert antall mulige ekspertkandidater avgjøres spørsmålet om størrelsen på ekspertgruppen. Det er neppe mulig å bestemme det optimale antallet nøyaktig, men det er åpenbart at i en liten gruppe eksperter er sluttskåren utilbørlig påvirket av poengsummen til hver av ekspertene. For mange eksperter gjør det vanskelig å danne seg en konsensusoppfatning. I tillegg, med en økning i antall deltakere, reduseres rollen til ikke-standardiserte meninger, som skiller seg fra flertallets mening, men som ikke alltid viser seg å være feil. Involveringen av et stort antall eksperter gjør det mulig å i det minste delvis kompensere for mangelen på informasjon, å gjøre mer bruk av individuell og kollektiv erfaring, og å ta hensyn til forutsetningene til spesialister om de fremtidige tilstandene til objekter.
Av grunnleggende betydning er muligheten for å sikre "likhet" mellom forskere-spesialister på ulike felt, ulike nivåer av kompetanse, under hensyntagen til spesifikasjonene til problemet som studeres.
Imidlertid kan noen generelle krav stilles, noe som innebærer en liste over egenskaper som en "ideell" ekspert bør ha, som det er å foretrekke å jobbe med:
kompetansen til en potensiell ekspert på feltet som studeres,
lærdom innen beslektede felt,
erfaring med vitenskapelig eller praktisk arbeid innen et bestemt felt,
jobb stilling,
· integritet,
Objektiviteten
Evnen til å tenke kreativt
intuisjon.
For å velge spesialister til arbeidsgruppen, brukes noen enkle statistiske metoder og teknikker, så vel som deres kombinasjon:
1) eksperimentell (ved å bruke testing, sjekke effektiviteten av deres tidligere ekspertaktiviteter);
2) dokumentar (basert på sosiodemografiske data);
4) ved hjelp av egenvurdering (vurdering av kompetansegraden til problemet som studeres, gitt av den potensielle eksperten selv).
I tillegg til disse metodene er det mulig å beregne påliteligheten og nøyaktigheten til ekspertvurderinger presentert av noen av de potensielle ekspertene tidligere. For å gjøre dette beregnes graden av pålitelighet til eksperten, som forstås som den relative frekvensen av tilfeller når eksperten tilskrev den høyeste sannsynligheten til hypoteser som senere ble bekreftet (det vil si antallet spådommer gjort av eksperten generelt er delt på antall spådommer som gikk i oppfyllelse). Konseptet med pålitelighet og nøyaktighet til en ekspert er basert på antakelsen om at det er en klasse av problemer som en ekspert enten er egnet eller ikke egnet for.
Sakkyndig vurderingsprosedyre
Arbeidet til personen som organiserer ekspertundersøkelsen inkluderer også forberedelse av eksperter til arbeid, spesielt for å gi dem de mest objektive dataene om problemet. Man bør sørge for at deltakerne er tilstrekkelig informert om kildene til problemet som studeres og hvordan lignende problemer har blitt håndtert tidligere.
Arbeidet inkluderer:
· Sammenstilling av spesielle spørreskjemaer for eksperter Hovedverktøyene i en ekspertundersøkelse er et spørreskjema eller et intervjuskjema utviklet i henhold til et spesialprogram. I motsetning til masseundersøkelsen er ekspertundersøkelsesprogrammet ikke like detaljert og er hovedsakelig av konseptuell karakter. I den er først og fremst fenomenet som skal vurderes utvetydig formulert, mulige varianter av utfallet er gitt i form av hypoteser;
valg av en gruppe eksperter;
sette oppgaven og presentere spørsmål til eksperter;
valg av metode for ekspertvurderinger;
Selve vurderingen
analyse av mottatte data.
Det er nødvendig at betingelsene for å gjennomføre undersøkelsen bidrar til å oppnå de mest pålitelige estimatene. For å sikre uavhengigheten til vurderinger bør den gjensidige påvirkningen fra eksperter elimineres når det er mulig, og påvirkningen fra fremmede faktorer bør reduseres. Av stor betydning er den korrekte ordlyden av spørsmålene i spørreskjemaet, som gjør det mulig å uttrykke ekspertens holdning til hvert spørsmål i form av en kvantitativ vurdering og gjøre det mulig å harmonisere vurderingene mottatt fra forskjellige eksperter. Hvis formen for undersøkelsen av eksperter involverer deres ansikt-til-ansikt interaksjon, må man sørge for at meningene til de mest kjente og autoritative ekspertene ikke setter tonen for diskusjoner (for dette, når man snakker, ordet " ordinære” deltakere gis først, og deretter de mest kjente og autoritative).
Det kan også være nødvendig:
verifisering av inndata som brukes til ekspertvurderinger;
endring i sammensetningen av ekspertgrupper;
· gjentatte målinger på samme problemstillinger med påfølgende sammenligning av resultatene med objektiv informasjon innhentet ved andre metoder.
Etter å ha gjennomført en spørreundersøkelse av en gruppe eksperter, blir resultatene bearbeidet. Den første informasjonen for behandling er de numeriske dataene som uttrykker ekspertenes preferanser og den materielle begrunnelsen for disse preferansene.
Formålet med behandlingen er å innhente generaliserte data og ny informasjon inneholdt i skjult form i sakkyndige vurderinger. Basert på behandlingsresultatene dannes en løsning på problemet. Tilstedeværelsen av både numeriske data og meningsfulle uttalelser fra eksperter fører til behovet for å bruke kvalitative og kvantitative metoder for å behandle resultatene av gruppeekspertevaluering.
Et av de viktigste stadiene i behandlingen av den innsamlede informasjonen er koordineringen av ekspertuttalelser, som kan gjøres på grunnlag av en av følgende regler:
Flertallets regel - vurderingen av fenomenet eller løsningen av problemet som flertallet av ekspertene holder seg til velges (det bør imidlertid bemerkes at situasjoner ikke er uvanlige når eksperter som gir mer pålitelige estimater er i mindretall);
Regel for gjennomsnittlig vurdering - enten en enkel eller en vektet gjennomsnittlig vurdering av ekspertuttalelser bestemmes.
En kvalitativ analyse av årsakene til å gruppere meninger gjør det mulig å fastslå eksistensen av ulike synspunkter, konsepter, identifisere vitenskapelige skoler, bestemme arten av profesjonell aktivitet, etc. Alle disse faktorene gjør det mulig å forstå resultatene av ekspertundersøkelsen dypere.
Typer sakkyndig vurdering
Eksisterende typer ekspertvurderinger kan klassifiseres etter følgende kriterier:
1 I henhold til formen for deltakelse av eksperter:
korrespondanse.
Ansikt-til-ansikt-metoden lar eksperten fokusere på problemet som skal løses, noe som forbedrer kvaliteten på resultatet, men den eksterne metoden kan være billigere. Valget av alternativer for å jobbe med eksperter bestemmes av detaljene ved problemet og situasjonen. Ansikt-til-ansikt alternativer for å jobbe med eksperter gjør det mulig å samle inn bedre informasjon, selv om det er organisatoriske vanskeligheter og gjensidig påvirkning fra eksperter. Korrespondansearbeidsformer med eksperter gjør det mulig å ignorere geografiske grenser ved intervju av eksperter, utelukker deres gjensidige påvirkning, men gjør arbeidet til ekspertgrupper ikke operativt.
Typer ansikt-til-ansikt undersøkelser:
1. Gratis intervju av eksperter. Den har et etterretningsformål og brukes oftere når det er nødvendig å presentere problemet mer nøyaktig, avklare noen nyanser, tydeligere tolke konseptene som brukes og skissere hovedretningene for forskning. Antall intervjuede eksperter her er lite (10-15), men hovedsaken er at de utvalgte ekspertene skal være representanter for faglig og vitenskapelig ulike synspunkter. Et slikt intervju gjennomføres av en erfaren sosionom.
2. Spørreskjemaundersøkelse av eksperter.
3. "Brainstorming", "brainstorming" - en direkte utveksling av synspunkter, stimulerende observasjon. Hovedmålet er å finne en løsning eller måter å løse et vitenskapelig eller praktisk problem på.
Varianter av korrespondanseundersøkelse:
1. Mail spørreskjema av eksperter
2. Delphic-teknikk - er å utvikle avtalte meninger ved å gjenta undersøkelsen til de samme ekspertene gjentatte ganger. Etter den første undersøkelsen og oppsummering av resultatene, blir resultatene formidlet til medlemmene av ekspertgruppen. Deretter gjennomføres en ny meningsmåling, hvor ekspertene enten bekrefter sitt synspunkt eller endrer vurderingen i samsvar med flertallets oppfatning. En slik syklus inneholder 3-4 pass. I løpet av en slik prosedyre utvikles det en vurdering, men samtidig skal forskeren selvfølgelig ikke ignorere meningen til de som etter gjentatte undersøkelser forble på sitt synspunkt.
Åpenbart er denne typen arbeid med eksperter svært tidkrevende og komplisert, selv om bruken av Delphic-teknikken har sine fordeler: anonymiteten til undersøkelsen sikres ved å utelukke samhandling av eksperter; etablere tilbakemelding i form av en melding med behandlet informasjon om det avtalte synspunktet til eksperter på tidligere stadier av undersøkelsen; utelukkelse av gjensidig påvirkning fra eksperter. Delphi-metoden tar ikke sikte på å oppnå en fullstendig enstemmighet i ekspertenes meninger om sakens substans, og til tross for konvergensen av synspunkter, vil det fortsatt være en forskjell i ekspertenes meninger. Ulempen med denne typen undersøkelser av eksperter er avhengigheten av vurderinger gitt av eksperter på ordlyden av spørsmål og argumenter; opinionens innflytelse på eksperter.
2. I henhold til oppgavene som skal løses:
generere løsninger;
evalueringsalternativer.
3. Etter type svar:
· ideologisk;
rangering;
Evaluering av objektet i en relativ eller absolutt (numerisk) skala.
4. I henhold til metoden for å behandle ekspertuttalelser:
umiddelbar;
analytisk.
5. Etter antall involverte eksperter:
Uten grenser;
begrenset (vanligvis brukes 5 - 12 eksperter).
De mest kjente metodene for ekspertvurderinger er Delphi-metoden, brainstorming og hierarkianalysemetoden. Hver metode har sin egen timing og behov for eksperter.
Bibliografi:
1. Beshelev S.D., Gurvich F.G. Ekspertvurderinger. M.: Nauka, 1973. 246 s.
2. Beshelev S.D., Gurvich F.G. Matematiske og statistiske metoder for ekspertvurderinger. M.: Statistikk, 1980. 263 s.
3. Kardanskaya N. Beslutningstaking i ledelsen. M.: UNITI, 1999. 407 s.
Utdannings- og vitenskapsdepartementet i Russland
Mari statlige tekniske universitet
Avdeling for kontroll og produksjon av radioutstyr
om emnet: Metoder for ekspertvurderinger
Fullført: Art. gr. BZD-41
Kopylova I.V.
Sjekket av prof. kafe Kypros
Skulkin N.M.
Yoshkar-Ola 2012
Introduksjon
Ekspertvurdering
Stadier av sakkyndig vurdering
Typer ekspertvurderinger
Behandling av resultatene fra undersøkelsen av eksperter
Konklusjon
Bibliografi
Introduksjon
Eksempler på ekspertvurderingsmetoder. Hvordan vil det økonomiske miljøet endre seg over tid? Hva skjer med naturmiljøet om ti år? Hvordan vil miljøet endre seg? Vil miljøsikkerheten til industriell produksjon sikres, eller vil en menneskeskapt ørken begynne å spre seg rundt? Det er nok å tenke på disse naturlige spørsmålene, å analysere hvordan vi forestilte oss nåtiden for ti eller mer enn tjue år siden, for å forstå at det rett og slett ikke kan være hundre prosent pålitelige prognoser. I stedet for utsagn med konkrete tall kan det kun forventes kvalitative vurderinger. Likevel må vi ingeniører ta beslutninger om for eksempel miljø- og andre prosjekter og investeringer, som vil merkes om ti, tjue, og så videre. år. Hvordan være? Det gjenstår å vende seg til metodene for ekspertvurderinger. Hva er disse metodene?
1. Sakkyndig vurdering
Ekspertvurdering- prosedyren for å få en vurdering av problemet basert på vurderingen fra spesialister (eksperter) med det formål å ta beslutninger (valg).
Eksperter(fra latin "expertus" - erfaren) - dette er personer som har kunnskap og er i stand til å uttrykke en begrunnet mening om fenomenet som studeres.
Metoder for ekspertvurderinger - Dette er metoder for å organisere arbeidet med ekspertspesialister og behandle ekspertuttalelser.
Essensen av ekspertvurderingsmetoder ligger i det faktum at prognosen er basert på mening fra en spesialist eller et team av spesialister basert på faglig, vitenskapelig og praktisk erfaring. Det er individuelle og kollektive sakkyndige vurderinger.
Ekspertvurdering brukes ofte ved utvelgelse, for eksempel:
en variant av en teknisk enhet som skal lanseres i en serie med flere prøver,
grupper av astronauter fra mange søkere,
et sett med forskningsprosjekter for finansiering fra en samling av søknader,
mottakere av miljølån fra mange søkere,
ved valg av investeringsprosjekter for gjennomføring blant de presenterte mv.
2. Stadier av ekspertevaluering
1. Sette målet for studiet.
Ekspertvurdering innebærer å skape et slags sinn med større evner sammenlignet med evnene til et individ. Kilden til mulighetene til multimind er søket etter svake assosiasjoner og antagelser basert på erfaringen til en individuell spesialist. Eksperttilnærmingen lar deg løse problemer som ikke kan løses på vanlig analytisk måte, inkludert:
· Velge den beste løsningen blant de tilgjengelige.
· Forutsi utviklingen av prosessen.
· Finne mulige løsninger på komplekse problemer.
Før du starter en ekspertstudie, er det nødvendig å klart definere formålet (problemet) og formulere et passende spørsmål for ekspertene. I dette tilfellet anbefales det å følge følgende regler:
· En klar definisjon av forholdene, tiden, ytre og indre begrensninger av problemet. * Evnen til å svare på et spørsmål med menneskeerfaren nøyaktighet.
· Spørsmålet er bedre formulert som en kvalitativ påstand enn som et anslag på et tall. For numeriske estimater anbefales det ikke å sette mer enn fem graderinger.
· Eksperter vurderer mulige alternativer, og man bør ikke forvente at de skal utvikle en fullstendig handlingsplan, en detaljert beskrivelse av mulige løsninger.
2. Valg av forskningsform, fastsettelse av prosjektbudsjett.
Eksisterende typer ekspertvurderinger kan klassifiseres etter følgende kriterier:
· I henhold til form for deltakelse av eksperter: heltid, deltid. Ansikt-til-ansikt-metoden lar eksperter fokusere på problemet som skal løses, noe som forbedrer kvaliteten på resultatet, men den eksterne metoden kan være billigere.
· Etter antall iterasjoner (repetisjoner av prosedyren for å forbedre nøyaktigheten) - ett-trinns og iterativ.
· I henhold til oppgavene som skal løses: generere løsninger og vurdere alternativer.
· Etter type svar: ideologisk, rangering, evaluering av objektet i en relativ eller absolutt (numerisk) skala.
· I henhold til metoden for å behandle ekspertuttalelser: direkte og analytisk.
· Etter antall involverte eksperter: ubegrenset, begrenset. Vanligvis brukes 5-12 eksperter.
De mest kjente metodene for ekspertvurderinger er Delphi-metoden, brainstorming og hierarkianalysemetoden. Hver metode har sin egen timing og behov for eksperter. Etter å ha valgt metoden for ekspertevaluering, er det mulig å bestemme kostnadene for prosedyren, som inkluderer betaling av eksperter, leie av lokaler, kjøp av skrivesaker, betaling av en spesialist i å gjennomføre og analysere resultatene av undersøkelsen.
3. Utarbeidelse av informasjonsmateriell, skjemaer for spørreskjema, prosedyremoderator.
Eksperter bør diversifisere det presenterte problemet før de tar en vurdering. For å utføre denne prosedyren er det nødvendig å utarbeide informasjonsmateriell som beskriver problemet, tilgjengelige statistiske data, referansemateriale, spørreskjemaskjemaer, inventar. Følgende feil bør unngås: å nevne utviklerne av materialer, fremheve et eller annet løsningsalternativ, uttrykke ledelsens holdning til de forventede resultatene. Data bør være allsidige og nøytrale. Det er nødvendig å utvikle spørreskjemaer for eksperter på forhånd. Avhengig av metode kan de være med åpne og lukkede spørsmål, svaret kan gis i form av en dom, parsammenlikning, rangerte serier, i poeng eller i form av en absolutt vurdering.
Selve prosedyren utføres av en uavhengig moderator av prosedyren, som kontrollerer overholdelse av regelverket, distribuerer materiell og spørreskjemaer, men som ikke uttrykker sin egen mening.
4. Utvalg av eksperter.
Problemet med å velge eksperter er et av de vanskeligste i teorien og praksisen til ekspertforskning. Som eksperter er det åpenbart nødvendig å bruke de personene hvis vurderinger vil bidra mest til å ta en adekvat avgjørelse. Men hvordan identifisere, finne, velge slike mennesker? Det må sies ærlig at det ikke er noen metoder for å velge eksperter som helt sikkert vil sikre suksessen til eksamen.
To komponenter kan skilles i problemet med å velge eksperter - å sette sammen en liste over mulige eksperter og velge en ekspertkommisjon fra dem i samsvar med kompetansen til kandidatene.
Eksperter bør ha erfaring innen områder som er relevante for oppgavene som skal løses. Når man velger eksperter, bør man ta hensyn til øyeblikket av personlig interesse, som kan bli en betydelig hindring for å oppnå en objektiv dom. Til dette formål brukes for eksempel Shars metoder, når én ekspert, den mest respekterte spesialisten, anbefaler en rekke andre og videre i kjeden inntil nødvendig team er valgt.
5. Gjennomføring av eksamen.
Prosedyren varierer avhengig av metoden som brukes. Generelle anbefalinger:
· Sett og følg regler. Å øke tiden for å ta en beslutning utover den optimale, forbedrer ikke nøyaktigheten av svaret.
6. Statistisk analyse av resultater . Etter å ha mottatt svarene fra ekspertene, er det nødvendig å evaluere dem. Dette tillater:
1) Vurder konsistensen av ekspertuttalelser. I fravær av betydelig enighet blant eksperter, er det nødvendig å identifisere årsakene til inkonsekvens (tilstedeværelse av grupper) og anerkjenne fraværet av en avtalt mening (ubetydelige resultater).
) Anslå forskningsfeil.
) Bygg en modell av objektegenskaper basert på svar fra eksperter (for analytisk ekspertise). Resultatene av ekspertvurderinger utstedes i form av en rapport. Rapporten angir formålet med studien, sammensetningen av eksperter, den mottatte vurderingen og den statistiske analysen av resultatene.
7. Utarbeidelse av rapport med resultater av sakkyndig vurdering.
. Typer ekspertvurderinger
Metoder for ekspertvurderinger kan deles inn i to grupper:
§ metoder for ekspertgruppens kollektive arbeid
§ metoder for å innhente en individuell mening fra medlemmene av ekspertgruppen.
Metoder for ekspertgruppens kollektive arbeid innebære å innhente en felles mening i løpet av en felles diskusjon om problemet som skal løses. Disse metodene blir noen ganger referert til som direkte kollektive meningsmetoder. Hovedfordelen med disse metodene ligger i muligheten for en omfattende analyse av problemer. Ulempene med metodene er kompleksiteten i prosedyren for å innhente informasjon, kompleksiteten ved å danne en gruppemening om de individuelle vurderingene fra eksperter, muligheten for press fra myndigheter i gruppen.
Teamarbeidsmetoder inkluderer idédugnad, skripting, forretningsspill, møter og dømmekraft.
Hjerneangrep.Det er organisert som et ekspertmøte, hvis taler er pålagt en, men svært betydelig, begrensning - man kan ikke kritisere andres forslag. Du kan utvikle dem, du kan uttrykke ideene dine, men du kan ikke kritisere! Under møtet uttrykker ekspertene, som «smitter» hverandre, mer og mer ekstravagante betraktninger. To timer senere avsluttes økten som er tatt opp på en båndopptaker eller videokamera, og den andre fasen av idédugnaden begynner - analysen av ideene som er uttrykt. Vanligvis, av 100 ideer, fortjener 30 ytterligere utdyping, av 5-6 gjør de det mulig å formulere anvendte prosjekter, og 2-3 viser seg til slutt å gi en gunstig effekt - profitt, økt miljøsikkerhet, forbedring av det naturlige miljøet , etc. Samtidig er tolkningen av ideer en kreativ prosess. For eksempel, når man diskuterte mulighetene for å beskytte skip mot et torpedoangrep, ble ideen uttrykt: "Sett opp sjømennene langs siden og blås på torpedoen for å endre kurs." Etter utdypning førte denne ideen til opprettelsen av spesielle enheter som lager bølger som slår torpedoen ut av kurs.
Metode "635"- en av variantene av idédugnad. Tallene 6, 3, 5 indikerer seks deltakere, som hver må skrive ned tre ideer innen fem minutter. Bladet beveger seg rundt. Dermed vil alle i løpet av en halvtime skrive ned 18 ideer i eiendelen sin, og alle sammen - 108. Strukturen til ideer er klart definert. Metodemodifikasjoner er mulige. Denne metoden er mye brukt i utlandet (spesielt i Japan) for å velge fra en rekke ideer de mest originale og progressive for å løse visse problemer.
forretningsspiller basert på modellering av funksjonen til det sosiale styringssystemet når man utfører operasjoner rettet mot å nå målet. I motsetning til tidligere metoder, hvor ekspertvurderinger dannes i løpet av en kollektiv diskusjon, involverer forretningsspill aktivt arbeid fra en ekspertgruppe, hvor hvert medlem har et visst ansvar i samsvar med forhåndskompilerte regler og et program.
Den største fordelen med forretningsspill er muligheten til å utvikle en løsning i dynamikk, som tar hensyn til alle stadier av prosessen som studeres med samspillet mellom alle elementer i det offentlige styringssystemet. Ulempen ligger i kompleksiteten ved å organisere et forretningsspill under forhold nær en reell problemsituasjon.
Møtemetode("provisjoner", "rundt bord") - den mest enkle og tradisjonelle. Det innebærer å holde et møte eller diskusjon for å utvikle en felles kollektiv mening om problemet som skal løses. I motsetning til "brainstorming"-metoden, kan hver ekspert ikke bare uttrykke sin mening, men også kritisere forslagene fra andre. Som et resultat av en slik nøye diskusjon reduseres muligheten for feil i utviklingen av en beslutning.
Fordelen med metoden er enkelheten i implementeringen. På møtet kan imidlertid en av deltakernes feilaktige mening vedtas på grunn av hans autoritet, offisielle stilling, utholdenhet eller oratoriske evner.
Kommisjonsmetode- en av metodene for ekspertvurderinger, basert på arbeidet til spesielle kommisjoner. Ekspertgrupper ved «rundebordet» diskuterer en bestemt sak for å bli enige om synspunkter og utvikle en felles mening. Ulempen med denne metoden er at gruppen av eksperter i sine vurderinger i hovedsak styres av kompromisslogikken.
Metode for å skrive manuser basert på å bestemme logikken til en prosess eller et fenomen i tid under ulike forhold. Det innebærer etablering av en sekvens av hendelser som utvikler seg under overgangen fra den nåværende situasjonen til den fremtidige tilstanden til objektet. Et særegent scenario kan være en beskrivelse av rekkefølgen og betingelsene for internasjonal integrasjon av økonomiene i landene, inkludert følgende spørsmål:
fra hvilke enkleste former til mer komplekse denne prosessen må passere;
hvordan det vil påvirke den nasjonale økonomien og de økonomiske relasjonene til land;
hva er de økonomiske, organisatoriske, sosiale, juridiske problemene som kan oppstå i løpet av internasjonaliseringen av økonomien.
Prognosescenarioet bestemmer utviklingsstrategien til prognoseobjektet. Det skal gjenspeile det generelle målet for utviklingen av objektet, kriteriene for å evaluere de øvre nivåene i måltreet, prioriteringene av problemene og ressursene for å nå hovedmålene. Scenarioet viser en konsistent løsning på problemet, mulige hindringer. I dette tilfellet brukes de nødvendige materialene for utvikling av prognoseobjektet.
Scenarioet bør skrives på en slik måte at det etter lesing blir klart det overordnede målet for arbeidet som skal utføres i lys av de samfunnsøkonomiske oppgavene for prognoseperioden.
Den er vanligvis multivariabel og fremhever tre oppførselslinjer:
optimistisk - utviklingen av systemet i den mest gunstige situasjonen;
pessimistisk - utviklingen av systemet i den minst gunstige situasjonen;
arbeider - utviklingen av systemet, tatt i betraktning motvirkningen til negative faktorer, hvis utseende er mest sannsynlig.
Som en del av prognosescenarioet er det tilrådelig å utarbeide en backupstrategi i tilfelle uforutsette situasjoner.
Det ferdige manuset må analyseres. Basert på analysen av informasjon som anses egnet for den kommende prognosen, formuleres mål, kriterier fastsettes og alternative løsninger vurderes.
rettsmetodener en slags metode for "møter" og implementeres i analogi med gjennomføringen av rettssaken.
Valgte løsninger fungerer som "tiltalte";
i rollen som "dommere" - beslutningstakere;
i rollen som "aktor" og "forsvarere" - medlemmer av ekspertgruppen.
Rollen som "vitner" utføres av ulike utvalgsforhold og argumenter fra eksperter. Ved gjennomføring av en slik «rettssak» avvises eller fattes enkelte avgjørelser.
Det er tilrådelig å bruke «domstol»-metoden når det er flere ekspertgrupper som holder seg til ulike løsninger.
Metoder for å innhente en individuell mening fra medlemmene av ekspertgruppen er basert på foreløpig mottak av informasjon fra eksperter som er intervjuet uavhengig av hverandre, med påfølgende behandling av de mottatte dataene. Disse metodene inkluderer spørreskjemametoder, intervjuer og Delphi-metoder. De viktigste fordelene med metoden for individuell ekspertevaluering er deres effektivitet, evnen til å fullt ut bruke de individuelle evnene til en ekspert, fraværet av press fra myndighetene og de lave kostnadene for ekspertise. Deres største ulempe er den høye graden av subjektivitet til estimatene oppnådd på grunn av den begrensede kunnskapen til en ekspert.
Delphi metode.Målet er å utvikle et program med påfølgende multi-runde individuelle undersøkelser. En individuell undersøkelse av eksperter gjennomføres vanligvis i form av spørreskjemaer. Deretter utføres deres statistiske behandling på en datamaskin og gruppens kollektive oppfatning dannes, argumenter til fordel for ulike dommer identifiseres og generaliseres. Den databehandlede informasjonen formidles til eksperter, som kan korrigere estimatene, og forklare årsakene til deres uenighet med den kollektive dommen. Denne prosedyren kan gjentas opptil 3-4 ganger. Som et resultat er det en innsnevring av spekteret av estimater og en konsistent vurdering foretas angående utsiktene for utviklingen av objektet. Funksjoner ved Delphi-metoden:
a) eksperters anonymitet (medlemmer av ekspertgruppen er ukjente for hverandre, interaksjonen mellom gruppemedlemmer når de fyller ut spørreskjemaer er helt utelukket);
b) muligheten for å bruke resultatene fra forrige runde av undersøkelsen;
c) en statistisk karakteristikk av gruppens mening.
Denne metoden bidrar til å forhåndsbestemme utviklingen av langsiktige problematiske situasjoner. Våre spesialister som arbeider innen vitenskapelig og teknisk prognoser utvikler også metoder for å behandle ekspertvurderinger. De kalles heuristiske.
Intervjumetodeinnebærer en samtale mellom en prognosemann og en ekspert i henhold til spørsmål-svar-skjemaet, hvor prognosemannen, i henhold til et forhåndsutviklet program, stiller spørsmål til eksperten angående utsiktene for utviklingen av det predikerte objektet. Suksessen til en slik vurdering avhenger i stor grad av en eksperts evne til å gi en improvisert mening om ulike spørsmål.
Analytisk metodesørger for et grundig uavhengig arbeid av en ekspert på analyse av trender, vurdering av tilstanden og utviklingsveiene til det forutsagte objektet. En ekspert kan bruke all informasjonen han trenger om prognoseobjektet. Han skriver funnene sine i form av et notat. Den største fordelen med denne metoden er muligheten for maksimal bruk av ekspertens individuelle evner. Det er imidlertid lite egnet til å forutsi komplekse systemer og utvikle en strategi på grunn av den begrensede kunnskapen til én ekspert innen relaterte kunnskapsfelt.
. Behandling av resultatene fra undersøkelsen av eksperter
ekspert kollektiv individuell undersøkelse
La oss gå videre til vurdering av prosedyrene som utføres på et stadium av behandlingen av resultatene av avhør.
På grunnlag av ekspertvurderinger innhentes generalisert informasjon om objektet (fenomenet) som studeres og det dannes en løsning, som er satt av formålet med eksamen. Ved behandling av individuelle vurderinger av sakkyndige benyttes ulike kvantitative og kvalitative metoder. Valget av denne eller den metoden avhenger av kompleksiteten til problemet som skal løses, formen som ekspertenes meninger presenteres i, og målene for undersøkelsen.
Oftest, ved behandling av undersøkelsesresultater, brukes metoder for matematisk statistikk.
Avhengig av målene for eksamen, kan følgende problemer løses ved behandling av vurderinger:
· dannelse av en generalisert vurdering;
· bestemmelse av den relative vekten til gjenstander;
· fastsettelse av graden av enighet mellom eksperters meninger osv.
1)Dannelse av en generalisert vurdering
Så la en gruppe eksperter vurdere et objekt, deretter x j - vurdering av den j-te eksperten, , hvor m er antall eksperter.
For å danne en generalisert vurdering av en gruppe eksperter, brukes oftest gjennomsnittsverdier. For eksempel, medianen (M E ), som det tas et slikt estimat for, i forhold til hvilket antall store estimater er lik antallet mindre.
Et punktestimat for en gruppe eksperter kan også brukes, beregnet som et aritmetisk gjennomsnitt:
2)Bestemme den relative vekten av objekter
Noen ganger er det nødvendig å bestemme hvor viktig (betydelig) en eller annen faktor (objekt) er sett fra ethvert kriteriums synspunkt. I dette tilfellet sier vi at vi må bestemme vekten av hver faktor.
En av metodene for å bestemme vektene er som følger. La x ij - vurdering av faktoren i, gitt av den j-te eksperten, , , n - antall sammenlignede objekter, m - antall eksperter. Deretter vekten av det i-te objektet, beregnet i henhold til estimatene fra alle eksperter (wi ), er lik:
hvor w ij - vekten av det i-te objektet, beregnet i henhold til estimatene til den j-te eksperten, er lik:
3)Etablere graden av enighet mellom eksperter
Dersom flere eksperter deltar i undersøkelsen, er avvik i deres vurderinger uunngåelige, men omfanget av dette avviket er viktig. En gruppevurdering kan anses som tilstrekkelig pålitelig bare hvis det er god samsvar mellom svarene fra individuelle spesialister.
For å analysere spredningen og konsistensen av estimater, brukes statistiske egenskaper - mål for spredning.
Variasjonsområde (R):
Xmax - x min ,
hvor x maks- maksimal vurdering av objektet; min - minimumsvurderingen av objektet.
Standardavviket, beregnet med den velkjente formelen:
hvor xj er poengsummen gitt av den j-te eksperten; er antall eksperter.
Variasjonskoeffisienten (V), som vanligvis uttrykkes i prosent:
Tilnærminger til konsistenskontrollen som brukes i evalueringen av objekter ved rangeringsmetoden er spesifikke.
I dette tilfellet er resultatet av ekspertens arbeid en rangering, som er en rekkefølge (for ekspert j): x 1j , x 2j, …, x NJ .
Konsistens mellom rangeringene til to eksperter kan bestemmes ved å bruke Spearmans rangkorrelasjonskoeffisient:
der xij er rangeringen som er tildelt det i-te objektet av den j-te eksperten; ik er rangeringen som er tildelt det i-te objektet av den k-te eksperten; i er forskjellen mellom rangeringene som er tildelt den i-te gjenstand.
Verdien kan variere fra -1 til +1. Med fullstendig sammenfall av estimater er koeffisienten lik én. Likheten til koeffisienten minus én observeres med størst divergens i ekspertenes meninger.
I tillegg kan beregningen av rangkorrelasjonskoeffisienten brukes som en måte å vurdere forholdet mellom en hvilken som helst faktor og den resulterende funksjonen (reaksjonen) i tilfeller der funksjonene ikke kan måles nøyaktig, men kan bestilles.
I dette tilfellet kan verdien av Spearman-koeffisienten tolkes på samme måte som verdien av parkorrelasjonskoeffisienten. En positiv verdi indikerer en direkte sammenheng mellom faktorene, en negativ verdi indikerer en omvendt sammenheng, mens jo nærmere den absolutte verdien av koeffisienten er én, desto nærmere forholdet.
Når det er nødvendig å bestemme konsistensen i rangeringene til et stort (mer enn to) antall eksperter, beregnes den såkalte konkordanskoeffisienten - den samlede rangkorrelasjonskoeffisienten for en gruppe m eksperter:
Merk at det som trekkes fra i parentes ikke er noe mer enn den gjennomsnittlige summen av rangeringer (når summert for hvert objekt) mottatt av i-objekter fra eksperter.
Koeffisienten W varierer i området fra 0 til 1. Dens likhet til én betyr at alle eksperter tilordnet samme rangeringer til objektene. Jo nærmere verdien av koeffisienten er null, jo mindre konsistente er estimatene fra eksperter.
Konklusjon
Erfaring, intuisjon, en følelse av perspektiv, kombinert med informasjon, hjelper spesialister med å velge de viktigste målene og utviklingsretningene mer nøyaktig, finne de beste alternativene for å løse komplekse vitenskapelige, tekniske og sosioøkonomiske problemer under forhold der det ikke er informasjon om løse lignende problemer tidligere.
Bruken av metoden for ekspertvurderinger bidrar til å formalisere prosedyrene for å samle inn, oppsummere og analysere eksperters meninger for å forvandle dem til den mest praktiske formen for å ta en informert beslutning. Men det skal bemerkes at metoden for ekspertvurderinger ikke kan erstatte verken administrative eller planleggingsvedtak, den lar deg bare fylle på informasjonen som er nødvendig for utarbeidelse og vedtak av slike vedtak. Den utbredte bruken av ekspertvurderinger er kun berettiget der det er umulig å anvende mer nøyaktige metoder for å analysere fremtiden.
Ekspertmetoder utvikles og forbedres kontinuerlig. Hovedretningene for denne utviklingen bestemmes av en rekke faktorer, blant annet kan man peke på ønsket om å utvide omfanget, øke graden av bruk av matematiske metoder og elektroniske datamaskiner, og også finne måter å eliminere nye mangler. Til tross for de siste årenes fremgang i utvikling og praktisk bruk av metoden for ekspertvurderinger, er det en rekke problemer og oppgaver som krever ytterligere metodologisk forskning og praktisk verifisering. Det er nødvendig å forbedre systemet for utvelgelse av eksperter, å øke påliteligheten til gruppemeningsegenskaper, å utvikle metoder for å kontrollere gyldigheten av vurderinger, og å studere de skjulte årsakene som reduserer påliteligheten til ekspertvurderinger. Men selv i dag er ekspertvurderinger i kombinasjon med andre matematiske og statistiske metoder et viktig verktøy for å forbedre ledelsen på alle nivåer.
Bibliografi
1Orlov A.I. Ekspertvurderinger. // Fabrikklaboratorium. ? 1996.? T. 62.? nr. 1. ? s. 54-60.
2Orlov A.I. Ekspertvurderinger. Proc. godtgjørelse. - M.: 2002.
Beshelev S.D., Gurvich F.G. Ekspertvurderinger ved å fatte planlagte beslutninger. Proc. godtgjørelse. - M.: Økonomi, 1976. ? 287 s.
Evlanov L.G., Kutuzov V.A. Ekspertvurderinger i ledelse. - M.: Økonomi, 1978. ? 133 s.
Ledelse. Proc. godtgjørelse. / Ed. J.V. Prokofieva. - M.: Kunnskap, 2000. - 288 s.
Beshelev S.D., Gurvich F.G. Ekspertvurderinger. - M.: Nauka, 1973. - 79 s.
Statistiske metoder for analyse av ekspertvurderinger. - M.: Nauka, 1977. - 384 s.
Moiseev N.N. Matematiske problemer med systemanalyse. - M.: Nauka, 1981. - 487 s.
Litvak B.G. Ekspertvurderinger og beslutningstaking. - M.: Patent, 1996.
Kjennetegn på ekspertvurderingsmetoder [Elektronisk ressurs]: #"justify">Ekspertvurdering. / Wikipedia. [Elektronisk ressurs]: #"justify">Ekspertvurderinger. // StatSoft: SPC Consulting. [Elektronisk ressurs]: http://www.spc-consulting.ru/app/expert.htm
Læring
Trenger du hjelp til å lære et emne?
Ekspertene våre vil gi råd eller gi veiledningstjenester om emner av interesse for deg.
Sende inn en søknad angir emnet akkurat nå for å finne ut om muligheten for å få en konsultasjon.