Projekt dobije datum početka, budžet i obično prezentaciju s krivuljom koja raste. Što projekt gotovo nikad ne dobije, jest trenutak u kojem netko utvrdi da je učinjeno ono što je trebalo biti učinjeno. Ne: isporučeno. Učinjeno. Posao premješten, ponašanje promijenjeno, stari način rada više nije potreban.
Ta razlika je uvijek bila teška. Postaje izraženija sada kad dio poboljšanja čini AI koji preuzima zadatke. Kod novog sustava ili nove procedure još možete pretpostaviti da će ga ljudi koristiti jer je to obavezno. Kod AI-rada ta pretpostavka nije samorazumljiva: netko mora nastaviti provjeravati rezultat, netko se mora usuditi vjerovati ishodu koji nije sam napisao, i netko mora imati ovlast taj ishod odobriti ili odbiti. Ako te tri stvari nisu organizirane, sustav radi, ali ništa ne slijeće.
Postoje mjerenja koja su pouzdana jer su činjenična. Koliko sati posla prelazi sa zadatka na nadzor tog zadatka. Koliko se ishoda odobri od strane čovjeka bez izmjene, koliko se odbije, i s kojim razlogom. Postaje li vrijeme između isporuke i odluke kraće. Smanjuje li se broj eskalacija prema starijem djelatniku jer prva procjena ostaje valjana.
Ovo je kapacitet, a ne obećanje. Slobodni sati su činjenica čim ih izbrojite; što organizacija radi s tim slobodnim kapacitetom je posebno pitanje, s vlastitim zakonskim okvirima čim to utječe na osoblje. Držati ta dva pitanja odvojenima uvjet je za vjerodostojno mjerenje, a ne usputna stvar.
Postotak korištenja govori da ljudi pritišću tipku. Ne govori ništa o tome vjeruju li i rezultatu. Tim može AI ishod odobriti pro forma i u praksi ništa s njim ne raditi, ili obrnuto, sve preuzeti bez provjere — oba ponašanja u nadzornoj ploči izgledaju identično kao "usvajanje 80%". To je razlog zašto jedan postotak bez tumačenja nije upotrebljiv: on opisuje radnju, a ne promjenu u načinu na koji se posao obavlja.
Postoji i problem vremena. Poboljšanje koje se u prvom mjesecu dobro mjeri može u četvrtom mjesecu pasti jer se iznimke gomilaju i nitko ih nije planirao. Obrnuto, poboljšanje koje počinje sporo može nakon pola godine postati stabilno tek kad ljudi koji trebaju odobravati steknu povjerenje u njega. Mjerenje u jednom trenutku je dakle po definiciji nepotpuno; potreban je niz mjerenja koji pokazuje ponavlja li se krivulja ili se izravnava.
Jedna tvrtka vidi da AI-rad slijeće unutar kvartala, druga i nakon godinu dana još testira. Ta razlika rijetko je u tehnologiji. Nalazi se u tome ko je obučen procjenjivati AI ishod, ko ima pravo odlučivanja da taj ishod pusti dalje, i je li to pravo odlučivanja formalizirano ili još leži kod jedne osobe koja to "radi usput". Više o tome ko tu ulogu zapravo treba preuzeti opisano je u tko je potreban da bi posao putem AI-a uspio.
Drugi čest uzrok: projekt ostaje tehnički uspješan, ali organizacijski izoliran. AI radi, pilot funkcionira, ali nitko izvan IT odjela strukturno ne koristi ishod. Zašto se to događa i kako prepoznati taj obrazac opisano je u kako spriječiti da AI projekt ostane zarobljen u IT odjelu.
A nekad kašnjenje nije organizacijski problem, nego pravno ili pitanje sukladnosti koje nije uzeto u obzir u planiranju; ta situacija posebno je opisana u što učiniti kad ambicija može, a sukladnost ne.
Razlog zašto jedan KPI nikad nije dovoljan jest da spremnost sama po sebi ne staje u jednu brojku. Nešto sleti tek kad istovremeno održi provjeru na više dimenzija: ljudi koji trebaju procjenjivati su obučeni, podaci su upotrebljivi, proces prepoznaje iznimku, i pravo odlučivanja je izričito dodijeljeno. Ako jedna od njih ne uspije, mjerite napredak na ostalih sedam, a slijetanja opet nema. To je razrađeno u zašto spremnost nije broj, nego niz pitanja.
Osnovno pitanje — koji posao u ovoj tvrtki AI stvarno može preuzeti, a koji dio ostaje ljudski rad — odgovara se po zadatku pomoću skena posla FTE TO AI.
Nijedno mjerenje nije potpuno bez dimenzije vremena, provjere uzroka i razdvajanja korištenja od povjerenja. Konkretno to znači: ne mjerite samo koristi li se nešto, nego ostaje li ishod valjan bez ispravke. Ne mjerite jednom, nego u fiksnim trenutcima nakon početka. I pri svakom odbijanju pitajte za razlog, jer taj razlog govori vam više od samog rezultata.
Ako je ambicija previše velika da bi se testirala odjednom, fazni pristup je često realističniji od godišnjeg plana; kako to fazenje funkcionira opisano je u kako fazirati ambiciju koja je preveliku za godinu. A za pitanje koliko tempa organizacija stvarno može podnijeti, bez da samo mjerenje uzrokuje kašnjenje, postoji koliko brzo organizacija zapravo može promijeniti.
Pouzdano mjerenje ne počinje s nadzornom pločom, nego s pitanjem gdje se vaša organizacija zapravo trenutno nalazi. Besplatna provjera spremnosti postavlja osam kratkih pitanja, jedno po dimenziji, i daje sliku o tome gdje ste najviše uznapredovali, a gdje još nije. Potpuni test ambicije, s četiri slojeva i pet kontrolnih točaka pouzdanosti (confidence gates), je u izradi.
Vertel wat u wilt bereiken, dan kijken we samen wat daarvoor moet staan.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.