Randomizátoři a ti druzí

[caption id=“attachment_785” align=“alignright” width=“700”] Laura Haynes et al., Test, Learn, Adapt, UK Cabinet Office, 2012[/caption]

Tentokrát pár odkazů a poznámek na téma radnomizované experimenty a “co funguje”.

Ricardo Hausmann  se před pár týdny opřel do randomizovaných experimentů coby nástroje zjišťování “what works”. Zopakoval známé slabé stránky RCTs - ve zkratce: “že to fungovalo tam, kde jste udělali experiment, neznamená, že to funguje” - a místo randomizace celých intervencí navrhuje, abychom otázku “co funguje?” odpovídali pomocí iterativního učení se - tedy abychom v každé veřejné intervenci identifikovali jednotlivé součástky a následně se cíleně a průběžně učili z toho, jak celá intervence funguje při různých kombinacích těchto součástek. Dobře tento přístup popisují harvardští rozvojoví ekonomové Lant Pritchett, Matt Andrews a Michael Woolcock (na které se Hausman taky odkazuje) v nedávném paperu; techničtější ale dobře pochopitelný popis je ve starším paperu Lanta Pritchetta a kolegů.

Dobrou, stručnou a ucelenou reakci na tuto polemiku s rozvojovým (a čím dál tím i mainstreamově evaluačním) konsensem sepsal Chris Blattman. Za přečtení stojí celá. Jako člověka s politologickým vzděláním mě zaujala tato věta:

 In political science, the generation before me fought (and still fights) the methodological war. My generation mostly gets on with doing both qualitative and quantitative research more harmoniously. I feel the same way about the randomista debate. People like me do a little observational work, a little forecasting, a little qualitative work, some randomized trials, and I’m even starting to do some trial-and-error style work with police in Latin America. I don’t think I’m the exception.

Následoval ještě dodatek s odstupem, ve kterém se Blattman rozepisu o paralele mezi iterativním zjišťováním “co funguje” a modelem řízením Lean, známý z Toyoty:

... imagine a Toyota that gives customers a car whether they like it or not. Front-line worker innovation might or might not develop cars that people want to own. The problem is there’s no vote or market test where the ultimate users decide.

I think this is called the Lada.

This is the fundamental problem of aid. A bunch of planners have the power to decide and are only accountable to donors, most of whom seem happy to remain ignorant of the details or the actual success of their interventions.

People have put ahead randomized trials as an improvement over the current mess (including donors who quite fairly don’t know any other way to make this better).

Now, trial-and-error innovation combined with randomized trails could be more powerful. That was my point. But make no mistake: both are still the tools of the inept planner.

(Některým kolegům možná tyto věty něco připomínají…)

James Heckman o faktech, měření dopadů a stavu ekonometrie

Velmi, velmi doporučuji poslechnout si alespoň prvních 20 minut rozhovoru s jedním z veteránů empirické práce na veřejných politikách.

Jak funguje “what works” v medicíně

Text britského zdravotnického think tanku Kings Fund, který dobře ukazuje, jakou roli může v systému (zde zdravotnictví, ale může jít třeba o školství) hrát instituce obdařená nějakou mírou pravomoci rozhodovat, co je “dobrá praxe”.

 Terrible because it has been, for those denied treatments that failed to cross NICE’s threshold for cost effectiveness. Terrible too, for those in the life sciences industry who spent time and effort producing new products only to find the price set by their employers was too high – for whatever reason – for NICE to approve.

But it has also been a beauty, in the way that, over the past 16 years, it has sought to balance an essentially unequal equation. Its elements include the interest of the taxpayer in the NHS being cost-effective. The interests of individual patients who, when not paying themselves, have little personal interest in cost-effectiveness – but who do nonetheless have a longer term interest (along with that of other taxpayers) in avoiding situations in which the cost _in_effective drives out the cost effective. The interests of clinicians who generally welcome guidance but detest instruction.

Což nás přibližuje otázce “když už víme, co funguje, proč se to nepoužívá?” Pár hezkých případových studií, shodou okolností taky medicínských, kdysi sepsal Atul Gawande v New Yorkeru v článku Slow Ideas; nedávno se k tématu nešíření prokazatelně funkčních věcí vrátila Tina Rosenberg, která už pět let pro New York Times píše sloupek Fixes, ve kterém právě takováto šiřitelná řešení rozvojových problémů hledá a propaguje.

Jako jednu z bariér šíření funkčních řešení Tina Rosenberg identifikuje všudypřítomné pobídky - v akademii, ve filantropii, na trhu - vymýšlet něco nového na úkor využívání existujících a otestovaných nápadů. Možná i v tom mohou být RCTs užitečné: tím, že dávají na stůl jasný (i když nedokonalý, pace Hausmann výše) stav poznání, nutí nás zamýšlet se nad tím, jak toto poznání využít, ne nutně jak zase vymyslet něco ještě chytřejšího. Na druhé straně: když budete poslouchat lidi a týmy, kteří pracují na sociálních inovacích, často zjistíte, že inovací se nemyslí něco nového, co se otestuje a může fungovat všude, ale právě něco, co vznikne iterací a testováním v daném prostředí, pro dané lidi, na řešení konkrétního problému. A jsme zpátky u Hausmanna a harvardských iterátorů: stav mysli, který se kloní k iterativnímu učení  se a hledání řešení na míru, nenahrává představě, že cílem inovace je vymyslet něco “škálovatelného”. V takové situaci není problém, že chybí motivace chytré inovace šířit, ale že chytré inovace, vzniklé v tomto paradigmatu designového přemýšlení atd. zkrátka nejsou něco, co jde škálovat a šířit. Teď jen, kdyby někdo otestoval, který z těchto přístupů funguje pro jaké typy problémů! Nejlépe experimentálně. Počkat…?