Hur bedömer man om en teoretisk modell är bra?

Det är knappast kontroversiellt att hävda att en sak som skiljer nationalekonomi från andra samhällsvetenskaper är att det i nationalekonomi byggs mycket mer matematiska modeller. En genomgång av 100 artiklar som publicerades i American Economic Review 2020 visade att de kunde delas in i tre huvudgrupper om man fokuserade på vad ekonomen hade gjort. 30 procent av artiklarna var ”teoretiska”, dvs ekonomen hade byggt en matematisk modell och analyserat samband i den. I knappt 40 procent av artiklarna presenterades en empirisk studie utan att det fanns någon explicit modell och i 25 procent av artiklarna fanns både en explicit modell och en empirisk studie, t ex en skattning av en modell.¹

I denna artikel ska jag dock bara fokusera på den första gruppen av artiklar. Det bör dock noteras att 1990 var mer än hälften av artiklarna i American Economic Review av denna typ. Andelen artiklar med enbart en matematisk modell har minskat, samtidigt som andelen artiklar med empiriska studier utan explicit modell mer än fördubblats. Fortfarande är dock artiklarna där tyngdpunkten är analys av samband i en matematisk modell så stor andel att de är värda att se närmare på.

I avsnitten nedan analyseras först en rad frågor om denna typ av artiklar främst utifrån de 100 artiklarna från American Economic Review 2020. Därefter diskuteras en metod för att bedöma artiklar av denna typ och några exempel ges. Avslutningsvis finns en mer övergripande diskussion främst utifrån en relativt ny bok av Dani Rodrik om teoretiska modeller i nationalekonomi (Rodrik 2015).

Innan jag går in på de aktuella artiklarna är det viktigt att skilja mellan vad som kan kallas theoretical frameworks och specifika teoretiska modeller. Mikroekonomisk teori, spelteori och kontraktsteori beskrivs ju ofta som teoretiska ramverk med syftet att strukturera frågeställningar, peka på möjliga samband och visa på sätt att angripa problem (Lind 2024 avsnitt 6.5). I denna artikel handlar det dock enbart om specifika teoretiska modeller av den typ som är vanliga i nationalekonomiska tidskrifter.

1. Varför bygger man modellen och vad gör en viss modell bättre?

Det helt dominerande syftet med de studerade artiklarna är att förklara något observerat fenomen eller klargöra effekter av någon händelse eller åtgärd. Detta gällde i 75 procent av artiklarna. I artiklarnas inledning beskrivs då en faktisk situation där det finns något som tidigare teorier/modeller inte lyckats förklara på ett tillfredställande sätt. Artikelförfattaren presenterar en idé om vad som kan ligga bakom det aktuella fenomenet eller sambandet, eller vad effekten av en åtgärd/händelse kan vara. Därefter presenteras en matematisk modell där denna nya idé ingår och författaren visar sedan att den nya idén kan förklara det aktuella fenomenet i modellen och/eller att det påstådda sambandet finns i modellen.

Den näst största gruppen var artiklar med normativa syften (knappt 15 procent), t ex att visa vad som är en optimal skatt, en optimal regel eller ett optimalt kontrakt i en viss specifik situation.

Man får dock inte glömma bort att det även finns andra skäl att bygga matematiska modeller, även om sådana syften var ovanliga i det aktuella materialet. Arrows omöjlighetsteorem är ett exempel där syftet var att visa att ingen beslutsregel samtidigt kan uppfylla ett visst antal krav. Det handlade varken om att förklara någon specifik observation eller att visa vad som är optimalt. Bevis om att det finns eller inte finns en jämvikt i en modell med vissa egenskaper är ett liknande exempel.

När författaren i de studerade artiklarna ska motivera varför den nya modellen är bättre än tidigare modeller är det dominerande svaret att den nya modellen på någon viktig punkt innehåller ett antagande som är mer realistiskt, eller att modellen inkluderar en specifik aspekt som inte var med i tidigare modeller. Ibland är argumentet att den nya modellen är mer generell och täcker in fler situationer. Modellen är fortfarande mycket förenklad, men artikelförfattaren har fört in ett nytt antagande som denne menar bättre speglar hur den aktuella marknaden fungerar. Det handlar ibland om att föra in ett antagande från nyare mer övergripande teorier, t ex från beteendeekonomi eller teorier om asymmetrisk information.

Detta resultat är i hög grad i linje med resultatet i en äldre studie av samma typ av artikel (Lind 1992) där det vanligaste argumentet för att den nya modellen var intressantare än de tidigare just var att den på någon central punkt innehåller ett mer realistiskt antagande. Varken då eller nu finns i de studerade artiklarna några spår av tanken att modeller ska bedömas utifrån sin förutsägelseförmåga. Sugden (2000) har beskrivit det som att en intressant modell beskriver en credible world och i så fall är det ju inte osannolikt att det som händer i modellen också händer i verkligheten – att det som kan förklara ett fenomen i modellen också kan förklara det i verkligheten.

Jag tolkar forskningsstrategin på följande sätt: Nationalekonomi studerar ett komplext och föränderligt objekt. Ytterst är vi intresserade av om A leder till B – att B kan förklaras av A – i en viss ekonomi vid en viss tidpunkt. Ett sätt att argumentera för att A är orsaken till B är att visa att A leder till B i en relevant modell. Innan jag kommer in på hur man kan bedöma hur starkt ett sådant argument är så ska vissa andra observationer rörande det aktuella empiriska materialet presenteras.

2. Nästa steg är inte att testa modellen

Den klassiska bilden av vetenskap är att forskaren i ett första steg formulerar en teori/hypotes om vad som kan förklara något, eller om hur något är uppbyggt. Nästa steg i vetenskapen är att denne eller andra forskare testar denna nya hypotes. Utifrån denna bild ska vi förvänta oss att den aktuella typen av modellbaserade artiklar i nationalekonomi avslutas med en diskussion om hur teorin/hypotesen kan testas.

Så ser det dock inte ut. Enbart i knappt 15 procent av de studerade artiklarna av den aktuella typen avslutas artikeln på detta sätt. Andelen har dessutom sjunkit jämfört med motsvarande artiklar som publicerades 1990, där andelen var ca 25 procent. Det är betydligt vanligare att författaren slutar med att diskutera hur robust modellen är och att det fortfarande finns antaganden som är diskutabla och aspekter som inte är inkluderade. Nästa steg i arbetet är att bygga en i vissa avseenden bättre modell och se om det aktuella sambandet fortfarande håller.

En hypotes om varför det ser ut på detta sätt är följande. Antag som ovan att forskaren har en hypotes av typen att det är A som orsakar B i ekonomin E vid tidpunkten T. Nu behövs det argument för att göra hypotesen trolig och då kan man se det som att det finns två olika sätt att göra detta: Det ena är att visa att A leder till B i en trovärdig modell och det andra är att göra en empirisk studie av något slag, numera i allt högre grad med experimentella eller kvasiexperimentella metoder, för att se om det finns ett empiriskt samband mellan A och B. Det teoretiska arbetet och det empiriska arbetet är enligt denna hypotes två sidoordnade aktiviteter och därmed relativt oberoende av varandra. Finns det kritik mot den aktuella modellen – att den inte är så trovärdig – så är ju ett rimligt nästa steg att bygga en ny bättre modell och se om sambandet fortfarande håller.

Denna hypotes om att teoretiskt arbete (analys av matematiska modeller) och empiriskt arbete är sidoordnade stämmer också med observationen att de flesta empiriska artiklar i mitt urval inte utgår från en specifik (teoretisk) modell. Endast ca 15 procent av de empiriska artiklarna nämnde i inledningen en teori av något slag som utgångspunkt för den empiriska studien. Denna andel var väsentligt högre 1990, då hälften av artiklarna nämnde en teori i inledningen. Jag ska inte diskutera detta närmare här, men dessa siffror pekar på att teori (analys av matematiska modeller) och empiriska studier blivit mer separata verksamheter än tidigare.

3. Hur slutsatser formuleras

Ser man på hur slutsatserna formuleras i artiklarna med matematiska modeller kan man notera att när ekonomen ska ta steget tillbaka från modellen till det ursprungliga problemet i ekonomin som motiverade studien är man i regel mycket försiktig i sina påståenden. Författaren är ju medveten om att modellen fortfarande är förenklad. Typiska formuleringar är att studien visat att faktorn A kan vara viktig, att studien indikerar att A är en viktig faktor, och/eller att studien kastar (mer) ljus över vad som orsakar B. Ibland uttrycker man resultat mer i termer av rekommendationer: Glöm inte bort faktorn A om ni vill studera vad som orsakar B! Jag har ett svagt minne av att Milton Friedman gav en rekommendation av denna typ och sa något i stil med att ”Ska ni studera inflationen, glöm för allt i världen inte bort att undersöka penningmängdens utveckling!” när de enkla sambanden mellan penningmängd och inflation ifrågasattes.

I några av de studerade artiklarna finns lite mer långtgående formuleringar av typen att studien visar att B sannolikt förklaras av A, att A är en trolig förklaring av B.

Med tanke på att modellen fortfarande är förenklad, och att det är svårt att veta om något viktigt saknas i modellen, så är det naturligt med tämligen svaga formuleringar när det gäller studiens resultat i relation till den anomali – den brist hos tidigare modeller – som var ursprunget till att den nya modellen byggdes.

4. Bevisvärdering och en bayesiansk ansats

Om man formulerar frågan som ”Hur starkt argument är det faktum att A leder till B i modellen M för att A leder till B i ekonomin E vid tidpunkten T” så ser man att det finns en koppling till den fråga som en domare står inför när denne ska värdera bevis i relation till hypotesen att personen P är skyldig till ett visst brott. Tänker man utifrån en bayesiansk approach kan man se det faktum att A leder till B i modellen som ny information och frågan blir då hur mycket det är rationellt att ändra sannolikheten för hypotesen att ”A leder till B i Ekonomin E vid tidpunkten T” när denna nya information kommer. Dahlman (2018) – en juridisk lärobok om bevisvärdering – utgår också från en bayesiansk approach och här är ett försök att översätta centrala argument i den boken till en kontext där resultatet i en matematisk modell ska utvärderas.

En första observation är att i en juridisk process behöver vissa påstående/antaganden inte motiveras. Ett exempel är att det väger tyngre när ett vittne säger att denna såg något visst om det var ljust än om det var lite dunkelt. Jag tror att en hel del mer allmänna antaganden i en matematisk modell på motsvarande sätt ses som oproblematiska därför att ”alla” vet att det (ofta) är så. Detta grundas på allmänkunskap som byggts upp genom att ha levt i ett visst samhälle och observerat vad som sker där och att ha arbetat inom ett visst forskningsområde en längre tid. I en värld av osäkerhet behövs kanske inte något närmare argument för att en modell är bättre om den inkluderar en typ av osäkerhet som vi alla ”vet” finns.

Modellens beviskraft stärks naturligtvis också om det går att hänvisa till empiriska studier som gett antagandet stöd, eller att det finns övergripande teorier med empiriskt stöd som ger stöd åt det aktuella antagandet. I flera av de studerade artiklarna var t ex det nya att författaren ersatte ett klassiskt maximeringsantagande med antaganden hämtade från beteendeekonomi.

Modellerna är som sagt förenklade men ytterligare ett sätt att stärka beviskraften är att göra troligt att resultaten är robusta (i alla fall i ett visst spann). Antagandet i modellen är inte realistiskt men antagandet kan bedömas som ”harmlöst” eftersom det finns skäl att tro att sambandet kvarstår även om  antagandet görs mer realistiskt.

McCloskey (1994, se även McCloskey 2022, s 35) har formulerat ett metateorem som säger att för varje modell där A leder till B så finns en modell som bara skiljer sig marginellt från den första modellen men där A inte leder till B. Om detta stämde så är naturligtvis bevisvärdet av att A leder till B i modellen litet, men det finns inget skäl att tro att McCloskeys metateorem stämmer. Det pekar dock på vikten av att undersöka hur robust resultatet i modellen egentligen är.

Ur ett bayesianskt perspektiv – och även i den juridiska processen – är en viktig fråga om det finns något konkurrerande alternativ. Hur sannolikt är det att observera B även om A inte föreligger. Att A leder till B i en rimligt trovärdig modell styrker inte hypotesen att A leder till B i den verkliga ekonomin särskilt mycket om det finns andra rimligt trovärdiga modeller där det är C eller D som leder till B. Kan inte forskarna hitta någon rimlig konkurrerande hypotes om vad som ligger bakom B så kommer dock modellens beviskraft att öka. Exempel på båda dessa situationer ges i avsnitt 7 nedan.

5. Modellens ”Commentary”

Filosofen Uskali Mäki har skrivit mycket om teoretiska modeller i nationalekonomi, se t ex Mäki (2009). En sak som Mäki lyfter fram är det han kallar ”the commentary”, dvs texten runt modellen. En aspekt som redan berörts är modellens syfte, men det handlar också om att på olika sätt argumentera för modellens värde, och att beskriva dess begränsningar.

För att få ett lite tydligare grepp om vad en ”commentary” kan innehålla när det gäller kommentarer kring resultaten i modellen gjordes en närmare granskning av ett slumpmässigt urval av den aktuella typen av artiklar som ingick i det ovannämnda materialet. Det som framkom var i hög grad i linje med de olika punkterna i föregående avsnitt.

För att argumentera för att de nya antagandena var någorlunda realistiska kunde författarna hänvisa till empirisk information av olika slag, från vardagsobservationer till systematiska empiriska studier. De flesta antaganden kommenterades dock inte, rimligen för att de var gemensamma med tidigare konkurrerande modeller eller av andra skäl inte bedömdes som kontroversiella i den aktuella läsekretsen.

Argument om att modellens resultat kunde förväntas vara robusta i vissa dimensioner var också vanliga, men också påpekanden om att det är en uppgift för framtida forskning att undersöka robusthet i dimensioner där robustheten är svår att bedöma. Ibland görs ju förenklande antaganden främst för att få en matematiskt hanterbar modell.

Begränsningar hos existerande konkurrerande hypoteser och modeller har i regel presenterats i artikelns inledning som en del av motiveringen av att det behövs nya förklaringar och modeller. Därmed har man indirekt sagt att det inte finns någon bättre förklaring – även om de försiktiga formuleringarna i slutsatser indikerar att man är medveten om att det kan finnas andra förklaringar.

6. Några exempel

Ett fall som studeras närmare i Lind (2024) är genombrottet för Krugmans förklaring av inomsektoriell handel. Varför exporterar och importerar länder liknande varor? Hypotesen var att förklaringen är smakskillnader, stordriftsfördelar i produktionen och låga transportkostnader. Dessa tre tillsammans utgör det A som enligt hypotesen förklarar den intersektoriella handeln (B).

Att det behövdes en ny handelsteori för att förklara att det var så mycket inomsektoriell handel låg i luften och liknande idéer om förklaring hade tagits upp av andra men mer i förbigående och informellt. Det Krugman gjorde i sina tidiga artiklar var att bygga ett antal enkla allmän-jämviktsmodeller med maximerande aktörer och visa att i den modellen så leder A till B.

Att hans teori fick så stort genomslag kan man förklara utifrån de faktorer som diskuterats ovan.

(1) Teorin var i linje med ”common-sense” – förklaringen verkade rimlig. Ingen kunde se något uppenbart felaktigt i hypotesen.

(2) Det visade sig att A ledde till B även om ett antal förenklande antaganden ändrades, t ex om marknadsform.

(3) Sist men inte minst så var det (a) ingen som kunde hitta en trovärdig modell där A inte ledde till B (jfr McCloskeys metateorem ovan) och (b) ingen kunde presentera en trovärdig modell där en uppsättning andra faktorer än A ledde till B.

Jag tror att man på liknande sätt kan förklara genomslaget för Schellings modell om segregation på bostadsmarknaden. I en i vissa avseenden mycket orealistisk modell visade han att det kan bli en helt segregerad bostadsmarknad (kalla detta B) även om hushållen är så toleranta att de kan tänka sig att ha en ”annorlunda” granne (hudfärg, etnisk härkomst, inkomstnivå etc) men att hushåll flyttar om alla (de flesta) grannar är ”annorlunda” (kalla detta antagande A).

I Schellings modell finns liksom hos Krugman ett centralt antagande som känns rimligt utifrån vad vi lärt oss om hur människor i samhället fungerar. Det var också så att ingen lyckades bygga en modell där A inte ledde till B. På detta område finns dock en rad konkurrerande modeller för att förklara B, t ex att hushåll inte vill ha några ”annorlunda” i närheten. Men Schellings poäng var ju egentligen bara att långtgående segregation på bostadsmarknaden inte behöver bero på att alla är ”rasister” i en viss dimension.

Man kan alltså tänka sig en situation där det finns flera trovärdiga modeller som alla kan förklara en viss observation. Vad blir då nästa steg?. Ett exempel på en sådan situation tas upp i artiklen ”A Shred of Evidence on Theories of Wage Stickiness” (Blinder och Choi 1990). Bakgrunden här var att det fanns flera konkurrerande modeller som alla kunde förklara varför lönerna (i många fall) inte varierade med konjunkturen. För att kunna bedöma vilken modell som beskriver den mest sannolika mekanismen (i en viss ekonomi vid en viss tidpunkt) behövs uppenbarligen ytterligare information. I den ovannämnda studien gjordes en serie intervjuer med personalchefer i den berörda typen av företag. Den informationen gjorde att sannolikheten för vissa hypoteser ökade medan sannolikheten för andra minskade och därmed gavs vissa indikationer om vilka modeller som det var viktigast att utveckla vidare.

7. Vad behöver vi veta för att kunna bygga en bra modell?

I en mycket uppmärksammad bok – Economics Rules – diskuterar Dani Rodrik matematiska modellers roll i nationalekonomi ur ett antal olika perspektiv. Jag ska här bara ta upp ett par aspekter.

Den första är att den teoretiska modellen ska fokusera på de mest relevanta aspekterna (s 119) och att modellen ska belysa den dominerande kausala mekanismen (s 85).

Ett problem är dock att han inte diskuterar hur man avgör vad som är den mest relevanta aspekten och den dominerande förklaringen. När Jean Tirole fick Nobelpriset var ett argument att han var noga med att antagandena i hans modeller skulle spegla de aktuella marknadernas faktiska egenskaper. Det stod dock inget om hur han gick tillväga för att ta reda på vad de aktuella marknadernas faktiska egenskaper var.

I en artikel som publicerades i samband med att Williamson fick Nobelpriset kan man läsa följande (Gibbons 2010, s 281):

Williamson’s contributions to TCE [Transaction Cost Economics] are a counter-example to Krugman’s … dictum ”Like it or not, . . . the influence of ideas that have not been embalmed in models soon decays“……. [Williamson was] cautioning against ”prematurely formal theory [that] purports to deal with real phenomena without doing the hard work of making serious contact with the issues”.

Jag tror att om man frågade Tirole hur han tog reda på hur de aktuella marknaderna var uppbyggda så skulle han säga att han pratat med ledande personer i dessa branscher, pratat med olika branschexperter och läst artiklar i fackpress om dessa marknader. Material från konkurrensmyndigheter eller motsvarande kan också ha varit nyttigt. Kort sagt: Det byggde på samma typ av information som t ex Williamsson använde i sina fallstudier. Det är intressant att notera att det under senare år har publicerats flera artiklar om hur mer kvalitativ information kan användas vid modellbyggande, se Donaldson (2022) och Mahoney (2022).

Det finns här också kopplingar till McCloskeys klassiska artikel ”The Rhetoric of Economics” (McCloskey 1983). En central tes där var att ekonomer tror att de är positivister som bara lutar sig mot matematiska modeller och ekonometriska studier (och i dag experiment av olika slag). I verkligheten använder ekonomer dock både introspektion och information från vänner och bekanta och från tidningsartiklar när de ska ta ställning till en hypotes eller en modell. Detta är inte heller något som ekonomen ska skämmas för. Tvärtom vore det ju irrationellt att bortse från någon typ av information när sannolikheten hos en hypotes ska bedömas.

Jag vet inte hur doktorandutbildningar ser ut i dag, men argumenten ovan pekar på att det är viktigt att doktorander lär sig hur man samlar in den institutionella information som behövs för att bedöma vad som är en trovärdig modell.

Min andra kommentar om Rodrik är följande. Modeller är enligt Rodrik det centrala i en vetenskap och han säger att teorier som t ex spelteori i grunden är en samling modeller. Detta är dock knappast en hållbar tes. De modeller som diskuterats ovan byggs ju utifrån en idé om att något är viktigt. Idén är det centrala och modellen är ett sätt att göra idén trovärdig. Jag tycker att det på motsvarande sätt är mer korrekt att säga att kärnan i spelteori är idén att en aktör behöver beakta vad andra aktörer kan förväntas göra ifall aktören agerar på ett visst sätt för att kunna fatta ett rationellt beslut. Modellernas roll kan sedan vara allt från att illustrera att den bakomliggande idén kan vara betydelsefull i ett visst sammanhang till att visa att idén kan förklara saker som tidigare teorier inte lyckats förklara. I artiklarna ovan var ju som sagt utgångspunkten i regel att forskaren hade kommit på en ny idé om vad som kunde förklara en observation och att denna idé sedan byggdes in i modellen.

8. Avslutning

Exemplen med Krugman och Blinder och Choi ovan antyder att den information som är särskilt viktig utifrån vad som mest påverkar bedömda sannolikheter för de aktuella hypoteserna beror av den specifika situationen. När Krugman byggde sina tidiga modeller var det rimligen så att det som behövdes just var att de lösa tankar som funnits byggdes in i en allmänjämviktsmodell. Modellbygget preciserade och stärkte hypotesen. I exemplet med Blinder och Chois var det i stället särskilt viktigt med mer institutionell information för att kunna bedöma vilken av konkurrerande modeller som var mest sannolik. Detta innebär i sin tur att det finns behov av samarbete mellan olika typer av forskare och mellan forskare och ”praktiker” av olika slag.

När jag bytte från Nationalekonomiska institutionen på Stockholms universitet till Avdelningen för fastighetsekonomi på KTH i början av 1990-talet var det en kontrast som särskilt slog mig. Efter en tid på KTH kände man t ex ett antal VD-ar i olika bolag och umgicks både med Hyresgästföreningens och Fastighetsägarnas ordföranden – som man träffade på branschseminarier och hade med i referensgrupper i olika forskningsprojekt. Eftersom man var känd i branschen var det lätt att genom ett telefonsamtal eller ett mail få information om hur det gick till där ute i ”verkligheten” på någon specifik punkt och enkelt att skicka ut examensarbetare att intervjua alla möjliga om allt möjligt för att få mer ”institutionell” information.

På den tiden var det så att den nationalekonomiska forskaren sällan lämnade de akademiska korridorerna. Förhoppningsvis är det annorlunda i dag.