Initial commit

01_Introduction_en.md

@@ -0,0 +1,29 @@
+# The Intelligence Curse
+
+by Luke Drago and Rudolf Laine
+
+We will soon live in the intelligence age. What you do with that information will determine your place in history.
+
+The imminent arrival of AGI has pushed many to try to seize the levers of power as quickly as possible, leaping towards projects that, if successful, would comprehensively automate all work. There is a trillion-dollar arms race to see who can achieve such a capability first, with trillions more in gains to be won.
+
+Yes, that means you’ll lose your job. But it goes beyond that: this will remove the need for regular people in our economy. Powerful actors—like states and companies—no longer have an incentive to care about regular people. We call this the intelligence curse.
+
+If we do nothing, the intelligence curse will work like this:
+
+• Powerful AI will push automation through existing organizations, starting from the bottom and moving to the top.
+• AI will obsolete even outlier human talent. Social mobility will stop, ending the social dynamism and progress that it drives.
+• Non-human factors of production, like capital, resources, and control over AI, will become overwhelmingly more important than humans.
+• This will usher in incentives for powerful actors around the world that break the modern social contract.
+• This could result in the gradual—or sudden—disempowerment of the vast majority of humanity.
+
+But this prophecy is not yet fulfilled; we reject the view that this path is inevitable. We see a different future on the horizon, but it will require a deliberate and concerted effort to achieve it.
+
+We aim to change the incentives driving the intelligence curse, maintaining human economic relevance and strengthening our democratic institutions to withstand what will likely be the greatest societal disruption in history.
+
+To break the intelligence curse, we should chart a different path on the tech tree, building technology that lets us:
+
+1. Avert AI catastrophes by hardening the world against them, both because it is good in itself and because it removes the security threats that drive calls for centralization.
+2. Diffuse AI, to get it in the hands of regular people. In the short-term, build AI that augments human capabilities. In the long-term, align AI directly to individual users and give everyone control in the AI economy.
+3. Democratize institutions, making them more anchored to the needs of humans even as they are buffeted by the changing incentive landscape and fast-moving events of the AGI transition.
+
+In this series of essays, we examine the incoming crisis of human irrelevance and provide a map towards a future where people remain the masters of their destiny.

01_Introduzione_it.md

@@ -0,0 +1,29 @@
+# La Maledizione dell'Intelligenza
+
+di Luke Drago e Rudolf Laine
+
+Presto vivremo nell'era dell'intelligenza. Ciò che farai con questa informazione determinerà il tuo posto nella storia.
+
+L'arrivo imminente dell'AGI ha spinto molti a cercare di afferrare le leve del potere il più rapidamente possibile, lanciandosi verso progetti che, se avessero successo, automatizzerebbero completamente tutto il lavoro. C'è una corsa agli armamenti da mille miliardi di dollari per vedere chi riuscirà a raggiungere tale capacità per primo, con altri trilioni di guadagni in palio.
+
+Sì, questo significa che perderai il tuo lavoro. Ma va oltre: questo rimuoverà la necessità di persone comuni nella nostra economia. Gli attori potenti — come stati e aziende — non avranno più alcun incentivo a preoccuparsi delle persone comuni. Chiamiamo questo fenomeno la maledizione dell'intelligenza.
+
+Se non facciamo nulla, la maledizione dell'intelligenza funzionerà così:
+
+• Un'IA potente spingerà l'automazione attraverso le organizzazioni esistenti, partendo dal basso e muovendosi verso l'alto.
+• L'IA renderà obsoleto anche il talento umano eccezionale. La mobilità sociale si fermerà, ponendo fine al dinamismo sociale e al progresso che essa guida.
+• I fattori di produzione non umani, come il capitale, le risorse e il controllo sull'IA, diventeranno in modo schiacciante più importanti degli esseri umani.
+• Questo introdurrà incentivi per gli attori potenti in tutto il mondo che romperanno il moderno contratto sociale.
+• Ciò potrebbe risultare nella graduale — o improvvisa — perdita di potere della vasta maggioranza dell'umanità.
+
+Ma questa profezia non si è ancora avverata; rifiutiamo l'idea che questo percorso sia inevitabile. Vediamo un futuro diverso all'orizzonte, ma richiederà uno sforzo deliberato e concertato per raggiungerlo.
+
+Miriamo a cambiare gli incentivi che guidano la maledizione dell'intelligenza, mantenendo la rilevanza economica umana e rafforzando le nostre istituzioni democratiche per resistere a quella che sarà probabilmente la più grande perturbazione sociale della storia.
+
+Per rompere la maledizione dell'intelligenza, dovremmo tracciare un percorso diverso sull'albero tecnologico, costruendo tecnologia che ci permetta di:
+
+1. Evitare catastrofi legate all'IA rafforzando il mondo contro di esse, sia perché è un bene in sé, sia perché rimuove le minacce alla sicurezza che guidano le richieste di centralizzazione.
+2. Diffondere l'IA, per metterla nelle mani delle persone comuni. A breve termine, costruire IA che potenzi le capacità umane. A lungo termine, allineare l'IA direttamente ai singoli utenti e dare a tutti il controllo nell'economia dell'IA.
+3. Democratizzare le istituzioni, rendendole più ancorate ai bisogni degli esseri umani anche mentre vengono sballottate dal panorama degli incentivi in evoluzione e dagli eventi in rapido movimento della transizione verso l'AGI.
+
+In questa serie di saggi, esaminiamo la crisi in arrivo dell'irrilevanza umana e forniamo una mappa verso un futuro in cui le persone rimangono padrone del proprio destino.

02_Pyramid_Replacement_en.md

@@ -0,0 +1,129 @@
+# Pyramid Replacement
+
+Summary: Increasingly powerful AI will trigger pyramid replacement: a systematic hollowing out of corporate structures that starts with entry-level hiring freezes and moves upward through waves of layoffs.
+
+OpenAI's goal is to build artificial general intelligence (AGI), which they define as "a highly autonomous system that outperforms humans at most economically valuable work". The other AI labs—including Anthropic, Meta, DeepSeek, and Google—have made similar claims. The CEOs of these companies think they might achieve it in just a few years, some saying as early as 2026.
+
+While the exact timelines are still in doubt, there is a very real chance AGI arrives in the next few years.
+
+Consider the trendlines. In 2019, state-of-the-art AI models couldn't write a coherent paragraph; by 2023 they were doing as well as the average candidate in human bar exams. In 2023, the top AI models were resolving 4.4% of a set of real-world example coding problems; by the beginning of 2025 they were resolving 49%. Other AI systems recently scored above the 99.5% percentile of expert humans on competitive programming problems. On multiple-choice science questions selected to be hard for everyone but PhDs in that specific field to answer, AIs improved from barely better than random guessing in mid-2023 to better than the human experts by the end of 2024. General computer-use capabilities are lagging behind pure-text skills, but have gone from near-zero capability to closing half the gap with humans within the last year. Researchers have even demonstrated a new Moore's law: the length of tasks AI can complete is doubling every seven months.
+
+Governments are noticing this. The top recommendation from the Congressional US-China Commission in 2024 was for Congress to "establish and fund a Manhattan Project-like program dedicated to racing to and acquiring an Artificial General Intelligence (AGI) capability". On the first full day of his second term, President Trump joined the CEOs of OpenAI, Softbank, and Oracle to announce Project Stargate, which intends to invest a total of $500 billion to build AI infrastructure.
+
+If the industry and government consensus is even close to correct—and AGI is about to show up at your workplace—what is going to happen to your job?
+
+## This technology is different
+
+Imagine you are the CEO of a large company.
+
+In the 2000s, laptops became widely available. Instead of clunky desktop computers, your employees could now work from anywhere. They could take detailed notes in meetings and collaborate in the breakout room.
+
+So you bought all your employees laptops. It made nearly all of them more productive, which resulted in increased profits for your company. But the laptops couldn't replace the analysts, because you couldn't give a laptop a task in plain English and expect them to do it. Instead, you needed the analysts to use laptops to access their benefits.
+
+Fast forward to 2030. A big AI lab just released a new AI system. It completes any task 20% faster and 10% better than any of your junior employees. Running it to do the work of one employee costs $10,000 per year – that's at least an 80% cost reduction. It might let your best analyst do the job of 10, or automate the analyst class entirely.
+
+Maybe you like your existing employees and are skeptical of this new system. You integrate it as a trial, and in a year it's outperforming all of them. In fact, keeping humans in the loop slows down the system and produces worse results.
+
+Why wouldn't you fire your junior employees? They are more expensive, worse at the job, and unreliable. Sure, Mike interviews well and is nice to be around, but companies fire people their leadership personally likes all the time. And if your company doesn't fire them, you will be crushed by competition that does.
+
+We believe this pattern extends throughout the economy. Junior employees at large firms will lose first, through a combination of hiring slowdowns and some firings. As AIs get better and better, AI will climb the corporate pyramid and replace workers one by one. Eventually, in many industries, there will be competitive pressures that force companies to stop hiring and start firing throughout the organization. This will begin in white collar firms, but will eventually impact every sector.
+
+We call this pyramid replacement. How does it work?
+
+## AI in the corporate pyramid
+
+White collar work in medium-to-large firms is uniquely exposed to AI automation, especially relative to other jobs. Robotics looks farther away than AGI, and the companies with physically-automatable work hire and fire differently than large white collar firms. Small businesses hire with less clear structures, with fewer easily-automatable employees and less clearly defined work.
+
+For this analysis, we will focus on white collar companies. Their corporate org charts look like pyramids, with many junior employees at the bottom and fewer senior employees at the top.
+
+Entry-level employees don't stay entry-level forever. Many of them become ready for a promotion, which means they can do more valuable work for the company. Some of them find another job and leave. At the same time, many of the middle to senior employees leave, retire, or otherwise stop working for the company.
+
+All of this creates room for talent to flow upwards, but it requires the firm to regularly replenish the organization's bottom layers.
+
+So every year, companies hire fresh talent from the best universities they can recruit from. They hold career fairs, take on interns, and spend lots of time training these smart but low-context individuals. Then, they give them the firm's simplest tasks. It's thankless, but it teaches them how the company works so they can move up the pyramid and manage future entry level employees.
+
+When the first wave of AI agents arrive that can produce entry-level work outputs at a much lower cost than a human employee, companies might decide to:
+
+1. Do nothing, out of inertia
+2. Fire everyone, to maximize benefits
+3. Adopt it slowly, by just not hiring more people
+
+Some firms might do nothing. We expect they'll regret it quickly—one of their competitors will adopt it, and their productivity gains will help them earn significant leads. Competitive pressures will be a strong force towards adoption. Most firms won't fire everyone the day such a tool is released, and the few that do will suffer. This system might be slightly better and a lot cheaper, but there will still be some glitches to iron out.
+
+That leaves everyone else: the slow adopters. We suspect most firms will spend some time rolling out this tool. Once they see that it increases their best junior employees' work, they'll start to wonder why they hire so many entry-level analysts.
+
+We think the first wave of AI employees, likely a combination of specialized LLM scaffolds from startups and natively agentic models from the labs, will allow companies to shrink their hiring costs without firing anyone. Instead, they'll slash hiring.
+
+Stage 1: Companies begin to hire fewer entry-level employees.
+
+This pattern would repeat as new AI systems are released. These systems may be natively more directable, and will work without intervention for longer.
+
+At this point, a firm will need very few entry-level employees to complete basic tasks. As existing employees get promotions, hiring will get slashed once again.
+
+Stage 2: entry-level employee hiring is over, and junior employee hiring is fast-shrinking.
+
+New AI systems are released. This time, the new AI agents do the work better when the entry-level employees don't interrupt them. Most managers manage more AIs than humans, and increasingly complex work is becoming automatable.
+
+Companies have an expensive problem on their hands. They don't want to fire large swaths of employees for reasons of optics and inertia, but they could greatly benefit from laying off the large numbers of redundant employees.
+
+For some firms, it'll take a shock—a recession, a downturn, or a bad quarterly earnings report—to announce layoffs as a cost-cutting measure. In the most competitive sectors, this action might happen faster. Either way, the most junior layers of the pyramid will disappear entirely.
+
+Stage 3: entry-level employees are gone, and management is starting to be affected.
+
+Once again, the systems get better. This time, they unlock the ability to do all of the medium-horizon tasks in a company.
+
+The market is expecting the next termination wave. While public resentment is growing, the shareholders will demand the productivity benefits to increase earnings. Plus, all the other firms are doing it. If the firm doesn't automate most of their work, they'll lose to their competitors. The pattern repeats, but this time it's even harsher.
+
+Stage 4: AI now performs almost all roles in the company.
+
+Once again, new systems get released. They can now do all intellectual labor in the company, and they do it better without senior management in the loop. Many firms make the call: they only need the C-suite.
+
+Stage 5: only the C-Suite is left, and their work is providing direction to a vast horde of extremely capable AI agents & tools.
+
+Some time passes, and the AIs get even better. Now, they can track every interaction the company has, both internally and externally. A swarm of them can execute every decision, and the best of them can make strategic decisions exceptionally fast.
+
+The board of some firms might realize that the C-Suite is now less capable of managing the company than the best AIs. CEOs are forgetful, and they don't have total insight into everything their company is doing – but their AI systems do.
+
+This time, the board makes the call. For a small number of firms, the best performing version of their org chart is one without any human employees at all:
+
+Stage 6: no more humans are required to manage the day-to-day activities of many companies.
+
+## Some caveats are needed
+
+Diffusion barriers—things like regulatory barriers, investor or leadership skepticism, a lack of automation pressures from competing companies, high costs or use limitations, labor or union pressures, or a lack of economic downturns—could all slow this process down.
+
+You may see a more jagged effect than this model demonstrates. Some jobs (ex: software engineers) are more immediately automatable than others, even at the same level of seniority. You could model this as a pyramid for each corporate function. Those have pyramids within a large organization, and will likely follow a similar pattern. Currently it seems like tasks that require planning and execution over longer time-horizons will take longer for AIs to automate, and it will be harder for AI companies to train AI models to do well on criteria that are harder to objectively judge.
+
+Some white collar industries will be much more resistant to this than others. Tech companies could be largely automable with one or two more leaps in AI performance. Other white collar industries might rely on prestige, signalling, or soft skills that will be harder to automate. This probably doesn't matter at the entry level, but it matters for senior employees who do lots of important, interpersonal work.
+
+Finally, this is a default trajectory for large companies. Tech or governance interventions could dramatically change this pattern.
+
+## The future of work?
+
+To put it bluntly, traditional white collar work, the economic engine of developed economies, is unlikely to survive the AI revolution. This isn't a 2050 or 2100 problem – it is a problem for today's entrepreneurs, policymakers, and institutions.
+
+The popular thing is to claim that new, better jobs will be created, and that wages will rise as a result. But when economists actually take AI seriously, they seem to reach different conclusions. Modeling by Korinek and Suh demonstrates that by default, wages plummet.
+
+Matthew Barnett outlines several possible mechanisms of wage decline.
+
+First, if AI results in a massive increase in labor supply, capital could become more of a constraint than labor. The returns to additional labor—machine or human—go down while those to capital go up. This means lower wages and higher returns to capital.
+
+Second, when production requires fixed inputs like land, these fixed inputs can capture ever-larger shares of output as other inputs scale. This was essentially the pre-industrial Malthusian state of the economy: bottlenecked by land, and with subsistence wages for labor.
+
+Third, humans have a higher "biologically imposed minimum wage" than AIs. We need to eat, and the efficiency of our brains is fixed. AIs don't have such limitations, and therefore their presence in the labor market might drive wages below the human subsistence level.
+
+Barnett concludes:
+
+> All things considered, I am inclined to guess that there is roughly a 1 in 3 chance that human wages will crash below subsistence level before 2045. While this figure may appear alarmingly high to some, I personally consider it somewhat low, as it partially reflects my tentative optimism that technological progress will complement human labor even after AGI, keeping wages from crashing all the way below subsistence level in the near term. In the longer term, I'd guess the probability that human wages will fall below subsistence level before 2125 to be roughly 2 in 3.
+
+This may start with white collar work, but AGI is on track to impact every sector. Displaced workers may join blue-collar professions. On top of that, some blue collar work is on track to get displaced. Investment in self-driving vehicles for transportation and specialized robotics for manufacturing make those sectors ripe for displacement as well. The arrival of general-purpose robotics would replace the remaining blue-collar workers as well—and the robotics demos are becoming compelling.
+
+This all means that, once AGI is on the scene, a whole lot of people will be making a lot less money, if they're earning at all. Once the robots finally show up, everyone might be out of a job.
+
+But could we just expand the social safety net? Universal Basic Income for everyone?
+
+Expanding the social safety net will be limited by several constraints. Fiscal constraints worldwide are tight due to rising rates and debts. Economic modelling suggests that the truly explosive growth rates needed to fund widespread UBI will only arrive when we get general-purpose robotics. There are also many cultural considerations: many high-earning households may not be satisfied with earning the same UBI as everyone else, and losing the track to ambition they dreamed of, especially if they're early in their careers.
+
+This is not hypothetical. We are starting to see pre-AGI systems shrink analyst classes and trigger layoffs. Remember that today is the worst these systems will ever be. As they get better, their impact on the labor market will grow rapidly. As Aschenbrenner says, "that doesn't require believing in sci-fi; it just requires believing in straight lines on a graph."
+
+We will next look at the deeper problems and incentives that the loss of all work entails.

02_Sostituzione_della_Piramide_it.md

@@ -0,0 +1,129 @@
+# Sostituzione della Piramide
+
+Sommario: Un'IA sempre più potente innescherà la sostituzione della piramide: uno svuotamento sistematico delle strutture aziendali che inizia con il blocco delle assunzioni entry-level e si sposta verso l'alto attraverso ondate di licenziamenti.
+
+L'obiettivo di OpenAI è costruire un'intelligenza artificiale generale (AGI), che definiscono come "un sistema altamente autonomo che supera gli esseri umani nella maggior parte dei lavori economicamente validi". Gli altri laboratori di IA — inclusi Anthropic, Meta, DeepSeek e Google — hanno fatto affermazioni simili. I CEO di queste aziende pensano che potrebbero raggiungerla in pochi anni, alcuni dicono già nel 2026.
+
+Sebbene le tempistiche esatte siano ancora in dubbio, c'è una possibilità molto reale che l'AGI arrivi nei prossimi anni.
+
+Considerate le linee di tendenza. Nel 2019, i modelli di IA all'avanguardia non riuscivano a scrivere un paragrafo coerente; nel 2023 facevano bene quanto il candidato medio negli esami di abilitazione forense. Nel 2023, i migliori modelli di IA risolvevano il 4,4% di un set di problemi di codifica del mondo reale; all'inizio del 2025 ne risolvevano il 49%. Altri sistemi di IA hanno recentemente ottenuto punteggi superiori al 99,5° percentile degli esperti umani in problemi di programmazione competitiva. Su domande scientifiche a scelta multipla selezionate per essere difficili per chiunque tranne che per i dottorandi in quel campo specifico, le IA sono migliorate da poco meglio di una risposta casuale a metà del 2023 a meglio degli esperti umani entro la fine del 2024. Le capacità generali di utilizzo del computer sono in ritardo rispetto alle pure abilità testuali, ma sono passate da una capacità quasi nulla a colmare metà del divario con gli umani nell'ultimo anno. I ricercatori hanno persino dimostrato una nuova legge di Moore: la lunghezza dei compiti che l'IA può completare raddoppia ogni sette mesi.
+
+I governi se ne stanno accorgendo. La principale raccomandazione della Commissione USA-Cina del Congresso nel 2024 è stata che il Congresso "istituisca e finanzi un programma simile al Progetto Manhattan dedicato a correre verso e acquisire una capacità di Intelligenza Artificiale Generale (AGI)". Nel primo giorno intero del suo secondo mandato, il Presidente Trump si è unito ai CEO di OpenAI, Softbank e Oracle per annunciare il Progetto Stargate, che intende investire un totale di 500 miliardi di dollari per costruire infrastrutture per l'IA.
+
+Se il consenso dell'industria e del governo è anche solo vicino alla correttezza — e l'AGI sta per presentarsi sul tuo posto di lavoro — cosa succederà al tuo lavoro?
+
+## Questa tecnologia è diversa
+
+Immagina di essere il CEO di una grande azienda.
+
+Negli anni 2000, i laptop sono diventati ampiamente disponibili. Invece di ingombranti computer desktop, i tuoi dipendenti potevano ora lavorare da qualsiasi luogo. Potevano prendere appunti dettagliati nelle riunioni e collaborare nella sala relax.
+
+Quindi hai comprato laptop a tutti i tuoi dipendenti. Ha reso quasi tutti loro più produttivi, il che ha portato a un aumento dei profitti per la tua azienda. Ma i laptop non potevano sostituire gli analisti, perché non potevi dare a un laptop un compito in inglese semplice e aspettarti che lo facesse. Invece, avevi bisogno che gli analisti usassero i laptop per accedere ai loro benefici.
+
+Avanti veloce al 2030. Un grande laboratorio di IA ha appena rilasciato un nuovo sistema di IA. Completa qualsiasi compito il 20% più velocemente e il 10% meglio di qualsiasi tuo dipendente junior. Eseguirlo per fare il lavoro di un dipendente costa 10.000 dollari all'anno – è una riduzione dei costi di almeno l'80%. Potrebbe permettere al tuo miglior analista di fare il lavoro di 10, o automatizzare interamente la classe degli analisti.
+
+Forse ti piacciono i tuoi dipendenti esistenti e sei scettico su questo nuovo sistema. Lo integri come prova, e in un anno sta superando tutti loro. In effetti, mantenere gli umani nel ciclo rallenta il sistema e produce risultati peggiori.
+
+Perché non dovresti licenziare i tuoi dipendenti junior? Sono più costosi, peggiori nel lavoro e inaffidabili. Certo, Mike fa una buona impressione ai colloqui ed è piacevole averlo intorno, ma le aziende licenziano persone che piacciono personalmente alla loro leadership tutto il tempo. E se la tua azienda non li licenzia, sarai schiacciato dalla concorrenza che lo fa.
+
+Crediamo che questo modello si estenda a tutta l'economia. I dipendenti junior nelle grandi aziende perderanno per primi, attraverso una combinazione di rallentamenti nelle assunzioni e alcuni licenziamenti. Man mano che le IA migliorano, l'IA scalerà la piramide aziendale e sostituirà i lavoratori uno per uno. Alla fine, in molti settori, ci saranno pressioni competitive che costringeranno le aziende a smettere di assumere e iniziare a licenziare in tutta l'organizzazione. Questo inizierà nelle aziende di colletti bianchi, ma alla fine impatterà ogni settore.
+
+Chiamiamo questo fenomeno sostituzione della piramide. Come funziona?
+
+## L'IA nella piramide aziendale
+
+Il lavoro dei colletti bianchi nelle aziende medio-grandi è esposto in modo unico all'automazione dell'IA, specialmente rispetto ad altri lavori. La robotica sembra più lontana dell'AGI, e le aziende con lavoro fisicamente automatizzabile assumono e licenziano in modo diverso rispetto alle grandi aziende di colletti bianchi. Le piccole imprese assumono con strutture meno chiare, con meno dipendenti facilmente automatizzabili e lavoro meno chiaramente definito.
+
+Per questa analisi, ci concentreremo sulle aziende di colletti bianchi. I loro organigrammi aziendali sembrano piramidi, con molti dipendenti junior alla base e meno dipendenti senior in cima.
+
+I dipendenti entry-level non rimangono entry-level per sempre. Molti di loro diventano pronti per una promozione, il che significa che possono svolgere un lavoro più prezioso per l'azienda. Alcuni di loro trovano un altro lavoro e se ne vanno. Allo stesso tempo, molti dei dipendenti di livello medio o senior se ne vanno, vanno in pensione o smettono comunque di lavorare per l'azienda.
+
+Tutto questo crea spazio affinché il talento fluisca verso l'alto, ma richiede all'azienda di rifornire regolarmente gli strati inferiori dell'organizzazione.
+
+Quindi ogni anno, le aziende assumono nuovi talenti dalle migliori università da cui possono reclutare. Tengono fiere del lavoro, assumono stagisti e passano molto tempo a formare questi individui intelligenti ma con poco contesto. Poi, danno loro i compiti più semplici dell'azienda. È un lavoro ingrato, ma insegna loro come funziona l'azienda in modo che possano risalire la piramide e gestire i futuri dipendenti entry-level.
+
+Quando arriverà la prima ondata di agenti IA in grado di produrre output di lavoro entry-level a un costo molto inferiore rispetto a un dipendente umano, le aziende potrebbero decidere di:
+
+1. Non fare nulla, per inerzia
+2. Licenziare tutti, per massimizzare i benefici
+3. Adottarla lentamente, semplicemente non assumendo più persone
+
+Alcune aziende potrebbero non fare nulla. Ci aspettiamo che se ne pentiranno rapidamente: uno dei loro concorrenti la adotterà e i loro guadagni di produttività li aiuteranno a ottenere vantaggi significativi. Le pressioni competitive saranno una forza potente verso l'adozione. La maggior parte delle aziende non licenzierà tutti il giorno in cui tale strumento verrà rilasciato, e le poche che lo faranno ne soffriranno. Questo sistema potrebbe essere leggermente migliore e molto più economico, ma ci saranno ancora alcuni problemi da risolvere.
+
+Questo lascia tutti gli altri: gli adottatori lenti. Sospettiamo che la maggior parte delle aziende passerà un po' di tempo a implementare questo strumento. Una volta che vedranno che aumenta il lavoro dei loro migliori dipendenti junior, inizieranno a chiedersi perché assumono così tanti analisti entry-level.
+
+Pensiamo che la prima ondata di dipendenti IA, probabilmente una combinazione di scaffold LLM specializzati da startup e modelli nativamente agentici dai laboratori, permetterà alle aziende di ridurre i costi di assunzione senza licenziare nessuno. Invece, taglieranno le assunzioni.
+
+Fase 1: Le aziende iniziano ad assumere meno dipendenti entry-level.
+
+Questo modello si ripeterebbe man mano che vengono rilasciati nuovi sistemi di IA. Questi sistemi potrebbero essere nativamente più dirigibili e funzioneranno senza intervento per più tempo.
+
+A questo punto, un'azienda avrà bisogno di pochissimi dipendenti entry-level per completare i compiti di base. Man mano che i dipendenti esistenti ottengono promozioni, le assunzioni verranno tagliate ancora una volta.
+
+Fase 2: l'assunzione di dipendenti entry-level è finita e l'assunzione di dipendenti junior si sta riducendo rapidamente.
+
+Vengono rilasciati nuovi sistemi di IA. Questa volta, i nuovi agenti IA fanno il lavoro meglio quando i dipendenti entry-level non li interrompono. La maggior parte dei manager gestisce più IA che umani e un lavoro sempre più complesso sta diventando automatizzabile.
+
+Le aziende hanno un problema costoso tra le mani. Non vogliono licenziare grandi gruppi di dipendenti per motivi di immagine e inerzia, ma potrebbero trarre grandi benefici dal licenziamento del gran numero di dipendenti ridondanti.
+
+Per alcune aziende, ci vorrà uno shock — una recessione, una flessione o un cattivo rapporto trimestrale sugli utili — per annunciare licenziamenti come misura di riduzione dei costi. Nei settori più competitivi, questa azione potrebbe avvenire più velocemente. In ogni caso, gli strati più junior della piramide scompariranno completamente.
+
+Fase 3: i dipendenti entry-level sono andati e il management sta iniziando a essere colpito.
+
+Ancora una volta, i sistemi migliorano. Questa volta, sbloccano la capacità di svolgere tutti i compiti a medio termine in un'azienda.
+
+Il mercato si aspetta la prossima ondata di licenziamenti. Mentre il risentimento pubblico cresce, gli azionisti chiederanno che i benefici della produttività aumentino gli utili. Inoltre, tutte le altre aziende lo stanno facendo. Se l'azienda non automatizza la maggior parte del suo lavoro, perderà contro i suoi concorrenti. Il modello si ripete, ma questa volta è ancora più duro.
+
+Fase 4: l'IA ora svolge quasi tutti i ruoli nell'azienda.
+
+Ancora una volta, vengono rilasciati nuovi sistemi. Ora possono svolgere tutto il lavoro intellettuale nell'azienda e lo fanno meglio senza il senior management nel ciclo. Molte aziende prendono la decisione: hanno bisogno solo della C-suite (alta dirigenza).
+
+Fase 5: è rimasta solo la C-Suite e il loro lavoro è fornire direzione a una vasta orda di agenti e strumenti IA estremamente capaci.
+
+Passa un po' di tempo e le IA migliorano ancora. Ora possono tracciare ogni interazione che l'azienda ha, sia internamente che esternamente. Uno sciame di esse può eseguire ogni decisione e le migliori possono prendere decisioni strategiche eccezionalmente veloci.
+
+Il consiglio di amministrazione di alcune aziende potrebbe rendersi conto che la C-Suite è ora meno capace di gestire l'azienda rispetto alle migliori IA. I CEO sono smemorati e non hanno una visione totale di tutto ciò che sta facendo la loro azienda – ma i loro sistemi di IA sì.
+
+Questa volta, il consiglio prende la decisione. Per un piccolo numero di aziende, la versione più performante del loro organigramma è quella senza alcun dipendente umano:
+
+Fase 6: non sono più richiesti umani per gestire le attività quotidiane di molte aziende.
+
+## Sono necessarie alcune avvertenze
+
+Le barriere alla diffusione — cose come barriere normative, scetticismo degli investitori o della leadership, mancanza di pressioni all'automazione da parte delle aziende concorrenti, costi elevati o limitazioni d'uso, pressioni sindacali o del lavoro, o mancanza di flessioni economiche — potrebbero tutte rallentare questo processo.
+
+Potreste vedere un effetto più frastagliato di quanto dimostri questo modello. Alcuni lavori (es: ingegneri del software) sono più immediatamente automatizzabili di altri, anche allo stesso livello di anzianità. Potreste modellare questo come una piramide per ogni funzione aziendale. Quelle hanno piramidi all'interno di una grande organizzazione e probabilmente seguiranno un modello simile. Attualmente sembra che i compiti che richiedono pianificazione ed esecuzione su orizzonti temporali più lunghi richiederanno più tempo per essere automatizzati dalle IA, e sarà più difficile per le aziende di IA addestrare modelli di IA per fare bene su criteri che sono più difficili da giudicare oggettivamente.
+
+Alcuni settori dei colletti bianchi saranno molto più resistenti a questo rispetto ad altri. Le aziende tecnologiche potrebbero essere ampiamente automatizzabili con uno o due ulteriori salti nelle prestazioni dell'IA. Altri settori dei colletti bianchi potrebbero basarsi sul prestigio, sulla segnalazione o sulle soft skills che saranno più difficili da automatizzare. Questo probabilmente non importa a livello entry-level, ma importa per i dipendenti senior che svolgono molto lavoro importante e interpersonale.
+
+Infine, questa è una traiettoria predefinita per le grandi aziende. Interventi tecnologici o di governance potrebbero cambiare drasticamente questo modello.
+
+## Il futuro del lavoro?
+
+Per dirla senza mezzi termini, è improbabile che il tradizionale lavoro dei colletti bianchi, il motore economico delle economie sviluppate, sopravviva alla rivoluzione dell'IA. Questo non è un problema del 2050 o del 2100 – è un problema per gli imprenditori, i politici e le istituzioni di oggi.
+
+La cosa popolare è affermare che verranno creati nuovi e migliori lavori e che i salari aumenteranno di conseguenza. Ma quando gli economisti prendono davvero sul serio l'IA, sembrano giungere a conclusioni diverse. La modellazione di Korinek e Suh dimostra che, per impostazione predefinita, i salari crollano.
+
+Matthew Barnett delinea diversi possibili meccanismi di declino salariale.
+
+Primo, se l'IA si traduce in un massiccio aumento dell'offerta di lavoro, il capitale potrebbe diventare più un vincolo rispetto al lavoro. I rendimenti del lavoro aggiuntivo — macchina o umano — diminuiscono mentre quelli del capitale aumentano. Ciò significa salari più bassi e rendimenti più elevati per il capitale.
+
+Secondo, quando la produzione richiede input fissi come la terra, questi input fissi possono catturare quote sempre maggiori della produzione man mano che altri input scalano. Questo era essenzialmente lo stato malthusiano preindustriale dell'economia: bloccato dalla terra e con salari di sussistenza per il lavoro.
+
+Terzo, gli umani hanno un "salario minimo biologicamente imposto" più alto delle IA. Dobbiamo mangiare e l'efficienza dei nostri cervelli è fissa. Le IA non hanno tali limitazioni e quindi la loro presenza nel mercato del lavoro potrebbe spingere i salari al di sotto del livello di sussistenza umano.
+
+Barnett conclude:
+
+> Tutto considerato, sono propenso a indovinare che c'è circa 1 possibilità su 3 che i salari umani crollino al di sotto del livello di sussistenza prima del 2045. Sebbene questa cifra possa apparire allarmantemente alta per alcuni, personalmente la considero un po' bassa, poiché riflette parzialmente il mio tentativo ottimismo che il progresso tecnologico integrerà il lavoro umano anche dopo l'AGI, impedendo ai salari di crollare completamente al di sotto del livello di sussistenza nel breve termine. A lungo termine, ipotizzerei che la probabilità che i salari umani scendano al di sotto del livello di sussistenza prima del 2125 sia di circa 2 su 3.
+
+Questo potrebbe iniziare con il lavoro dei colletti bianchi, ma l'AGI è sulla buona strada per avere un impatto su ogni settore. I lavoratori sfollati potrebbero unirsi alle professioni dei colletti blu. Inoltre, alcuni lavori dei colletti blu sono sulla buona strada per essere sfollati. Gli investimenti in veicoli a guida autonoma per il trasporto e robotica specializzata per la produzione rendono quei settori maturi per lo sfollamento. L'arrivo della robotica generica sostituirebbe anche i restanti lavoratori dei colletti blu — e le demo di robotica stanno diventando convincenti.
+
+Tutto questo significa che, una volta che l'AGI sarà sulla scena, un sacco di persone guadagneranno molti meno soldi, se guadagneranno qualcosa. Una volta che i robot si presenteranno finalmente, tutti potrebbero essere senza lavoro.
+
+Ma potremmo semplicemente espandere la rete di sicurezza sociale? Reddito Universale di Base per tutti?
+
+L'espansione della rete di sicurezza sociale sarà limitata da diversi vincoli. I vincoli fiscali in tutto il mondo sono stretti a causa dell'aumento dei tassi e dei debiti. La modellazione economica suggerisce che i tassi di crescita veramente esplosivi necessari per finanziare un UBI diffuso arriveranno solo quando avremo la robotica generica. Ci sono anche molte considerazioni culturali: molte famiglie ad alto reddito potrebbero non essere soddisfatte di guadagnare lo stesso UBI di tutti gli altri e di perdere la strada verso l'ambizione che sognavano, specialmente se sono all'inizio della loro carriera.
+
+Questo non è ipotetico. Stiamo iniziando a vedere sistemi pre-AGI ridurre le classi di analisti e innescare licenziamenti. Ricorda che oggi è il peggio che questi sistemi saranno mai. Man mano che miglioreranno, il loro impatto sul mercato del lavoro crescerà rapidamente. Come dice Aschenbrenner, "questo non richiede di credere nella fantascienza; richiede solo di credere nelle linee rette su un grafico".
+
+Successivamente esamineremo i problemi più profondi e gli incentivi che la perdita di tutto il lavoro comporta.

03_Capital_AGI_and_Human_Ambition_en.md

@@ -0,0 +1,117 @@
+# Capital, AGI, and Human Ambition
+
+Summary: AI will make non-human factors of production more important than human ones. The result may be a future where today's power structures become permanent and frozen, with no remaining pathways for social mobility or progress.
+
+Many people say that money won't matter post-AGI, or at least it will matter less. By default, this is exactly backwards.
+
+First, some terms: labor means human mental and physical effort that produces something of value. Capital goods are things like factories, data centres, and software—things humans have built that are used in the production of goods and services. We’ll use "capital" to refer to both the stock of capital goods and to the money that can pay for them. We’ll say "money" when we want to exclude capital goods.
+
+The key economic effect of AI is that it makes capital a more and more general substitute for labor. There's less need to pay humans for their time to perform work, because you can replace that with capital—data centres running software replaces a human doing mental labor.
+
+We will walk through consequences of this, and conclude that labor-replacing AI means:
+
+1. The ability to buy results in the real world will dramatically go up
+2. Human ability to wield power in the real world will dramatically go down because:
+  1. The value of people’s labor goes down, which for most people is their main lever of power
+  2. It will be harder for humans to achieve outlier outcomes relative to their starting resources
+3. Radical equalising measures are unlikely
+
+Overall, this points to a neglected downside of transformative AI: that society might become permanently static, and that current power imbalances might be amplified and then turned immutable. A static society with a locked-in ruling caste does not seem dynamic or alive. We should not kill human ambition, if we can help it.
+
+## The default solution
+
+Let's assume human mental and physical labor across the vast majority of tasks that humans are currently paid wages for no longer has non-trivial market value, because the tasks can be done better/faster/cheaper by AIs. Call this labor-replacing AI.
+
+There are two levels of the standard solution to the resulting unemployment problem:
+
+1. Governments will adopt something like universal basic income (UBI).
+2. We will quickly hit superintelligence, and, assuming the superintelligence is aligned with human values, live in a post-scarcity technological wonderland where everything is possible.
+
+Note, firstly, that money will continue being a thing, at least unless we have one single AI system doing all economic planning. Prices are largely about communicating information. If there are many actors and they trade with each other, the strong assumption should be that there are prices (even if humans do not see them or interact with them). Remember too that however sharp the singularity, abundance will still be finite, and must therefore be allocated.
+
+## Money currently struggles to buy talent
+
+Money can buy you many things: capital goods, for example, can usually be bought quite straightforwardly, and cannot be bought without a lot of money. But it is surprisingly hard to convert raw money into labor, in a way that is competitive with top labor.
+
+Consider the stereotypical VC-and-founder interaction, or the acquirer-and-startup interaction. In both cases, holders of massive financial capital are willing to pay very high prices to bet on labor—and the bet is that the labor of the few people in the startup will beat extremely large amounts of capital.
+
+If you want to convert money into results, the deepest problem you are likely to face is hiring the right talent. And that comes with several problems:
+
+1. It's often hard to judge talent, unless you yourself have considerable talent in the same domain. Therefore, if you try to find talent, you will often miss it.
+2. Talent is rare—credentialed talent even more so. Many actors can't afford to rely on any other kind, because of point 1, so there's just not very much of it going around.
+3. Even if you can locate the top talent, the top talent tends to be less amenable to being bought out by money than others.
+
+With labor-replacing AI, these problems go away:
+
+First, the AIs can be copied. Currently, huge pools of money chase after a single star researcher who's made a breakthrough, and thus had their talent made legible to those who control money, who can judge the clout of the social reception to a paper but usually can't judge talent itself directly. But the star researcher that is an AI can just be copied. Everyone—or at least, everyone with enough money to burn on GPUs—gets the AI star researcher. No need to sort through the huge variety of unique humans with their unproven talents.
+
+Second, the price of talent will go down massively, because the AIs will be cheaper than the equivalent human labor, and because competition will be fiercer because the AIs can be duplicated.
+
+Third, lots of top talent has complicated human preferences that make them hard to buy out. The top artist has an artistic vision they're genuinely attached to. The top mathematician has a deep love of elegance and beauty. The top entrepreneur has deep conviction in what they're doing—and probably wouldn't function well as an employee anyway. Talent and performance in humans are surprisingly tied to a sacred bond to a discipline or mission. In contrast, AIs exist specifically so that they can be trivially bought out (at least within the bounds of their training). The genius AI mathematician, unlike the human one, will happily spend its limited time on Earth proving the correctness of schlep code.
+
+Finally, the AIs will eventually be much more capable than any human employees at their tasks.
+
+This means that the ability of money to buy results in the real world will dramatically go up once we have labor-replacing AI.
+
+## No more outlier outcomes?
+
+We’ve already discussed how most labor will be obsoleted by AI and robotics. But eventually, even the most talented humans will be outmatched by AIs. What happens then?
+
+Much change in the world is driven by people who start from outside power, achieve outlier success, and then end up with power. This makes sense, since those with power rarely have the fervour to push for big changes, since they are exactly those who are best served by the status quo.
+
+Whatever your opinions on income inequality or any particular group of outlier successes, the possibility of someone achieving outlier success and changing the world is important for avoiding stasis and continued social progress.
+
+Let's consider the effects of labor-replacing AI on various routes to outlier success through labor:
+
+Entrepreneurship is increasingly what Matt Clifford calls the "technology of ambition" of choice for ambitious young people. Right now, entrepreneurship has become easier. AI tools can already make small teams much more effective without needing to hire new employees. They also reduce the entry barrier to new skills and fields. However, labor-replacing AI makes the tenability of entrepreneurship uncertain. There is a possible future in which AIs remain mostly tool-like and entrepreneurs can succeed long after most human labor is automated because they provide agency and direction. However, it also seems likely that sufficiently strong AI will eventually obsolete human entrepreneurship. For example, VC funds might be able to directly convert money into hundreds of startup attempts all run by AIs, without having to go through the intermediate route of finding human entrepreneurs to manage the AIs for them.
+
+The hard sciences. The era of human achievement in hard sciences may end within a few years because of the rate of AI progress in anything with crisp reward signals.
+
+Intellectuals. Keynes, Friedman, and Hayek all did technical work in economics, but their outsize influence came from the worldviews they developed and sold, which made them more influential than people like Paul Samuelson who dominated mathematical economics. John Stuart Mill, John Rawls, and Henry George were also influential by creating frames, worldviews, and philosophies. The key thing that separates such people from the hard scientists is that the outputs of their work are not spotlighted by technical correctness alone, but require moral judgement as well. A core reason why intellectuals' ideologies can have so much power is that they're products of genius in a world where genius is rare. A flood of AI-created ideologies might mean that no individual ideology, and certainly no human one, can shine so bright anymore. The world-historic intellectual might go extinct.
+
+Politics might be one of the least-affected options, since we'd guess that most humans want a human to do that job, and because politicians get to set the rules for what's allowed. However, the charisma of AI-generated avatars, and a general dislike towards politicians might throw a curveball here. It's also hard to say whether incumbents will be favoured. AI might bring down the cost of many parts of political campaigning, reducing the resource barrier to entry. However, if AI too expensive for small actors is meaningfully better than cheaper AI, this would favour actors with larger resources. We expect these direct effects to be smaller than the indirect effects from whatever changes AI has on the memetic landscape.
+
+Military success as a direct route to great power and disruption has—for the better—not really been a thing since Napoleon. Advancing technology increases the minimum industrial base for a state-of-the-art army, which benefits incumbents. AI looks set to be controlled by the most powerful countries. One exception is if coups of large countries become easier with AI. Control over the future AI armies will likely be both (a) more centralized than before, since a large number of people no longer have to go along for the military to take an action, and (b) more tightly controllable than before, since the permissions can be implemented in code rather than human social norms. These two factors point in different directions so it's uncertain what the net effect on coup ease will be. Another possible exception is if a combination of revolutionary tactics and cheap drones enables a Napoleon-of-the-drones to win against existing armies. Importantly, though, neither of these seems likely to promote the good kind of disruptive challenge to the status quo.
+
+All this means that the ability to get and wield power in the real world without existing capital will dramatically go down once we have labor-replacing AI.
+
+## Enforced equality is unlikely
+
+The Great Leveler is a good book on the history of inequality that has survived its critiques fairly well. Its conclusion is that past large reductions in inequality have all been driven by one of the "Four Horsemen of Leveling": total war, violent revolution, state collapse, and pandemics. Leveling income differences has historically been hard enough to basically never happen through conscious political choice.
+
+Imagine that labor-replacing AI is here. There's a massive scramble between countries and companies to make the best use of AI. This is all capital-intensive, so everyone needs to woo holders of capital. The top AI companies wield power on the level of states. The redistribution of wealth is unlikely to end up on top of the political agenda.
+
+Therefore, even if we end up in a very rich society, it is unlikely that people in the future will be starting in it on an equal footing. It is also unlikely that they will be able to greatly change their relative footing later on.
+
+Consider also equality between states. Some states stand set to benefit massively more than others from AI. Many equalising measures, like UBI, would be difficult for states to extend to non-citizens under anything like the current political system. This is true even of the United States, the most liberal and humanist great power in world history. By default, the world order might therefore look—even more than today—like a global caste system based on country of birth.
+
+## The default outcome
+
+By default, in the post-labor-replacing-AI world:
+
+• Money will be able to buy results in the real world better than ever
+• People's labor gives them less leverage than ever before
+• Achieving outlier success through your labor in most or all areas is now impossible
+• There will have been no transformative leveling of capital, either within or between countries
+
+This means that those with significant capital when labor-replacing AI started have a permanent advantage. They will wield more power than the rich of today. Upstarts will not defeat them, since capital now trivially converts into superhuman labor in any field.
+
+In the best case, this is a world like a more unequal, unprecedentedly static, and much richer Norway: a massive pot of non-human-labor resources (in Norway’s case, oil) has benefits that flow through to everyone, and yes some are richer than others but everyone has a great standard of living. The only realistic forms of human ambition are playing local social and political games within your social network and class. If you don't have a lot of capital, you don't have a chance of affecting the broader world anymore. Remember: the AIs are better poets, artists, philosophers—everything; why would anyone care what some human does, unless that human is someone they personally know? In feudal societies the answer to "why is this person powerful?" would usually involve some long family history, perhaps ending in a distant ancestor who had fought in an important battle: "my great-great-grandfather fought at Bosworth Field!". In the future, the answer to “why is this person powerful?” would trace back to something they or someone they were close with did in the pre-AGI era: "oh, my uncle was technical staff at OpenAI". The children of the future will live their lives in the shadow of their parents, with social mobility extinct. This is far from the worst future we could imagine, but something important will have been lost.
+
+In a worse case, AI trillionaires have near-unlimited and unchecked power, and there's a permanent aristocracy that was locked in based on how much capital they had at the time of labor-replacing AI. The power disparities between classes might make modern people shiver, much like modern people consider feudal status hierarchies grotesque. But don't worry—much like the feudal underclass mostly accepted their world order due to their culture even without superhumanly persuasive AIs around, the future underclass will too.
+
+In the absolute worst case, humanity goes extinct, potentially because of a slow-rolling optimization for AI power over human prosperity over a long period of time. Because that's what the power and money incentives will point towards.
+
+## Towards the intelligence curse
+
+We’ve seen how advanced AI threatens both normal career paths, as well as the ability of outlier talent to make a difference in the world. Most people’s power and leverage over the world comes from them being able to do useful work—from being economically relevant. Labor-replacing AI might delete that power and leverage. By default, that will have far-reaching consequences.
+
+Over the past few centuries, there's been a big shift towards states caring more about humans. Why is this? We can examine the reasons to see how durable they seem:
+
+1. Moral and political changes downstream of the Enlightenment, in particular an increased centering of liberalism and individualism.
+2. Affluence & technology. Pre-industrial societies were mostly so poor that significant efforts to help the poor would've bankrupted them. Many types of help (such as effective medical care) are also only possible because of new technology.
+3. Incentives for states to care about freedom, prosperity, and education.
+
+AI will help a lot with the 2nd point. It will have some complicated effect on the 1st. But the 3rd in particular is unappreciated. With labor-replacing AI, the incentives of states—in the sense of what actions states should take to maximize their competitiveness against other states and/or their own power—will no longer be aligned with humans in this way. Adam Smith could write that his dinner doesn't depend on the benevolence of the butcher or the brewer or the baker. The classical liberal today can credibly claim that the arc of history really does bend towards freedom and plenty for all, not out of the benevolence of the state, but because of the incentives of capitalism and geopolitics. But after labor-replacing AI, this will no longer be true.
+
+We call this the intelligence curse, and it’s what we’ll examine next.

03_Capitale_AGI_e_Ambizione_Umana_it.md

@@ -0,0 +1,117 @@
+# Capitale, AGI e Ambizione Umana
+
+Sommario: L'IA renderà i fattori di produzione non umani più importanti di quelli umani. Il risultato potrebbe essere un futuro in cui le strutture di potere odierne diventano permanenti e congelate, senza percorsi rimanenti per la mobilità sociale o il progresso.
+
+Molte persone dicono che il denaro non conterà dopo l'AGI, o almeno conterà meno. Per impostazione predefinita, questo è esattamente il contrario.
+
+Innanzitutto, alcuni termini: lavoro significa sforzo mentale e fisico umano che produce qualcosa di valore. I beni capitali sono cose come fabbriche, data center e software — cose che gli umani hanno costruito e che vengono utilizzate nella produzione di beni e servizi. Useremo "capitale" per riferirci sia allo stock di beni capitali sia al denaro che può pagarli. Diremo "denaro" quando vogliamo escludere i beni capitali.
+
+L'effetto economico chiave dell'IA è che rende il capitale un sostituto sempre più generale del lavoro. C'è meno bisogno di pagare gli umani per il loro tempo per svolgere un lavoro, perché puoi sostituirlo con il capitale — data center che eseguono software sostituiscono un umano che svolge lavoro mentale.
+
+Esamineremo le conseguenze di questo e concluderemo che l'IA che sostituisce il lavoro significa:
+
+1. La capacità di acquistare risultati nel mondo reale aumenterà drasticamente
+2. La capacità umana di esercitare potere nel mondo reale diminuirà drasticamente perché:
+  1. Il valore del lavoro delle persone diminuisce, che per la maggior parte delle persone è la loro principale leva di potere
+  2. Sarà più difficile per gli umani ottenere risultati eccezionali rispetto alle loro risorse di partenza
+3. Misure di equalizzazione radicale sono improbabili
+
+Nel complesso, questo indica un aspetto negativo trascurato dell'IA trasformativa: che la società potrebbe diventare permanentemente statica e che gli attuali squilibri di potere potrebbero essere amplificati e poi resi immutabili. Una società statica con una casta dominante bloccata non sembra dinamica o viva. Non dovremmo uccidere l'ambizione umana, se possiamo evitarlo.
+
+## La soluzione predefinita
+
+Supponiamo che il lavoro mentale e fisico umano nella stragrande maggioranza dei compiti per i quali gli umani sono attualmente pagati non abbia più un valore di mercato non banale, perché i compiti possono essere svolti meglio/più velocemente/più economicamente dalle IA. Chiamiamo questa IA che sostituisce il lavoro.
+
+Ci sono due livelli della soluzione standard al problema della disoccupazione risultante:
+
+1. I governi adotteranno qualcosa come il reddito universale di base (UBI).
+2. Raggiungeremo rapidamente la superintelligenza e, supponendo che la superintelligenza sia allineata ai valori umani, vivremo in un paese delle meraviglie tecnologico post-scarsità dove tutto è possibile.
+
+Si noti, in primo luogo, che il denaro continuerà ad esistere, almeno a meno che non abbiamo un unico sistema di IA che fa tutta la pianificazione economica. I prezzi servono in gran parte a comunicare informazioni. Se ci sono molti attori e commerciano tra loro, la forte ipotesi dovrebbe essere che ci siano prezzi (anche se gli umani non li vedono o non interagiscono con essi). Ricorda anche che, per quanto acuta sia la singolarità, l'abbondanza sarà comunque finita e dovrà quindi essere allocata.
+
+## Il denaro attualmente fatica a comprare talento
+
+Il denaro può comprarti molte cose: i beni capitali, ad esempio, possono solitamente essere acquistati in modo abbastanza diretto e non possono essere acquistati senza molti soldi. Ma è sorprendentemente difficile convertire il denaro grezzo in lavoro, in un modo che sia competitivo con il miglior lavoro.
+
+Considera l'interazione stereotipata tra VC e fondatore, o l'interazione tra acquirente e startup. In entrambi i casi, i detentori di massiccio capitale finanziario sono disposti a pagare prezzi molto alti per scommettere sul lavoro — e la scommessa è che il lavoro delle poche persone nella startup batterà quantità estremamente grandi di capitale.
+
+Se vuoi convertire il denaro in risultati, il problema più profondo che probabilmente affronterai è assumere il talento giusto. E questo comporta diversi problemi:
+
+1. È spesso difficile giudicare il talento, a meno che tu stesso non abbia un talento considerevole nello stesso dominio. Pertanto, se provi a trovare talento, spesso lo perderai.
+2. Il talento è raro — il talento con credenziali ancora di più. Molti attori non possono permettersi di affidarsi a nessun altro tipo, a causa del punto 1, quindi non ce n'è molto in giro.
+3. Anche se riesci a individuare il miglior talento, il miglior talento tende ad essere meno propenso a essere comprato dal denaro rispetto ad altri.
+
+Con l'IA che sostituisce il lavoro, questi problemi scompaiono:
+
+Primo, le IA possono essere copiate. Attualmente, enormi pool di denaro inseguono un singolo ricercatore stellare che ha fatto una svolta, e quindi ha reso il suo talento leggibile a coloro che controllano il denaro, che possono giudicare il peso dell'accoglienza sociale a un articolo ma di solito non possono giudicare il talento stesso direttamente. Ma il ricercatore stellare che è un'IA può essere semplicemente copiato. Tutti — o almeno, tutti con abbastanza soldi da bruciare in GPU — ottengono il ricercatore stellare IA. Non c'è bisogno di smistare tra l'enorme varietà di umani unici con i loro talenti non provati.
+
+Secondo, il prezzo del talento scenderà massicciamente, perché le IA saranno più economiche del lavoro umano equivalente e perché la concorrenza sarà più feroce perché le IA possono essere duplicate.
+
+Terzo, molti dei migliori talenti hanno preferenze umane complicate che li rendono difficili da comprare. Il miglior artista ha una visione artistica a cui è genuinamente attaccato. Il miglior matematico ha un profondo amore per l'eleganza e la bellezza. Il miglior imprenditore ha una profonda convinzione in ciò che sta facendo — e probabilmente non funzionerebbe bene come dipendente comunque. Il talento e le prestazioni negli umani sono sorprendentemente legati a un legame sacro con una disciplina o una missione. Al contrario, le IA esistono specificamente per poter essere banalmente comprate (almeno entro i limiti del loro addestramento). Il genio matematico IA, a differenza di quello umano, passerà felicemente il suo tempo limitato sulla Terra a dimostrare la correttezza di codice tedioso.
+
+Infine, le IA saranno alla fine molto più capaci di qualsiasi dipendente umano nei loro compiti.
+
+Ciò significa che la capacità del denaro di acquistare risultati nel mondo reale aumenterà drasticamente una volta che avremo l'IA che sostituisce il lavoro.
+
+## Niente più risultati eccezionali?
+
+Abbiamo già discusso di come la maggior parte del lavoro sarà resa obsoleta dall'IA e dalla robotica. Ma alla fine, anche gli umani più talentuosi saranno superati dalle IA. Cosa succede allora?
+
+Molti cambiamenti nel mondo sono guidati da persone che partono da fuori dal potere, ottengono un successo eccezionale e poi finiscono con il potere. Questo ha senso, poiché coloro che hanno potere raramente hanno il fervore per spingere per grandi cambiamenti, poiché sono esattamente coloro che sono meglio serviti dallo status quo.
+
+Qualunque siano le tue opinioni sulla disuguaglianza di reddito o su qualsiasi particolare gruppo di successi eccezionali, la possibilità che qualcuno ottenga un successo eccezionale e cambi il mondo è importante per evitare la stasi e il continuo progresso sociale.
+
+Consideriamo gli effetti dell'IA che sostituisce il lavoro su vari percorsi verso il successo eccezionale attraverso il lavoro:
+
+L'imprenditorialità è sempre più ciò che Matt Clifford chiama la "tecnologia dell'ambizione" preferita dai giovani ambiziosi. In questo momento, l'imprenditorialità è diventata più facile. Gli strumenti di IA possono già rendere i piccoli team molto più efficaci senza dover assumere nuovi dipendenti. Riducono anche la barriera all'ingresso per nuove competenze e campi. Tuttavia, l'IA che sostituisce il lavoro rende incerta la sostenibilità dell'imprenditorialità. C'è un possibile futuro in cui le IA rimangono per lo più simili a strumenti e gli imprenditori possono avere successo molto tempo dopo che la maggior parte del lavoro umano è automatizzata perché forniscono agenzia e direzione. Tuttavia, sembra anche probabile che un'IA sufficientemente forte renderà alla fine obsoleta l'imprenditorialità umana. Ad esempio, i fondi di VC potrebbero essere in grado di convertire direttamente il denaro in centinaia di tentativi di startup tutti gestiti da IA, senza dover passare attraverso il percorso intermedio di trovare imprenditori umani per gestire le IA per loro.
+
+Le scienze dure. L'era delle conquiste umane nelle scienze dure potrebbe finire entro pochi anni a causa del tasso di progresso dell'IA in qualsiasi cosa con segnali di ricompensa nitidi.
+
+Intellettuali. Keynes, Friedman e Hayek hanno tutti svolto lavoro tecnico in economia, ma la loro influenza smisurata derivava dalle visioni del mondo che hanno sviluppato e venduto, che li hanno resi più influenti di persone come Paul Samuelson che dominavano l'economia matematica. Anche John Stuart Mill, John Rawls e Henry George sono stati influenti creando cornici, visioni del mondo e filosofie. La cosa fondamentale che separa tali persone dagli scienziati duri è che i risultati del loro lavoro non sono messi in luce solo dalla correttezza tecnica, ma richiedono anche un giudizio morale. Una ragione fondamentale per cui le ideologie degli intellettuali possono avere così tanto potere è che sono prodotti del genio in un mondo in cui il genio è raro. Un'inondazione di ideologie create dall'IA potrebbe significare che nessuna singola ideologia, e certamente nessuna umana, può più brillare così tanto. L'intellettuale storico-mondiale potrebbe estinguersi.
+
+La politica potrebbe essere una delle opzioni meno colpite, poiché ipotizziamo che la maggior parte degli umani voglia che un umano faccia quel lavoro e perché i politici possono stabilire le regole per ciò che è permesso. Tuttavia, il carisma degli avatar generati dall'IA e una generale antipatia verso i politici potrebbero lanciare una palla curva qui. È anche difficile dire se gli incumbent saranno favoriti. L'IA potrebbe abbassare il costo di molte parti della campagna politica, riducendo la barriera delle risorse all'ingresso. Tuttavia, se un'IA troppo costosa per i piccoli attori è significativamente migliore di un'IA più economica, ciò favorirebbe gli attori con risorse maggiori. Ci aspettiamo che questi effetti diretti siano minori degli effetti indiretti di qualsiasi cambiamento l'IA abbia sul panorama memetico.
+
+Il successo militare come percorso diretto verso il grande potere e la perturbazione non è stato — per fortuna — davvero una cosa dai tempi di Napoleone. L'avanzamento della tecnologia aumenta la base industriale minima per un esercito all'avanguardia, il che avvantaggia gli incumbent. L'IA sembra destinata a essere controllata dai paesi più potenti. Un'eccezione è se i colpi di stato nei grandi paesi diventano più facili con l'IA. Il controllo sui futuri eserciti di IA sarà probabilmente sia (a) più centralizzato di prima, poiché un gran numero di persone non deve più essere d'accordo affinché l'esercito intraprenda un'azione, sia (b) più strettamente controllabile di prima, poiché i permessi possono essere implementati nel codice piuttosto che nelle norme sociali umane. Questi due fattori puntano in direzioni diverse, quindi è incerto quale sarà l'effetto netto sulla facilità dei colpi di stato. Un'altra possibile eccezione è se una combinazione di tattiche rivoluzionarie e droni economici consente a un Napoleone dei droni di vincere contro gli eserciti esistenti. È importante sottolineare, tuttavia, che nessuno di questi sembra probabile promuovere il buon tipo di sfida perturbatrice allo status quo.
+
+Tutto ciò significa che la capacità di ottenere ed esercitare potere nel mondo reale senza capitale esistente diminuirà drasticamente una volta che avremo l'IA che sostituisce il lavoro.
+
+## L'uguaglianza forzata è improbabile
+
+"La grande livellatrice" è un buon libro sulla storia della disuguaglianza che è sopravvissuto abbastanza bene alle sue critiche. La sua conclusione è che le passate grandi riduzioni della disuguaglianza sono state tutte guidate da uno dei "Quattro Cavalieri del Livellamento": guerra totale, rivoluzione violenta, collasso dello stato e pandemie. Livellare le differenze di reddito è stato storicamente abbastanza difficile da non accadere praticamente mai attraverso una scelta politica consapevole.
+
+Immagina che l'IA che sostituisce il lavoro sia qui. C'è una massiccia corsa tra paesi e aziende per fare il miglior uso dell'IA. Tutto questo è ad alta intensità di capitale, quindi tutti devono corteggiare i detentori di capitale. Le migliori aziende di IA esercitano un potere al livello degli stati. È improbabile che la ridistribuzione della ricchezza finisca in cima all'agenda politica.
+
+Pertanto, anche se finiamo in una società molto ricca, è improbabile che le persone in futuro partano in essa su un piano di parità. È anche improbabile che saranno in grado di cambiare notevolmente la loro posizione relativa in seguito.
+
+Considera anche l'uguaglianza tra stati. Alcuni stati sono destinati a beneficiare massicciamente più di altri dall'IA. Molte misure di equalizzazione, come l'UBI, sarebbero difficili da estendere per gli stati ai non cittadini sotto qualsiasi cosa simile all'attuale sistema politico. Questo è vero anche per gli Stati Uniti, la grande potenza più liberale e umanista della storia mondiale. Per impostazione predefinita, l'ordine mondiale potrebbe quindi sembrare — ancora più di oggi — un sistema di caste globale basato sul paese di nascita.
+
+## Il risultato predefinito
+
+Per impostazione predefinita, nel mondo post-IA che sostituisce il lavoro:
+
+• Il denaro sarà in grado di acquistare risultati nel mondo reale meglio che mai
+• Il lavoro delle persone dà loro meno leva che mai prima d'ora
+• Ottenere un successo eccezionale attraverso il proprio lavoro nella maggior parte o in tutte le aree è ora impossibile
+• Non ci sarà stato alcun livellamento trasformativo del capitale, né all'interno né tra i paesi
+
+Ciò significa che coloro con un capitale significativo quando è iniziata l'IA che sostituisce il lavoro hanno un vantaggio permanente. Eserciteranno più potere dei ricchi di oggi. Gli emergenti non li sconfiggeranno, poiché il capitale ora si converte banalmente in lavoro sovrumano in qualsiasi campo.
+
+Nel migliore dei casi, questo è un mondo come una Norvegia più disuguale, senza precedenti statica e molto più ricca: un enorme piatto di risorse non derivanti dal lavoro umano (nel caso della Norvegia, il petrolio) ha benefici che fluiscono a tutti, e sì, alcuni sono più ricchi di altri ma tutti hanno un ottimo standard di vita. Le uniche forme realistiche di ambizione umana sono giocare a giochi sociali e politici locali all'interno della propria rete sociale e classe. Se non hai molto capitale, non hai più alcuna possibilità di influenzare il mondo più ampio. Ricorda: le IA sono poeti, artisti, filosofi migliori — tutto; perché a qualcuno dovrebbe importare cosa fa un umano, a meno che quell'umano non sia qualcuno che conoscono personalmente? Nelle società feudali la risposta a "perché questa persona è potente?" di solito coinvolgerebbe una lunga storia familiare, forse finendo in un lontano antenato che aveva combattuto in una battaglia importante: "il mio trisavolo ha combattuto a Bosworth Field!". In futuro, la risposta a "perché questa persona è potente?" risalirebbe a qualcosa che loro o qualcuno a cui erano vicini hanno fatto nell'era pre-AGI: "oh, mio zio era staff tecnico a OpenAI". I figli del futuro vivranno le loro vite all'ombra dei loro genitori, con la mobilità sociale estinta. Questo è lontano dal peggior futuro che potremmo immaginare, ma qualcosa di importante sarà andato perso.
+
+In un caso peggiore, i trilionari dell'IA hanno un potere quasi illimitato e incontrollato, e c'è un'aristocrazia permanente che è stata bloccata in base a quanto capitale avevano al momento dell'IA che sostituisce il lavoro. Le disparità di potere tra le classi potrebbero far rabbrividire le persone moderne, proprio come le persone moderne considerano grottesche le gerarchie di status feudali. Ma non preoccupatevi — proprio come la sottoclasse feudale accettava per lo più il proprio ordine mondiale a causa della propria cultura anche senza IA sovrumanamente persuasive in giro, lo farà anche la futura sottoclasse.
+
+Nel caso peggiore assoluto, l'umanità si estingue, potenzialmente a causa di un'ottimizzazione a rallentatore per il potere dell'IA sulla prosperità umana per un lungo periodo di tempo. Perché è verso questo che punteranno gli incentivi di potere e denaro.
+
+## Verso la maledizione dell'intelligenza
+
+Abbiamo visto come l'IA avanzata minacci sia i normali percorsi di carriera, sia la capacità del talento eccezionale di fare la differenza nel mondo. Il potere e la leva della maggior parte delle persone sul mondo derivano dalla loro capacità di svolgere un lavoro utile — dall'essere economicamente rilevanti. L'IA che sostituisce il lavoro potrebbe cancellare quel potere e quella leva. Per impostazione predefinita, ciò avrà conseguenze di vasta portata.
+
+Negli ultimi secoli, c'è stato un grande spostamento verso stati che si preoccupano di più degli umani. Perché questo? Possiamo esaminare le ragioni per vedere quanto sembrano durevoli:
+
+1. Cambiamenti morali e politici a valle dell'Illuminismo, in particolare una maggiore centralità del liberalismo e dell'individualismo.
+2. Benessere e tecnologia. Le società preindustriali erano per lo più così povere che sforzi significativi per aiutare i poveri le avrebbero mandate in bancarotta. Molti tipi di aiuto (come cure mediche efficaci) sono possibili anche solo grazie alla nuova tecnologia.
+3. Incentivi per gli stati a preoccuparsi della libertà, della prosperità e dell'istruzione.
+
+L'IA aiuterà molto con il secondo punto. Avrà qualche effetto complicato sul primo. Ma il terzo in particolare è sottovalutato. Con l'IA che sostituisce il lavoro, gli incentivi degli stati — nel senso di quali azioni gli stati dovrebbero intraprendere per massimizzare la loro competitività contro altri stati e/o il proprio potere — non saranno più allineati con gli umani in questo modo. Adam Smith poteva scrivere che la sua cena non dipende dalla benevolenza del macellaio o del birraio o del fornaio. Il liberale classico oggi può credibilmente affermare che l'arco della storia si piega davvero verso la libertà e l'abbondanza per tutti, non per la benevolenza dello stato, ma a causa degli incentivi del capitalismo e della geopolitica. Ma dopo l'IA che sostituisce il lavoro, questo non sarà più vero.
+
+Chiamiamo questo fenomeno la maledizione dell'intelligenza, ed è ciò che esamineremo dopo.

04_Defining_the_Intelligence_Curse_en.md

@@ -0,0 +1,137 @@
+# Defining the Intelligence Curse
+
+Summary: With AGI, powerful actors will lose their incentive to invest in regular people–just as resource-rich states today neglect their citizens because their wealth comes from natural resources rather than taxing human labor. This is the intelligence curse.
+
+Economists are used to modeling AI as a tool, so they don’t get how it could make people irrelevant. Past technological revolutions have driven human potential further. The agrarian revolution birthed civilizations; the industrial revolution let us scale them.
+
+But AGI looks a lot more like coal or oil than the plow, steam engine, or computer. Like those resources:
+
+• It will require immense capital to discover and harness.
+• Control will likely be concentrated in the hands of a few players: the labs that produce AI, the states where they reside, and the companies that manufacture the raw materials, the chips, and the robots, and the electricity they all need.
+• The states and companies that earn rents mostly or entirely from AI won’t need to rely on people for revenue.
+
+This problem looks a lot like the plague that affects rentier states, or states that predominantly rely on rents from a resource for their wealth instead of taxes from their citizens. These states suffer from the resource curse—despite having a natural source of income, they do worse than their economically diverse peers at improving their ordinary citizens’ living standards.
+
+Powerful actors that adopt labor-replacing AI systems will face rentier state-like incentives with far higher stakes. Because their revenues will come from intelligence on tap instead of people, they won’t receive returns on investments like education to prepare people for employment, employment and salaries, or a welfare state for the unemployed. As a result, they won’t invest – and their people will be unable to sustain themselves as a result. Humans need not apply, and so humans will not get paid.
+
+This is the intelligence curse – when powerful actors create and implement general intelligence, they will lose their incentives to invest in people.
+
+## Why powerful actors care about you
+
+By powerful actors, we mean large organizations such as states, corporations, and bureaucracies that command significant resources, enabling them to shape the world we live in and how we interact with it.
+
+Powerful actors don’t care about you out of the goodness of their heart. They care about you for two reasons:
+
+1. You offer a return on investment, usually through taxes or profits.
+2. You impact their ability to retain power, either through democratic means like voting or through credible threats to a regime.
+
+Most states in the modern world are diversified economies, meaning value comes from many different sectors and human activities, rather than a single or handful of sources. They rely on taxing people and corporations to generate revenue, so they increase their revenue by increasing their citizens’ productivity. The state is incentivized to produce engineers, entrepreneurs, innovators, and other economically productive workers and create an environment for them to return on the investment. To do so, they tend to:
+
+• Establish good schools, research institutions, and universities
+• Build infrastructure like roads and public transportation
+• Set up reliable governing systems and courts to protect property rights
+• Protect speech and the flow of information
+• Support small business formation
+• Foster competitive markets
+• Create social safety nets to support risk-taking
+
+These increase the productivity of citizens and increase the surface area of luck for innovation to occur. Equally importantly, these are the kinds of things that lift people out of abject poverty, increase living standards, and institute political and economic freedoms. With good schools, infrastructure, and competitive markets, a citizen can train for and find a high-paying job that exceeds their basic needs. And with reliable governing systems, fair courts, and free speech, a citizen can petition their government for their needs without the fear of becoming a political prisoner. They gain bargaining power through their votes and their economic output, so they can force changes that raise their standards of living. As a result, sometimes states capitulate to citizens' demands even if it will cost them.
+
+A similar phenomenon affects corporations. Take, for example, the exorbitant salaries of Silicon Valley. Tech workers have a skill set companies desperately need to make more money. Those workers are a hot commodity and competition to attract them is fierce. To win them over, companies pay large salaries, offer stock options, purchase pool tables, offer 24-7 free meals from a Michelin star chef, and do their laundry. No one is seriously arguing that the company laundry service is 10x’ing revenue, but it might win over a potential employee or keep an otherwise unsatisfied one from leaving for a competitor. The employees have bargaining power, so they can demand lavish perks that improve their quality of life.
+
+This creates a feedback loop – as regular people make powerful actors more money, they are more likely to cater to them. Will education increase your population’s (and thus the state’s) lifetime earnings? Build the schools. Will offering paid family leave get better employees for your company? Change the policy.
+
+## The resource curse
+
+We already have societies that divorce their nation’s economic output from their human capital. They’re called rentier states. These states – including Venezuela, Saudi Arabia, Norway, and Oman, derive most of their earnings from resources (usually oil), rather than the productive output of their citizens.
+
+The Democratic Republic of Congo has over $24 trillion worth of untapped minerals in their ground. How have their citizens fared? According to the World Bank:
+
+> Most people in DRC have not benefited from this wealth. A long history of conflict, political upheaval and instability, and authoritarian rule have led to a grave, ongoing humanitarian crisis. In addition, there has been forced displacement of populations. These features have not changed significantly since the end of the Congo Wars in 2003.
+
+DRC is among the five poorest nations in the world. An estimated 73.5% of Congolese people lived on less than $2.15 a day in 2024. About one out of six people living in extreme poverty in SSA lives in DRC.
+
+What’s going on here? How can it be that trillions in total available resources have resulted in abject poverty?
+
+Economists and political scientists call this the resource curse. Countries with abundant natural resources tend to experience poorer economic growth and higher rates of poverty than their economically diverse peers.
+
+There are many factors that lead to the resource curse, but a core one is the incentives they create to stop caring about your people’s economic well being. Because they earn money from resources, rentier states have no incentive to pay regular people today or invest in them for tomorrow. Building better schools doesn’t earn them more money. They invest just as much as it takes to move the oil out of the ground, onto trucks, and out to the ports. It’s not that their citizens couldn’t do anything worth taxing, it’s that there’s no reason to develop them into a taxable population. Why ask your people for money when you can get it from the ground?
+
+Without money, regular people struggle to make demands. In autocracies, there’s no incentive to care about them unless they credibly threaten your power. Those who control the rents can extract wealth without worrying about everyone else.
+
+So what do the lives of their citizens look like? Dr. Ferdinand Eibl and Dr. Steffen Hertog offer two competing visions:
+
+> There are few issues on which comparative politics theories offer more sharply contrasting predictions than on the link between resource rents and government welfare provision. Some authors, especially those in the tradition of “rentier state theory,” expect oil-rich rulers to engage in mass co-optation, politically pacifying their population with expansive welfare policies. Others, especially those proposing formal models of politics in oil-rich states, expect rentier rulers to neglect their population. As rents are siphoned off by a small ruling elite that does not need a domestic economic basis for their self-enrichment, welfare provision is minimal and misery spreads.
+
+There are empirical examples for both trajectories. Oman and Equatorial Guinea have broadly comparable levels of natural resource rents per capita—slightly above 8,000 USD per capita in the 1995 to 2014 period. Both have been ruled by the same autocrats since the 1970s, when both countries were desperately poor. Under Sultan Qaboos, Omani public services have expanded at a rapid pace, leading to one of the world’s fastest declines in child mortality, from 159 per one thousand live births in 1971 to 9 by 2010, far below the Middle East average of 32. In Teodoro Obiang’s Equatorial Guinea, the state outside of the security services remains embryonic, the vast majority of the population continues to live in abject poverty, and infant mortality has declined painfully slowly: from 263 in 1971 to 109 in 2010, remaining above the (high) sub-Saharan average of 89. Access to rentier wealth is monopolized by the president’s small entourage.
+
+Occasionally, rentier states result in large social safety nets. But in many cases, they result in abject poverty for all but the few who control streams of rent. Why? Eibl and Hertog provide an answer:
+
+> We concur with formal models of politics in resource-rich countries that ruling elites seek to ensure survival in power. Public policies are subject to this overarching goal and reflect elites’ assessment of threats to their rule. Within these constraints, elites will seek to maximize their personal rents from resource revenues.
+
+We also agree with existing literature that the relative economic pay-off of welfare provision is lower in resource-based regimes, while its potential modernization effects are politically undesired. All else being equal, we therefore expect oil-rich regimes to establish narrow kleptocratic coalitions with limited welfare provision and rampant elite self-enrichment.
+
+## Explaining the intelligence curse
+
+### Can the economy sideline human consumption?
+
+Powerful actors have goals, and therefore so will the economy’s production. States want control over territory and companies want to enrich their owners. Individuals who have accrued significant capital will also have goals. Maybe they’ll want to use their newfound power to colonize Mars or excavate the oceans. It could be less historic – plenty of ultra-wealthy people are content to live their lives maximizing their own pleasure. All of them will want to ensure their newfound place in society is secure, and this could require vast amounts of power and resources.
+
+More fundamentally, without regular people in the value production loop, there is no incentive for spoils to go to them. As humans stop being producers, they stop earning the economic power that lets them direct the economy with their consumption choices. The economy will increasingly sideline them. In the limit, much of the economy could run in loops that avoid human consumers entirely.
+
+## Explaining the intelligence curse
+
+The intelligence curse describes the incentives in a post-AGI economy that will drive powerful actors to invest in artificial intelligence instead of humans. If AI can do your job cheaper and faster, there isn’t a reason to hire you. But more importantly, there isn’t an economic reason to invest in your lifelong productivity, take care of you, or keep you around. We could produce unparalleled value with a fully automated economy, but if the spoils are distributed like the worst rentier states it will not result in prosperity for the masses.
+
+The intelligence curse will likely be stronger than the resource curse, as AI will keep improving. Rather than just providing the government an alternative income stream that still requires humans to manage, AI and robotics will replace the need for humans across the economy, military, and government bureaucracy entirely. You also can’t “run out” of AI like you can with oil. The rentier states still have a long-term incentive to diversify their economies, but this will not apply to post-AGI states.
+
+A common rebuttal is that some jobs can never be automated because we will demand humans do them.
+
+For example, teachers. Most parents would probably strongly prefer a real, human teacher to watch their kids throughout the day. But this argument totally misses the bigger picture: it’s not that there won’t be a demand for teachers, it’s that there won’t be an incentive to fund schools. This argument repeats ad nauseam for anything that invests in regular people’s productive capacity, any luxury that relies on their surplus income, or any good that keeps them afloat. By default, powerful actors won’t build things that employ humans or provide them resources, because they won’t have to.
+
+Taxes will still be a relevant form of income for governments, but only those from corporations. Likewise, corporations will make money from their AI systems, not from the work people produce. The investments that the developed world associates with a high quality of life — salaries, education, infrastructure, stable governance, etc — will no longer provide a return. People won’t make powerful actors any money.
+
+Where might the powerful actors get their money from instead?
+
+States will earn money from corporate taxes. Companies that produce advanced AI systems and companies that use them will generate large revenues. As they get bigger, states will tax them more. In 2022, corporate taxes made up 11.5% of the average OECD state’s revenue – a sample of high-performing, diverse economies. Like Norway (about 30% of state revenue from oil), Saudi Arabia (75%), and the Democratic Republic of the Congo (about 1/3rd of state revenue from resource mining), states will rely less on income taxes and more on taxes from AI companies or other companies that enable powerful actors to accomplish goals. When state revenue breakdowns look more like these countries than the OECD average, you’ll know the intelligence curse is taking hold.
+
+AI labs will make money by becoming the new rentiers. The stated goals of the AI labs are to build AGI. OpenAI is already changing their corporate structure to remove limits on how much of AGI profits they can capture for themselves. This is despite a corporate structure originally built to ensure that if AGI becomes most of the economy, OpenAI would distribute profits above some amount to the world. Once the labs have an AI system that can do it all, they’ll become a horizontal layer of the economy, extracting rents from all economic activity by selling it to companies and states who use it to replace their workers. They’ll also try as hard as possible to consume the economy vertically too. If they succeed, they will wield economic power that was previously exclusive to states. Anthropic’s CEO Dario Amodei has compared the effects of AI to “a country of geniuses in a data center”. Note the language—a country of geniuses. If the labs achieve this vision, it is less like just another company playing in the economy, and more like an entire foreign nation popped up into existence, that is more populous than any country, and inhabited by workers who are much cheaper, smarter, and faster than any human.
+
+Companies will trade amongst themselves and other powerful actors. Land, energy, compute, manufacturing hubs, data centers, and robots will continue having value since they enable powerful actors to accomplish their goals. The cafe chain and the marketing firm will be irrelevant, but the landlord and energy company will be able to make more money than ever before. Powerful actors, likely human-controlled (at least for a while), will extract the vast majority of value from these sources.
+
+So what will happen to most regular people, assuming powerful actors follow the default trajectory?:
+
+• Companies will be incentivized to fire them, and never hire new ones. They won’t produce anything they can value. For a short time they might rely on them as consumers, but most people-facing companies will fizzle out as their demand base loses economic power.
+• States will be incentivized to decimate public funding. Remember, their revenue base will shift towards other powerful actors. They will derive no value from their labor and are thus incentivized against building things that turn them into productive workers. ROI – capital, power, and resilience – comes from ensuring the AI labs can build better models and the companies using them can do things in the world. Also, the taxes to fund human investment would come in large part from AGI labs. Competition between states means that if any tries to set up a UBI with this tax, they could fall behind other states.
+• Regular people will not be able to support themselves. The vast majority of people will not have the economic power necessary to make any demands. They won’t be able to incentivize resource-controlling actors to invest in them. That means (at best) they’ll rely on benevolent charity from powerful actors. At worst, they won’t be able to earn even subsistence wages, and no one will step in to save them.
+
+For a while, they might be able to generate some value. Rentier states require some humans to move things in the physical world – someone has to get the oil out of the ground. It could be that humans are paid for manual labor while agents are limited to virtual forms. As robotics improves, the need for them will decrease. They won’t be able to participate in the economy because they won’t be able to do anything better, faster, cheaper, or more reliably than their artificial replacers.
+
+In rentier states, value is derived primarily from raw materials or physical goods, which are then sold to foreign buyers – usually other states or businesses. A few humans are involved in the raw production or management of this, but most don’t benefit. You should expect a similar scenario here. This leads to an obvious question: who are powerful actors producing anything for?
+
+## Breaking the resource curse
+
+There are two main ways states completely break the resource curse: effective governance to redistribute resources, and economic diversification to create incentives for states to care about their people.
+
+First, a state can build effective institutions to manage a lucrative resource. Masi and Ricciuti 2019 show that states with existing, relatively high levels of democracy avoided negative impacts.
+
+Take Norway as an example. If anything, Norway has achieved a resource miracle. It’s one of the wealthiest countries in the world, and its people have directly benefited from its resource wealth. Norway’s Human Development Index is the second highest in the world. Its sovereign wealth fund, which invests their vast oil rents, is worth over $1.7 trillion, or over $300k per person. They’re also consistently ranked as one of the happiest countries.
+
+Norway broke the resource curse through excellent governance alone, but many caution about trying to replicate their success. They built a strong democracy with high bureaucratic capacity before discovering oil. Dr. Steinar Holden – a Norwegian economist who served as an advisor in their ministry of finance – explained the problem with using them as a model:
+
+> To what extent can the Norwegian experience be copied by other countries? This is hard to assess, in particular when it comes to countries in an entirely different political and economic phase of development. When oil was discovered in Norway, the country had been a stable democracy since it acquired independence in 1905. The state bureaucracy functioned well, with little corruption. The legal system worked well, and the media was actively evaluating and commenting upon the workings of the system.
+
+Few states are as democratic, functional, and low-corruption as Norway. This path is narrow and ever-shrinking; 2024 marked the 19th consecutive year of global freedom backsliding. Achieving it is hard, and achieving it quickly is even harder. Few states become top-tier democracies because they might discover oil in the future.
+
+Second, a state can diversify the economy, putting human labor at the center so that no one resource can dominate it. This applies to existing diverse economies, but it’s also an effective strategy even after you’ve struck oil. For example, as the world moves closer to peak oil production, many petrostates have started diversifying. Saudi Arabia’s Vision 2030 aims to provide “a supportive business environment for businesses of all sizes”. It is no surprise that as Saudi Arabia has moved towards diversification, it has simultaneously attempted to reform its treatment of women. However, as discussed, AGI is not a limited resource like oil. This means the incentive to diversify will be far lower once we hit labor-replacing AI.
+
+There is a third way, but it’s less relevant. Eibl and Hertog 2023 outline that in autocratic states, credible threats of revolt prime powerful actors to capitulate to the masses by building welfare states. They show this path applies to most Gulf monarchy states, especially Oman.
+
+We have three objections to this avenue as a model for autocratic states in the midst of the intelligence curse. First, we think this is not “breaking” the resource curse, because the incentives still exist for states to deprioritize people. Second, we relatedly expect that capitulation is not stable. Regimes which successfully co-opt their people after threats of revolt could always revert back to repression. Third, we think this is much less likely to be effective for advanced AI because we expect states to have far more infrastructural power as AI advances, in line with Bullock, Hammond, and Krier’s conception of the AGI-powered “Despotic Leviathan”. As such, powerful actors could spot nearly all major threats to their power. Moreover, new technologies like cheap and very effective autonomous drones could also change the balance of power such that armed uprisings cannot threaten the state. For all these reasons, we expect autocracies with labor-replacing AI to succumb to the intelligence curse; democracy is likely a necessary precondition for breaking it.
+
+To summarize: the resource curse disincentivizes states from investing in their people, often to disastrous results. To break it, we have two relevant approaches:
+
+• Trusting institutions to control the resource and stay anchored to the public good
+• Diversifying the economy to put people at the center
+
+We’ll dig more into how to solve the intelligence curse, but first we’ll consider the effects it has on the social contract, how much economic incentives really shape society and whether AGI might change this.

04_Definire_la_Maledizione_dell_Intelligenza_it.md

@@ -0,0 +1,137 @@
+# Definire la Maledizione dell'Intelligenza
+
+Sommario: Con l'AGI, gli attori potenti perderanno il loro incentivo a investire nelle persone comuni – proprio come gli stati ricchi di risorse oggi trascurano i loro cittadini perché la loro ricchezza deriva dalle risorse naturali piuttosto che dalla tassazione del lavoro umano. Questa è la maledizione dell'intelligenza.
+
+Gli economisti sono abituati a modellare l'IA come uno strumento, quindi non capiscono come potrebbe rendere le persone irrilevanti. Le passate rivoluzioni tecnologiche hanno spinto ulteriormente il potenziale umano. La rivoluzione agraria ha dato vita alle civiltà; la rivoluzione industriale ci ha permesso di scalarle.
+
+Ma l'AGI assomiglia molto più al carbone o al petrolio che all'aratro, alla macchina a vapore o al computer. Come quelle risorse:
+
+• Richiederà un capitale immenso per essere scoperta e sfruttata.
+• Il controllo sarà probabilmente concentrato nelle mani di pochi attori: i laboratori che producono IA, gli stati in cui risiedono e le aziende che producono le materie prime, i chip, i robot e l'elettricità di cui tutti hanno bisogno.
+• Gli stati e le aziende che guadagnano rendite principalmente o interamente dall'IA non avranno bisogno di fare affidamento sulle persone per le entrate.
+
+Questo problema assomiglia molto alla piaga che colpisce gli stati rentier, o stati che si affidano prevalentemente alle rendite da una risorsa per la loro ricchezza invece che alle tasse dai loro cittadini. Questi stati soffrono della maledizione delle risorse: nonostante abbiano una fonte naturale di reddito, fanno peggio dei loro pari economicamente diversificati nel migliorare gli standard di vita dei loro cittadini comuni.
+
+Gli attori potenti che adottano sistemi di IA che sostituiscono il lavoro affronteranno incentivi simili a quelli degli stati rentier con una posta in gioco molto più alta. Poiché le loro entrate proverranno dall'intelligenza alla spina invece che dalle persone, non riceveranno ritorni su investimenti come l'istruzione per preparare le persone all'impiego, l'impiego e gli stipendi, o uno stato sociale per i disoccupati. Di conseguenza, non investiranno – e le loro persone non saranno in grado di sostenersi di conseguenza. Gli umani non devono fare domanda, e quindi gli umani non verranno pagati.
+
+Questa è la maledizione dell'intelligenza: quando gli attori potenti creano e implementano l'intelligenza generale, perderanno i loro incentivi a investire nelle persone.
+
+## Perché gli attori potenti si preoccupano di te
+
+Per attori potenti, intendiamo grandi organizzazioni come stati, corporazioni e burocrazie che comandano risorse significative, consentendo loro di modellare il mondo in cui viviamo e come interagiamo con esso.
+
+Gli attori potenti non si preoccupano di te per la bontà del loro cuore. Si preoccupano di te per due motivi:
+
+1. Offri un ritorno sull'investimento, di solito attraverso tasse o profitti.
+2. Influisci sulla loro capacità di mantenere il potere, sia attraverso mezzi democratici come il voto sia attraverso minacce credibili a un regime.
+
+La maggior parte degli stati nel mondo moderno sono economie diversificate, il che significa che il valore proviene da molti settori e attività umane diverse, piuttosto che da una singola o poche fonti. Si affidano alla tassazione delle persone e delle corporazioni per generare entrate, quindi aumentano le loro entrate aumentando la produttività dei loro cittadini. Lo stato è incentivato a produrre ingegneri, imprenditori, innovatori e altri lavoratori economicamente produttivi e a creare un ambiente affinché possano restituire l'investimento. Per farlo, tendono a:
+
+• Istituire buone scuole, istituti di ricerca e università
+• Costruire infrastrutture come strade e trasporti pubblici
+• Istituire sistemi di governo affidabili e tribunali per proteggere i diritti di proprietà
+• Proteggere la parola e il flusso di informazioni
+• Sostenere la formazione di piccole imprese
+• Promuovere mercati competitivi
+• Creare reti di sicurezza sociale per sostenere l'assunzione di rischi
+
+Questi aumentano la produttività dei cittadini e aumentano la superficie della fortuna affinché l'innovazione si verifichi. Altrettanto importante, queste sono le cose che sollevano le persone dalla povertà estrema, aumentano gli standard di vita e istituiscono libertà politiche ed economiche. Con buone scuole, infrastrutture e mercati competitivi, un cittadino può formarsi e trovare un lavoro ben pagato che supera i suoi bisogni di base. E con sistemi di governo affidabili, tribunali equi e libertà di parola, un cittadino può presentare petizioni al proprio governo per i propri bisogni senza la paura di diventare un prigioniero politico. Guadagnano potere contrattuale attraverso i loro voti e la loro produzione economica, quindi possono forzare cambiamenti che aumentano i loro standard di vita. Di conseguenza, a volte gli stati capitolano alle richieste dei cittadini anche se costerà loro.
+
+Un fenomeno simile colpisce le corporazioni. Prendi, ad esempio, gli stipendi esorbitanti della Silicon Valley. I lavoratori tecnologici hanno un set di competenze di cui le aziende hanno disperatamente bisogno per fare più soldi. Quei lavoratori sono una merce calda e la concorrenza per attirarli è feroce. Per conquistarli, le aziende pagano stipendi elevati, offrono stock option, acquistano tavoli da biliardo, offrono pasti gratuiti 24 ore su 24, 7 giorni su 7 da uno chef stellato Michelin e fanno il bucato. Nessuno sostiene seriamente che il servizio di lavanderia aziendale stia decuplicando le entrate, ma potrebbe conquistare un potenziale dipendente o impedire a uno altrimenti insoddisfatto di andarsene per un concorrente. I dipendenti hanno potere contrattuale, quindi possono richiedere vantaggi sontuosi che migliorano la loro qualità della vita.
+
+Questo crea un ciclo di feedback: man mano che le persone comuni fanno guadagnare più soldi agli attori potenti, questi sono più propensi a soddisfarli. L'istruzione aumenterà i guadagni a vita della tua popolazione (e quindi dello stato)? Costruisci le scuole. Offrire congedi familiari retribuiti porterà dipendenti migliori per la tua azienda? Cambia la politica.
+
+## La maledizione delle risorse
+
+Abbiamo già società che divorziano la produzione economica della loro nazione dal loro capitale umano. Si chiamano stati rentier. Questi stati – tra cui Venezuela, Arabia Saudita, Norvegia e Oman – derivano la maggior parte dei loro guadagni dalle risorse (di solito petrolio), piuttosto che dalla produzione produttiva dei loro cittadini.
+
+La Repubblica Democratica del Congo ha oltre 24 trilioni di dollari di minerali non sfruttati nel suo sottosuolo. Come se la sono cavata i loro cittadini? Secondo la Banca Mondiale:
+
+> La maggior parte delle persone nella RDC non ha beneficiato di questa ricchezza. Una lunga storia di conflitti, sconvolgimenti politici e instabilità, e un governo autoritario hanno portato a una grave e continua crisi umanitaria. Inoltre, c'è stato uno spostamento forzato delle popolazioni. Queste caratteristiche non sono cambiate significativamente dalla fine delle Guerre del Congo nel 2003.
+
+La RDC è tra le cinque nazioni più povere del mondo. Si stima che il 73,5% dei congolesi vivesse con meno di 2,15 dollari al giorno nel 2024. Circa una persona su sei che vive in povertà estrema nell'Africa subsahariana vive nella RDC.
+
+Cosa sta succedendo qui? Come può essere che trilioni di risorse totali disponibili abbiano portato alla povertà estrema?
+
+Economisti e scienziati politici chiamano questo fenomeno la maledizione delle risorse. I paesi con abbondanti risorse naturali tendono a sperimentare una crescita economica più povera e tassi di povertà più elevati rispetto ai loro pari economicamente diversificati.
+
+Ci sono molti fattori che portano alla maledizione delle risorse, ma uno fondamentale sono gli incentivi che creano a smettere di preoccuparsi del benessere economico della propria gente. Poiché guadagnano denaro dalle risorse, gli stati rentier non hanno alcun incentivo a pagare le persone comuni oggi o a investire in esse per il domani. Costruire scuole migliori non fa guadagnare loro più soldi. Investono solo quanto basta per spostare il petrolio fuori dal terreno, sui camion e fuori verso i porti. Non è che i loro cittadini non potrebbero fare nulla che valga la pena tassare, è che non c'è motivo di svilupparli in una popolazione tassabile. Perché chiedere soldi alla tua gente quando puoi ottenerli dal terreno?
+
+Senza soldi, le persone comuni faticano a fare richieste. Nelle autocrazie, non c'è incentivo a preoccuparsi di loro a meno che non minaccino credibilmente il tuo potere. Coloro che controllano le rendite possono estrarre ricchezza senza preoccuparsi di tutti gli altri.
+
+Quindi come sono le vite dei loro cittadini? Il Dr. Ferdinand Eibl e il Dr. Steffen Hertog offrono due visioni contrastanti:
+
+> Ci sono poche questioni su cui le teorie della politica comparata offrono previsioni più nettamente contrastanti rispetto al legame tra rendite da risorse e fornitura di welfare governativo. Alcuni autori, specialmente quelli nella tradizione della "teoria dello stato rentier", si aspettano che i governanti ricchi di petrolio si impegnino in una cooptazione di massa, pacificando politicamente la loro popolazione con politiche di welfare espansive. Altri, specialmente quelli che propongono modelli formali di politica negli stati ricchi di petrolio, si aspettano che i governanti rentier trascurino la loro popolazione. Poiché le rendite vengono sottratte da una piccola élite dominante che non ha bisogno di una base economica interna per il proprio arricchimento personale, la fornitura di welfare è minima e la miseria si diffonde.
+
+Ci sono esempi empirici per entrambe le traiettorie. Oman e Guinea Equatoriale hanno livelli ampiamente comparabili di rendite da risorse naturali pro capite — leggermente sopra gli 8.000 USD pro capite nel periodo dal 1995 al 2014. Entrambi sono stati governati dagli stessi autocrati dagli anni '70, quando entrambi i paesi erano disperatamente poveri. Sotto il Sultano Qaboos, i servizi pubblici dell'Oman si sono espansi a un ritmo rapido, portando a uno dei cali più rapidi al mondo della mortalità infantile, da 159 per mille nati vivi nel 1971 a 9 entro il 2010, ben al di sotto della media del Medio Oriente di 32. Nella Guinea Equatoriale di Teodoro Obiang, lo stato al di fuori dei servizi di sicurezza rimane embrionale, la stragrande maggioranza della popolazione continua a vivere in povertà estrema e la mortalità infantile è diminuita dolorosamente lentamente: da 263 nel 1971 a 109 nel 2010, rimanendo al di sopra della (alta) media dell'Africa subsahariana di 89. L'accesso alla ricchezza rentier è monopolizzato dal piccolo entourage del presidente.
+
+Occasionalmente, gli stati rentier si traducono in grandi reti di sicurezza sociale. Ma in molti casi, si traducono in povertà estrema per tutti tranne che per i pochi che controllano i flussi di rendita. Perché? Eibl e Hertog forniscono una risposta:
+
+> Concordiamo con i modelli formali di politica nei paesi ricchi di risorse che le élite dominanti cercano di garantire la sopravvivenza al potere. Le politiche pubbliche sono soggette a questo obiettivo generale e riflettono la valutazione delle élite delle minacce al loro dominio. All'interno di questi vincoli, le élite cercheranno di massimizzare le loro rendite personali dalle entrate delle risorse.
+
+Concordiamo anche con la letteratura esistente che il relativo ritorno economico della fornitura di welfare è inferiore nei regimi basati sulle risorse, mentre i suoi potenziali effetti di modernizzazione sono politicamente indesiderati. A parità di condizioni, ci aspettiamo quindi che i regimi ricchi di petrolio stabiliscano coalizioni cleptocratiche ristrette con una fornitura di welfare limitata e un dilagante arricchimento personale delle élite.
+
+## Spiegare la maledizione dell'intelligenza
+
+### L'economia può mettere da parte il consumo umano?
+
+Gli attori potenti hanno obiettivi, e quindi li avrà anche la produzione dell'economia. Gli stati vogliono il controllo sul territorio e le aziende vogliono arricchire i loro proprietari. Gli individui che hanno accumulato un capitale significativo avranno anche obiettivi. Forse vorranno usare il loro nuovo potere per colonizzare Marte o scavare gli oceani. Potrebbe essere meno storico – molte persone ultra-ricche si accontentano di vivere le loro vite massimizzando il proprio piacere. Tutti loro vorranno assicurarsi che il loro nuovo posto nella società sia sicuro, e questo potrebbe richiedere grandi quantità di potere e risorse.
+
+Più fondamentalmente, senza persone comuni nel ciclo di produzione del valore, non c'è incentivo affinché il bottino vada a loro. Man mano che gli umani smettono di essere produttori, smettono di guadagnare il potere economico che consente loro di dirigere l'economia con le loro scelte di consumo. L'economia li metterà sempre più da parte. Al limite, gran parte dell'economia potrebbe funzionare in cicli che evitano completamente i consumatori umani.
+
+## Spiegare la maledizione dell'intelligenza
+
+La maledizione dell'intelligenza descrive gli incentivi in un'economia post-AGI che spingeranno gli attori potenti a investire nell'intelligenza artificiale invece che negli umani. Se l'IA può fare il tuo lavoro in modo più economico e veloce, non c'è motivo di assumerti. Ma ancora più importante, non c'è un motivo economico per investire nella tua produttività per tutta la vita, prendersi cura di te o tenerti in giro. Potremmo produrre un valore senza pari con un'economia completamente automatizzata, ma se il bottino viene distribuito come nei peggiori stati rentier non si tradurrà in prosperità per le masse.
+
+La maledizione dell'intelligenza sarà probabilmente più forte della maledizione delle risorse, poiché l'IA continuerà a migliorare. Invece di fornire semplicemente al governo un flusso di reddito alternativo che richiede ancora umani per essere gestito, l'IA e la robotica sostituiranno interamente la necessità di umani in tutta l'economia, l'esercito e la burocrazia governativa. Inoltre non puoi "finire" l'IA come puoi fare con il petrolio. Gli stati rentier hanno ancora un incentivo a lungo termine a diversificare le loro economie, ma questo non si applicherà agli stati post-AGI.
+
+Una confutazione comune è che alcuni lavori non potranno mai essere automatizzati perché richiederemo che siano gli umani a svolgerli.
+
+Ad esempio, gli insegnanti. La maggior parte dei genitori probabilmente preferirebbe fortemente un insegnante umano reale per guardare i propri figli durante il giorno. Ma questo argomento manca totalmente il quadro più ampio: non è che non ci sarà una domanda di insegnanti, è che non ci sarà un incentivo a finanziare le scuole. Questo argomento si ripete ad nauseam per qualsiasi cosa che investa nella capacità produttiva delle persone comuni, qualsiasi lusso che si affidi al loro reddito in eccesso o qualsiasi bene che le mantenga a galla. Per impostazione predefinita, gli attori potenti non costruiranno cose che impiegano umani o forniscono loro risorse, perché non dovranno farlo.
+
+Le tasse saranno ancora una forma rilevante di reddito per i governi, ma solo quelle dalle corporazioni. Allo stesso modo, le corporazioni faranno soldi dai loro sistemi di IA, non dal lavoro che le persone producono. Gli investimenti che il mondo sviluppato associa a un'alta qualità della vita — stipendi, istruzione, infrastrutture, governance stabile, ecc. — non forniranno più un ritorno. Le persone non faranno guadagnare soldi agli attori potenti.
+
+Da dove potrebbero invece ottenere i loro soldi gli attori potenti?
+
+Gli stati guadagneranno denaro dalle tasse sulle società. Le aziende che producono sistemi di IA avanzati e le aziende che li utilizzano genereranno grandi entrate. Man mano che diventano più grandi, gli stati le tasseranno di più. Nel 2022, le tasse sulle società costituivano l'11,5% delle entrate medie degli stati OCSE – un campione di economie ad alte prestazioni e diversificate. Come la Norvegia (circa il 30% delle entrate statali dal petrolio), l'Arabia Saudita (75%) e la Repubblica Democratica del Congo (circa 1/3 delle entrate statali dall'estrazione di risorse), gli stati faranno meno affidamento sulle imposte sul reddito e più sulle tasse dalle aziende di IA o altre aziende che consentono agli attori potenti di raggiungere obiettivi. Quando le ripartizioni delle entrate statali assomiglieranno più a questi paesi che alla media OCSE, saprai che la maledizione dell'intelligenza sta prendendo piede.
+
+I laboratori di IA faranno soldi diventando i nuovi rentier. Gli obiettivi dichiarati dei laboratori di IA sono costruire l'AGI. OpenAI sta già cambiando la sua struttura aziendale per rimuovere i limiti su quanto dei profitti dell'AGI possono catturare per se stessi. Questo nonostante una struttura aziendale originariamente costruita per garantire che se l'AGI diventasse la maggior parte dell'economia, OpenAI distribuirebbe i profitti al di sopra di un certo importo al mondo. Una volta che i laboratori avranno un sistema di IA in grado di fare tutto, diventeranno uno strato orizzontale dell'economia, estraendo rendite da tutta l'attività economica vendendola ad aziende e stati che la usano per sostituire i loro lavoratori. Cercheranno anche il più possibile di consumare l'economia anche verticalmente. Se ci riusciranno, eserciteranno un potere economico che in precedenza era esclusivo degli stati. Il CEO di Anthropic Dario Amodei ha paragonato gli effetti dell'IA a "un paese di geni in un data center". Nota il linguaggio — un paese di geni. Se i laboratori realizzano questa visione, è meno come un'altra azienda che gioca nell'economia e più come un'intera nazione straniera apparsa all'esistenza, che è più popolosa di qualsiasi paese e abitata da lavoratori che sono molto più economici, intelligenti e veloci di qualsiasi umano.
+
+Le aziende commerceranno tra loro e con altri attori potenti. Terra, energia, calcolo, centri di produzione, data center e robot continueranno ad avere valore poiché consentono agli attori potenti di raggiungere i loro obiettivi. La catena di caffè e l'azienda di marketing saranno irrilevanti, ma il proprietario terriero e l'azienda energetica saranno in grado di fare più soldi che mai. Gli attori potenti, probabilmente controllati da umani (almeno per un po'), estrarranno la stragrande maggioranza del valore da queste fonti.
+
+Quindi cosa accadrà alla maggior parte delle persone comuni, supponendo che gli attori potenti seguano la traiettoria predefinita?:
+
+• Le aziende saranno incentivate a licenziarle e a non assumerne mai di nuove. Non produrranno nulla che possano valutare. Per un breve periodo potrebbero fare affidamento su di loro come consumatori, ma la maggior parte delle aziende rivolte alle persone svanirà man mano che la loro base di domanda perde potere economico.
+• Gli stati saranno incentivati a decimare i finanziamenti pubblici. Ricorda, la loro base di entrate si sposterà verso altri attori potenti. Non trarranno alcun valore dal loro lavoro e sono quindi incentivati contro la costruzione di cose che li trasformino in lavoratori produttivi. Il ROI – capitale, potere e resilienza – deriva dal garantire che i laboratori di IA possano costruire modelli migliori e che le aziende che li utilizzano possano fare cose nel mondo. Inoltre, le tasse per finanziare gli investimenti umani proverrebbero in gran parte dai laboratori di AGI. La concorrenza tra stati significa che se qualcuno cerca di istituire un UBI con questa tassa, potrebbe rimanere indietro rispetto ad altri stati.
+• Le persone comuni non saranno in grado di sostenersi. La stragrande maggioranza delle persone non avrà il potere economico necessario per fare richieste. Non saranno in grado di incentivare gli attori che controllano le risorse a investire in loro. Ciò significa che (nel migliore dei casi) faranno affidamento sulla carità benevola di attori potenti. Nel peggiore dei casi, non saranno in grado di guadagnare nemmeno salari di sussistenza e nessuno interverrà per salvarli.
+
+Per un po', potrebbero essere in grado di generare un certo valore. Gli stati rentier richiedono alcuni umani per spostare le cose nel mondo fisico – qualcuno deve estrarre il petrolio dal terreno. Potrebbe essere che gli umani vengano pagati per il lavoro manuale mentre gli agenti sono limitati alle forme virtuali. Man mano che la robotica migliora, la necessità di loro diminuirà. Non saranno in grado di partecipare all'economia perché non saranno in grado di fare nulla meglio, più velocemente, più economicamente o in modo più affidabile dei loro sostituti artificiali.
+
+Negli stati rentier, il valore deriva principalmente dalle materie prime o dai beni fisici, che vengono poi venduti ad acquirenti stranieri – di solito altri stati o imprese. Pochi umani sono coinvolti nella produzione grezza o nella gestione di questo, ma la maggior parte non ne beneficia. Dovreste aspettarvi uno scenario simile qui. Questo porta a una domanda ovvia: per chi stanno producendo qualcosa gli attori potenti?
+
+## Rompere la maledizione delle risorse
+
+Ci sono due modi principali in cui gli stati rompono completamente la maledizione delle risorse: una governance efficace per ridistribuire le risorse e la diversificazione economica per creare incentivi affinché gli stati si preoccupino della loro gente.
+
+Primo, uno stato può costruire istituzioni efficaci per gestire una risorsa redditizia. Masi e Ricciuti 2019 mostrano che gli stati con livelli esistenti e relativamente alti di democrazia hanno evitato impatti negativi.
+
+Prendi la Norvegia come esempio. Se non altro, la Norvegia ha realizzato un miracolo delle risorse. È uno dei paesi più ricchi del mondo e la sua gente ha beneficiato direttamente della sua ricchezza di risorse. L'Indice di Sviluppo Umano della Norvegia è il secondo più alto al mondo. Il suo fondo sovrano, che investe le loro vaste rendite petrolifere, vale oltre 1,7 trilioni di dollari, o oltre 300.000 dollari a persona. Sono anche costantemente classificati come uno dei paesi più felici.
+
+La Norvegia ha rotto la maledizione delle risorse solo attraverso un'eccellente governance, ma molti mettono in guardia dal cercare di replicare il loro successo. Hanno costruito una forte democrazia con un'elevata capacità burocratica prima di scoprire il petrolio. Il Dr. Steinar Holden – un economista norvegese che ha servito come consulente nel loro ministero delle finanze – ha spiegato il problema nell'usarli come modello:
+
+> In che misura l'esperienza norvegese può essere copiata da altri paesi? Questo è difficile da valutare, in particolare quando si tratta di paesi in una fase politica ed economica di sviluppo completamente diversa. Quando il petrolio è stato scoperto in Norvegia, il paese era una democrazia stabile da quando aveva acquisito l'indipendenza nel 1905. La burocrazia statale funzionava bene, con poca corruzione. Il sistema legale funzionava bene e i media valutavano e commentavano attivamente il funzionamento del sistema.
+
+Pochi stati sono democratici, funzionali e a bassa corruzione come la Norvegia. Questo percorso è stretto e in continua contrazione; il 2024 ha segnato il 19° anno consecutivo di arretramento della libertà globale. Raggiungerlo è difficile e raggiungerlo rapidamente è ancora più difficile. Pochi stati diventano democrazie di alto livello perché potrebbero scoprire il petrolio in futuro.
+
+Secondo, uno stato può diversificare l'economia, mettendo il lavoro umano al centro in modo che nessuna risorsa possa dominarla. Questo si applica alle economie diversificate esistenti, ma è anche una strategia efficace anche dopo aver trovato il petrolio. Ad esempio, mentre il mondo si avvicina al picco della produzione di petrolio, molti petrostati hanno iniziato a diversificare. La Vision 2030 dell'Arabia Saudita mira a fornire "un ambiente imprenditoriale favorevole per le imprese di tutte le dimensioni". Non sorprende che, mentre l'Arabia Saudita si è mossa verso la diversificazione, abbia contemporaneamente tentato di riformare il trattamento delle donne. Tuttavia, come discusso, l'AGI non è una risorsa limitata come il petrolio. Ciò significa che l'incentivo a diversificare sarà molto più basso una volta raggiunta l'IA che sostituisce il lavoro.
+
+C'è una terza via, ma è meno rilevante. Eibl e Hertog 2023 delineano che negli stati autocratici, minacce credibili di rivolta spingono gli attori potenti a capitolare alle masse costruendo stati sociali. Mostrano che questo percorso si applica alla maggior parte degli stati monarchici del Golfo, specialmente all'Oman.
+
+Abbiamo tre obiezioni a questa strada come modello per gli stati autocratici nel mezzo della maledizione dell'intelligenza. Primo, pensiamo che questo non stia "rompendo" la maledizione delle risorse, perché esistono ancora gli incentivi per gli stati a de-prioritizzare le persone. Secondo, ci aspettiamo analogamente che la capitolazione non sia stabile. I regimi che cooptano con successo il loro popolo dopo minacce di rivolta potrebbero sempre tornare alla repressione. Terzo, pensiamo che questo sia molto meno probabile che sia efficace per l'IA avanzata perché ci aspettiamo che gli stati abbiano molto più potere infrastrutturale man mano che l'IA avanza, in linea con la concezione di Bullock, Hammond e Krier del "Leviatano Dispotico" alimentato dall'AGI. In quanto tale, gli attori potenti potrebbero individuare quasi tutte le principali minacce al loro potere. Inoltre, nuove tecnologie come droni autonomi economici e molto efficaci potrebbero anche cambiare l'equilibrio di potere in modo tale che le rivolte armate non possano minacciare lo stato. Per tutti questi motivi, ci aspettiamo che le autocrazie con IA che sostituisce il lavoro soccombano alla maledizione dell'intelligenza; la democrazia è probabilmente una precondizione necessaria per romperla.
+
+Per riassumere: la maledizione delle risorse disincentiva gli stati dall'investire nella loro gente, spesso con risultati disastrosi. Per romperla, abbiamo due approcci rilevanti:
+
+• Fidarsi delle istituzioni per controllare la risorsa e rimanere ancorati al bene pubblico
+• Diversificare l'economia per mettere le persone al centro
+
+Approfondiremo come risolvere la maledizione dell'intelligenza, ma prima considereremo gli effetti che ha sul contratto sociale, quanto gli incentivi economici modellino realmente la società e se l'AGI potrebbe cambiare questo.

05_Modellare_il_Contratto_Sociale_it.md

@@ -0,0 +1,76 @@
+# Modellare il Contratto Sociale
+
+Sommario: La maledizione dell'intelligenza romperà il contratto sociale fondamentale. Sebbene ciò suggerisca un futuro cupo, comprendere come gli incentivi economici rimodellano le società indica una soluzione: possiamo sviluppare deliberatamente tecnologie che mantengano gli umani rilevanti.
+
+Per capire come cambiamo gli incentivi che portano alla maledizione dell'intelligenza, dovremmo comprendere l'attuale contratto sociale e come è destinato a rompersi.
+
+Sotto l'attuale contratto sociale, gli attori potenti hanno bisogno delle persone per sostenere il loro potere.
+
+Questo è vero per i governi. Abbiamo visto come gli stati più ricchi siano quelli che hanno i cittadini più ricchi, meglio istruiti e più produttivi, e che garantiscono a quei cittadini le più ampie libertà di lavorare e pensare come preferiscono. Questo dà ai cittadini potere contrattuale: se i loro bisogni non vengono soddisfatti, i cittadini possono rimuovere i loro leader dal potere, poiché dopo tutto, i leader non possono avere un'economia o un esercito senza il popolo.
+
+È vero anche per le aziende. Abbiamo visto come le organizzazioni che necessitano di talenti di alto calibro debbano offrire stipendi più alti e vantaggi redditizi. Se un'azienda non riesce a sostenere questa relazione, i dipendenti possono unirsi ad altre o avviarne una propria.
+
+È vero anche per il mercato nel suo complesso. Gli umani sono i consumatori e acquistano cose che 1) vogliono o 2) che li aiutano a guadagnare di più per acquistare le cose che vogliono. Gli umani sono anche i produttori, il che significa che le forze di mercato incentivano l'investimento negli umani. Gli umani potrebbero dover servire il mercato, ma il mercato serve loro a sua volta.
+
+Man mano che l'IA sostituisce la necessità di umani, questo potrebbe essere capovolto. Le chiavi del potere potrebbero passare interamente attraverso fattori di produzione non umani come terra, capitale, risorse — e controllo sull'IA. Le persone comuni potrebbero essere economicamente sfollate e gli attori potenti potrebbero perdere il loro incentivo a investire in loro.
+
+Abbiamo chiamato questo fenomeno la maledizione dell'intelligenza.
+
+La maledizione dell'intelligenza incentiva una rottura del contratto sociale che è antitetica alla democrazia e al capitalismo orientato all'uomo — i sistemi che hanno prodotto più valore per l'umanità di qualsiasi altro nella storia. Al loro centro, sia il capitalismo che la democrazia elevano alcuni umani come ricompensa per aver elevato altri umani e creano incentivi sulle istituzioni affinché si preoccupino che le persone siano benestanti e capaci. Tutti — inclusi i potenti — vogliono che le persone comuni stiano meglio. Entrambi i sistemi incoraggiano esplicitamente il nuovo a soppiantare il vecchio, creando una forza per il progresso e la mobilità sociale.
+
+Se gli stati seguono i loro incentivi, la maledizione dell'intelligenza li spingerà verso un autoritarismo radicato, inaugurando una concentrazione senza precedenti di ricchezza e potere e chiudendo la porta alle persone comuni per andare avanti. Ma accadrà davvero?
+
+## La società è davvero così esposta agli incentivi economici?
+
+L'esistenza di un incentivo affinché la società si muova in una certa direzione non significa che accadrà certamente. Culture, governi e istituzioni sono anche forze incredibilmente forti con molta inerzia.
+
+Tuttavia, ci sono forti ragioni storiche per pensare che la spinta degli incentivi, sebbene non assoluta, abbia l'influenza fondamentale sulle strutture sociali a lungo termine.
+
+Abbiamo discusso la maledizione delle risorse, una classe di esempi molto studiata dagli economisti. I paesi ricchi di risorse tendono a finire con istituzioni e governance peggiori. Ma la maledizione delle risorse è lungi dall'essere l'unico confronto storico.
+
+In *Foragers, Farmers, and Fossil Fuels* (Cacciatori-raccoglitori, agricoltori e combustibili fossili), lo storico Ian Morris sostiene che le strutture sociali e i valori delle società subiscono cambiamenti durante le rivoluzioni tecnologiche. Quasi tutte le società agricole — a differenza delle società di cacciatori-raccoglitori che le hanno precedute — tendevano verso società gerarchicamente irreggimentate e patriarcali. Durante l'era industriale, gli incentivi sono cambiati e improvvisamente è diventato importante per uno stato avere mercati efficienti, una forza lavoro istruita, consumatori ricchi e sufficiente libertà per consentire ai suoi scienziati e imprenditori di operare.
+
+La crescita da sola sposta anche gli incentivi. È anche vero che l'Illuminismo ha avuto importanza, ma la nostra deriva verso la democrazia liberale e umani senza precedenti liberi e potenziati è stata notevolmente spinta dall'allineamento di queste cose con gli incentivi materiali.
+
+Come notano MacInnes et al. in *Anarchy as Architect*, gli stati non sono liberi di scegliere la loro struttura: devono scegliere strutture che siano competitive con altri stati. I requisiti competitivi cambiano con le nuove tecnologie. In particolare, se una nuova tecnologia consente a una struttura sociale altamente competitiva di esistere, gli stati potrebbero essere costretti ad adottare politiche che degradano il benessere in risposta.
+
+Oltre ai grandi esempi di industrializzazione e agricoltura discussi da Morris, MacInnes et al. forniscono esempi specifici che risalgono ai tempi antichi. Ad esempio, la lavorazione del bronzo ha portato alla centralizzazione del potere. Le armi di bronzo erano altamente efficaci ma il bronzo era molto scarso. Ciò significava che solo una piccola élite di guerrieri su carri poteva essere equipaggiata con il bronzo, ma questo permetteva loro di dominare il campo di battaglia. Poi, gli sviluppi nella metallurgia hanno reso possibile la lavorazione del ferro. Ora interi eserciti comprendenti una parte significativa della popolazione potevano essere armati con armi di ferro. La piccola élite di guerrieri ha lasciato il posto a eserciti di fanteria di massa. Il potere si è decentralizzato e la documentazione storica mostra che la disuguaglianza economica è diminuita anche allora.
+
+La tecnologia è per lo più buona perché espande le capacità umane e gli umani preferiscono usare quelle capacità per il bene. La maggior parte delle tecnologie assomiglia al primo diagramma sopra. Ma dovremmo lavorare per accelerare le tecnologie che elevano gli umani e continuano a legare competitività e benessere.
+
+La grande benedizione del nostro tempo è che la competitività è notevolmente correlata con ciò che apprezziamo: democrazia liberale, stato di diritto e libertà umana, istruzione e prosperità. Ma non è una regola di natura che questa correlazione continuerà. Una democrazia liberale in guerra deve fare compromessi tra il benessere umano e la sua continua competitività — ed esistenza. Il compromesso fondamentale è tra ciò che desideriamo fare e ciò che dobbiamo fare.
+
+## L'IA potrebbe liberarci dalle pressioni competitive?
+
+Alcuni si aspettano che l'IA renderà obsolete tali pressioni competitive materiali. Ci sono tre argomenti forniti per questo:
+
+Primo, abbondanza: l'IA potrebbe inaugurare livelli massicci di abbondanza che spazzano via tutte le altre questioni. L'abbondanza potrebbe indebolire la durezza delle pressioni competitive e fornire un cuscinetto tale che molto possa accadere alle persone in termini di disuguaglianza, disordini e perdita di potere, pur lasciandole vive e materialmente benestanti. Questo è un bene.
+
+Tuttavia, né le pressioni competitive né l'avidità umana hanno alcun punto di arresto intrinseco: considerate come le tensioni geopolitiche siano aumentate vertiginosamente di recente nonostante il più alto livello di ricchezza della storia. Dovreste, come suggerisce il buon senso, essere preoccupati per la stabilità a lungo termine di qualsiasi accordo in cui non avete potere. E anche se sopravviveste comunque nel comfort materiale, potrebbero esserci futuri molto più grandi e appaganti disponibili se rompiamo la maledizione dell'intelligenza rispetto a se non lo facciamo.
+
+Secondo, dominio: l'IA potrebbe portare un singolo attore a conquistare il mondo, ad esempio attraverso l'auto-miglioramento ricorsivo di un sistema di IA che crea una superintelligenza divina, o attraverso qualche azienda o paese che ottiene un vantaggio decisivo sul resto del mondo che consente loro di imporre la propria volontà su tutti gli altri.
+
+Ci aspettiamo che l'equilibrio dell'IA sia più multipolare e arrivi più lentamente di quanto prevedano alcuni degli scenari più aggressivi, rendendo questo percorso meno fattibile. Più fondamentalmente, siamo estremamente preoccupati per l'enorme rischio che questa strategia comporta. Se il singolo attore è corrotto, o se qualsiasi successivo trasferimento di potere fallisce o sorge la corruzione, non c'è ricorso. Argomentare per il potere personale basato su motivi prosociali, e poi deviare quel potere per servire i propri interessi egoistici, è uno dei fallimenti umani più prototipici.
+
+Terzo, coordinamento: l'IA potrebbe consentire una tecnologia di coordinamento radicalmente nuova. Potremmo sperimentare la "Transizione della Scelta", in cui le pressioni competitive aggregate smettono di guidare la storia e invece la guida deliberata a lungo termine da parte delle preferenze collettive dell'umanità ha sempre il voto decisivo. Nuovi tipi di istituzioni e nuove tecnologie di coordinamento potrebbero permetterci di aggirare le trappole competitive, senza richiedere un singolo attore centralizzato, proprio come i mercati ci permettono di pianificare l'attività economica senza pianificazione centrale.
+
+Livelli radicali di coordinamento benefico senza alcun rischio di concentrazione del potere o nessuno dei fallimenti standard della pianificazione centrale sarebbero certamente fantastici, se fosse possibile. C'è qualche possibilità che la tecnologia di coordinamento alimentata dall'IA ci porti alla fine più avanti verso questo di quanto possiamo attualmente immaginare, ma non ci aspettiamo che la tecnologia o la prontezza istituzionale e il coordinamento arrivino prima che la maledizione dell'intelligenza inizi a mordere. Per impostazione predefinita, ci aspettiamo di sbloccare gli impatti di sostituzione del lavoro dell'IA prima dei suoi altri impatti trasformativi. E così, mentre siamo entusiasti della tecnologia per un migliore coordinamento e istituzioni — infatti, proponiamo diverse idee per questo nel prossimo saggio — ci sentiamo profondamente diffidenti nel scommettere il futuro dell'umanità solo su quello.
+
+## Sviluppo tecnologico differenziale
+
+Mentre siamo pessimisti sul fatto che le soluzioni basate sul coordinamento risolvano completamente il problema, e mentre le spiegazioni materialiste della società possono sembrare demoralizzanti, ci dicono qualcosa di molto potente: costruendo tecnologie diverse, possiamo spingere durevolmente la società in una direzione migliore.
+
+Lo sviluppo tecnologico differenziale è stato sostenuto da Vitalik Buterin nel suo saggio "My techno-optimism" (Il mio tecno-ottimismo). Come Buterin, rifiutiamo l'idea che la tecnologia ci stia inesorabilmente guidando verso la rovina o l'utopia, e che tutto ciò che dobbiamo fare sia rallentare o accelerare il tasso di progresso tecnologico.
+
+Non possiamo decidere quali tecnologie sono possibili, ma possiamo decidere quali costruiamo. E decidendo cosa costruire, modelliamo gli incentivi che a loro volta modellano la società.
+
+## Il buon risultato
+
+Vogliamo vivere in un mondo in cui:
+
+1. Gli umani possono creare valore economico per se stessi e possono perturbare le élite esistenti ben dopo l'AGI.
+2. Tutti hanno uno standard di vita senza precedenti, sia per soddisfare i propri bisogni sia per mantenere il denaro che scorre nell'economia umana.
+3. Nessun singolo attore o oligarchia — che si tratti di governi, aziende o una manciata di individui — monopolizza l'AGI. Per estensione, nessun singolo attore monopolizza il potere.
+4. Le persone comuni hanno il controllo del proprio destino. Riteniamo una verità autoevidente che gli umani debbano essere i padroni del proprio futuro.
+
+Per fare ciò, dovremmo costruire tecnologie che aiutino le persone a rimanere economicamente rilevanti, che riducano i rischi di concentrazione del potere, che migliorino le nostre istituzioni e che proteggano dalle catastrofi.

05_Shaping_the_Social_Contract_en.md

@@ -0,0 +1,76 @@
+# Shaping the Social Contract
+
+Summary: The intelligence curse will break the core social contract. While this suggests a grim future, understanding how economic incentives reshape societies points to a solution: we can deliberately develop technologies that keep humans relevant.
+
+To understand how we change the incentives that lead to the intelligence curse, we should understand the current social contract, and how it is set to break.
+
+Under the current social contract, powerful actors require people to sustain their power.
+
+This is true for governments. We’ve seen how richest states are those that have the richest, best-educated, most-productive citizens, and that grant those citizens the most extensive freedoms to work and think as they please. This gives citizens bargaining power—if their needs aren’t met, citizens can remove their leaders from power, since after all, the leaders cannot have an economy or a military without the people.
+
+It’s true as well for companies. We’ve seen how organizations that need high-caliber talent have to offer higher salaries and lucrative benefits. If a company fails to uphold this relationship, employees can join other ones or start their own.
+
+It’s also true for the market as a whole. Humans are the consumers, and they buy things that either 1) they want or 2) that assist them in earning more to buy the things they want. Humans are also the producers, which means that market forces incentivize investing in humans. Humans might need to serve the market, but the market serves them back.
+
+As AI replaces the need for humans, this could be upended. The keys to power might run entirely through non-human factors of production like land, capital, resources—and control over AI. Regular people could be economically displaced, and powerful actors could lose their incentive to invest in them.
+
+We’ve been calling this the intelligence curse.
+
+The intelligence curse incentivizes a breakdown in the social contract that is antithetical to democracy and human-oriented capitalism—the systems that have produced more value for mankind than any other in history. At their core, both capitalism and democracy uplift some humans as a reward for them uplifting other humans, and create incentives on institutions to care about people being well-off and capable. Everyone—including the powerful—wants regular people to do better. Both systems explicitly encourage the new to supplant the old, creating a force for progress and social mobility.
+
+If states follow its incentives, the intelligence curse will pull them towards entrenched authoritarianism, ushering in unparalleled concentration of wealth and power and a closing of the door for regular people to get ahead. But will that actually happen?
+
+## Is society really that exposed to economic incentives?
+
+The existence of an incentive for society to move in some direction does not mean that it will certainly happen. Cultures, governments, and institutions are also incredibly strong forces with lots of inertia.
+
+However, there are strong historical reasons to think that the pull of incentives, while not absolute, has the foundational influence on social structures in the long run.
+
+We’ve discussed the resource curse, a class of examples much-studied by economists. Countries rich in resources do tend to end up with worse institutions and governance. But the resource curse is far from the only historical comparison.
+
+In Foragers, Farmers, and Fossil Fuels, historian Ian Morris argues that the social structures and the values of societies undergo changes during technological revolutions. Almost all farming societies—unlike the foraging societies before them—tended towards hierarchically-regimented, patriarchal societies. During the industrial era, the incentives shifted, and suddenly it was important for a state to have efficient markets, an educated workforce, wealthy consumers, and sufficient freedom to enable its scientists and entrepreneurs.
+
+Growth alone shifts incentives too. It’s also true that the Enlightenment mattered, but our drift towards liberal democracy and unprecedentedly free and empowered humans was greatly boosted by the alignment of these things with material incentives.
+
+As MacInnes et. al. note in Anarchy as Architect, states are not free to pick their structure—they must pick structures that are competitive with other states. The competitive requirements change with new technologies. In particular, if a new technology allows some highly competitive social structure to exist, states might be forced to adopt welfare-degrading policies in response.
+
+In addition to the big examples of industrialization and agriculture that Morris discusses, MacInnes et. al. give specific examples going back to ancient times. For example, bronzeworking led to centralization of power. Bronze weapons were highly effective but bronze was very scarce. This meant that only a small chariot-riding warrior elite could be equipped with bronze, but this then let them dominate the battlefield. Then, developments in metallurgy made ironworking possible. Now entire armies comprising a significant portion of the population could be armed with iron weapons. The small warrior elite gave way to massed infantry armies. Power decentralized, and the historical record shows that economic inequality fell then too.
+
+Technology is mostly good because it expands human capabilities, and humans prefer to use those capabilities for good. Most technologies look like the first diagram above. But we should work to accelerate the technologies that uplift humans and continue to bind competitiveness and welfare.
+
+The great blessing of our time is that competitiveness is remarkably correlated with what we value—liberal democracy, the rule of law, and human freedom, education, and prosperity. But it is not a rule of nature that this correlation will continue. A liberal democracy at war must make tradeoffs between human welfare and its continued competitiveness—and existence. The fundamental tradeoff is between what we wish to do and what we must do.
+
+## Might AI free us from competitive pressures?
+
+Some expect that AI will obsolete such material competitive pressures. There are three arguments given for this:
+
+First, abundance: AI might usher in massive levels of abundance that wash away all other issues. Abundance may weaken the harshness of competitive pressures, and give cushioning such that much can happen to people in terms of inequality, turmoil, and loss of power, while still leaving them alive and materially well-off. This is good.
+
+However, neither competitive pressures nor human greed have any intrinsic stopping point—consider how geopolitical tensions have rocketed up recently despite history’s greatest level of wealth. You should, as common sense tells you, be worried about the long-run stability of any arrangement where you have no power. And even if you would survive in material comfort anyway, there may be much greater and more fulfilling futures available if we break the intelligence curse than if we don’t.
+
+Second, domination: AI might lead to a single actor taking over the world, for example through recursive self-improvement of an AI system creating a godlike superintelligence, or through some company or country achieving a decisive advantage over the rest of the world that lets them impose their will over everyone else.
+
+We expect the AI balance to be more multipolar and arrive more slowly than some of the more aggressive scenarios predict, making this path less feasible. More fundamentally, we are extremely concerned about the massive risk that this strategy entails. If the single actor is corrupt, or if any subsequent transfer of power fails or corruption arises, there is no recourse. Arguing for personal power based on prosocial motives, and then diverting that power to serving your selfish interests, is one of the most prototypical human failures.
+
+Third, coordination: AI might enable radical new coordination technology. We might experience the “Choice Transition”, where aggregate competitive pressures stop driving history, and instead deliberate long-horizon steering by humanity’s collective preferences always has the deciding vote. New types of institutions and new coordination technology might let us steer around competitive traps, without requiring a single centralized actor, much as markets let us plan economic activity without central planning.
+
+Radical levels of beneficial coordination without any power concentration risk or any of the standard failures of central planning would certainly be great, if it were possible. There’s some chance that AI-powered coordination technology eventually takes us further towards this than we can currently imagine, but we do not expect the technology or the institutional readiness and coordination to arrive before the intelligence curse starts to bite. By default, we expect to unlock the labor-replacing impacts of AI before its other transformational impacts. And so, while we are excited about technology for better coordination and institutions—in fact, we propose several ideas for this in the next essay—we feel deeply wary about betting the future of humanity on only that.
+
+## Differential technological development
+
+While we’re pessimistic about coordination-based solutions fully solving the problem, and while materialist explanations of society may sound demoralizing, they tell us something very powerful: by building different technologies, we can durably push society in a better direction.
+
+Differential technological development was advocated by Vitalik Buterin in his essay “My techno-optimism”. Like Buterin, we reject the idea that technology is inexorably driving us towards either doom or utopia, and that all we need to do is either slow down or speed up the rate of technological progress.
+
+We can’t decide which technologies are possible, but we can decide which ones we build. And by deciding what to build, we shape the incentives that in turn shape society.
+
+## The good outcome
+
+We want to live in a world where:
+
+1. Humans can create economic value for themselves and can disrupt existing elites well after AGI.
+2. Everyone has an unprecedentedly high standard of living, both to meet their needs and to keep money flowing in the human economy.
+3. No single actor or oligarchy—whether that be governments, companies, or a handful of individuals—monopolizes AGI. By extension, no single actor monopolizes power.
+4. Regular people are in control of their destiny. We hold as a self-evident truth that humans should be the masters of their own futures.
+
+To do that, we should build technologies that help people remain economically relevant, that reduce concentration of power risks, that improve our institutions, and that guard against catastrophes.

06_Breaking_the_Intelligence_Curse_en.md

@@ -0,0 +1,225 @@
+# Breaking the Intelligence Curse
+
+Summary: Avert AI catastrophes with technology for safety and hardening without requiring centralizing control. Diffuse AI that differentially augments rather than automates humans and decentralizes power. Democratize institutions, bringing them closer to regular people as AI grows more powerful.
+
+We want a flourishing, prosperous, free society. Given the powers of AI, good institutions and governance are more important than ever. To achieve this, we should build tech and enact policies that democratize our institutions, connecting them closer to the people they serve.
+
+However, due to the intelligence curse, institutional solutions alone won’t be stable. The intelligence curse is especially worrying to the extent that it bites during the period when the institutional and policy-related work is being done—which could range from a gradually-falling labor share of income to an immediate and outright coup—and because of what it implies about long-term stability.
+
+Therefore, we want to diffuse decentralized technology that uplifts human economic relevance as much as possible.
+
+However, the diffusion of powerful technology creates risks of bad actors (whether human or AI) causing havoc. Indirectly, the threat of this havoc also creates reasons to centralize and securitize, which threatens the ability to diffuse. Therefore, we need to harden the world against security threats from misuse & AI. We need to avert catastrophes.
+
+To achieve these goals, we need to work backwards, addressing each issue at the source.
+
+## Avert
+
+First, we need to avert security risks from AI proliferation, including rogue AIs and catastrophic misuse of AI by humans.
+
+Doing this is good for the sake of it. AGI could assist bad actors in creating new security threats or causing catastrophes—or, if misaligned, be a security threat on its own. We should prevent these potential catastrophes from occurring. The case for the plausibility of a catastrophic threat from advanced AI technology has been made elsewhere at length, and we will not repeat it here.
+
+But there are two paths to averting these risks. You could lock down the labs, centralize the technology, and prevent it from proliferating. Or, you could build technical solutions to solve AI’s potentially catastrophic risks.
+
+We strongly endorse the latter, because the former is the most likely way to trigger the intelligence curse.
+
+### Averting catastrophe enables liberty
+
+Technology that removes the threat of catastrophe enables safe decentralization by removing the incentive to lock down, pause, or centralize—all of which require dramatic concentration of power into the hands of a small number of actors. If we fail to adequately manage AI risks, we could face a catastrophe resulting from rogue AI or an engineered pandemic, or a “warning shot”–that is an AI-powered event that results in a non-existential catastrophe and might be a harbinger of worse to come.
+
+The threat of such catastrophes has inspired various centralizing proposals. PauseAI’s Proposal would create a global governance regime that could unilaterally decide when AI models over 1 billion parameters (that’s smaller than GPT-2) could be trained and when any general purpose model could be deployed, even in the face of objections from individual countries. As they concede (though do not provide a recourse for), “centralization of AI might make takeover risks worse” by creating “a single point of failure, which human greed and stupidity could take advantage of.”
+
+Another example is found in Bostrom’s paper on the “The Vulnerable World Hypothesis”. He proposes a “High-tech Panopticon”, a double-Orwellian method of preventing extinction if technology enables regular people to cause mass catastrophes:
+
+> “Everybody is fitted with a ‘freedom tag’ – a sequent to the more limited wearable surveillance devices familiar today, such as the ankle tag used in several countries as a prison alternative [...]. The freedom tag is a slightly more advanced appliance, worn around the neck and bedecked with multidirectional cameras and microphones. Encrypted video and audio is continuously uploaded from the device to the cloud and machine-interpreted in real time. AI algorithms classify the activities of the wearer [...]. If suspicious activity is detected, the feed is relayed to one of several patriot monitoring stations. These are vast office complexes, staffed 24/7. There, [...t]he freedom officer then determines an appropriate action, such as contacting the tagwearer via an audiolink to ask for explanations or to request a better view. The freedom officer can also dispatch an inspector, a police rapid response unit, or a drone to investigate further. In the small fraction of cases where the wearer refuses to desist from the proscribed activity after repeated warnings, an arrest may be made or other suitable penalties imposed. Citizens are not permitted to remove the freedom tag, except while they are in environments that have been outfitted with adequate external sensors (which however includes most indoor environments and motor vehicles). [...] Both AI-enabled mechanisms and human oversight closely monitor all the actions of the freedom officers to prevent abuse.”
+
+Other proposals, including Aschenbrenner’s proposal of locking down the labs and launching “The Project”, and similar “put all power into the national government” policies face the same problem: they create authorities that, upon achieving and diffusing AGI, would have unilateral control of global technological advancement and would simultaneously control the means of economic production.
+
+History is riddled with examples of calls for centralization in the hands of one actor, followed by a promise that such an actor will use their power benevolently or dissolve themselves.
+
+For example, under Marxist-Leninist theory, after a socialist revolution, a temporary “dictatorship of the proletariat” should be established where power (both economic and political) is centralized in the hands of the state, controlled by the proletarian via the Communist Party. This, in theory, would be used to empower the proletariat and repress the old bourgeoisie order. Marxists theorized that this would lead to “the withering of the state”, eventually achieving communism–a classless, stateless society. In practice, however, this centralization gave Stalin the power to implement some of the most draconian policies in history under a strengthened state, which had no incentive to fade away.
+
+We trust history and incentives, and both paint a bleak picture of how humans would fare in this world–disempowered, exploited, and at the mercy of actors they have little ability to influence.
+
+We expect that, while these policies are politically infeasible today, they would be unlocked following some kinds of AI warning shots. Historically, catastrophes create the environment for government power grabs, just like the ones described above. Once enacted, they will lead to centralization and enable authoritarianism.
+
+If you are a proponent of human liberty or technological progress, you should be the strongest advocate for technologies that mitigate AI’s potentially catastrophic risk. If we don’t do this and a catastrophe occurs, the most likely policy outcomes are one-way tickets to the intelligence curse.
+
+### Technology to avert catastrophe
+
+Defensive technologies in the line of Vitalik Buterin’s d/acc proposal and Bernardi et. al’s societal adaptation framework enable a Swiss Cheese approach to AI risk mitigation, where no one layer eliminates all risks but the combined layers make them extremely unlikely.
+
+We endorse this approach, which balances safety concerns with authoritarian risks. Below, we outline specific technologies that, if implemented, could lower risks to an acceptable level in each key issue are. We focus on what we believe are the most likely catastrophic threats from AI: misuse risk (biosecurity, cybersecurity, and physical security), misalignment, and loss of control.
+
+Biosecurity matters, most critically for preventing pandemics. AI might make it easier to engineer pandemics, though this will remain bottlenecked on physical materials and wet lab skills. Methods for stopping pandemics from starting include:
+
+• KYC (know-your-customer) and purchase-tracking tools to bring a high level of oversight to the purchase of potentially dangerous biological materials, similar to anti- money laundering infrastructure.
+• Screening of orders from DNA synthesis providers, which is currently a voluntary standard and mostly focused on known pathogens, but should expand to include AI estimation of the pandemic potential that would catch even novel pathogens.
+• Wastewater monitoring to detect any pathogen that is increasing quickly.
+
+If a pandemic has already started, slowing it down will benefit greatly from:
+
+• UV-C lighting in HVAC systems to kill pathogens that are circulating in the air, doing for air what filtration and chlorination did for the water supply in the late 1800s and early 1900s (ending typhoid, cholera, and dysentery epidemics).
+• Haze (triethylene glycol) is safe to breathe and kills pathogens, potentially even more effectively than UV-C. It is a chemical precursor in a lot of supply chains, so it could be easy to mass-produce quickly in the event of a spreading pandemic if work on distribution is done ahead of time. Deploying it in high-risk sites like hospitals or ports could slow the spread of a pathogen.
+• Rapid distribution of vaccines would help, though currently regulatory approval for new vaccines requires clinical trials that are a bottleneck on speed.
+
+As a side-effect, decisively dealing with pandemic threats might also mostly solve infectious disease.
+
+Cybersecurity can roughly be split into “hard” cyber focused on technical vulnerabilities, and “soft” cyber focused on access management, operational security, and preventing social engineering attacks.
+
+On the technical side, perhaps the biggest single risk from AI cyber offense is unprecedented amounts of hacking effort being spent on legacy code maintained by organizations without deep technical competence, especially when this code controls physical infrastructure (code handled by technically-competent organizations will likely be upgraded quickly). Some approaches that help with technical cybersecurity risks are:
+
+• Formal verification of code currently requires lots of bespoke mathematical work, but AI might make this feasible at scale.
+• “The Great Refactor”: using AI to rewrite many existing codebases from the ground up to be more secure and maintainable.
+• AI might bring down the cost of human-like flexibility in classic vulnerability detection methods like static analysis, fuzzing, and penetration testing.
+• Hardware security will matter more, as there will be more incentive to attack chips (especially if software vulnerabilities are patched through the above, or nation-state -level actors want to damage or spy on AI hardware of competing nations). Tamper-proof chip enclosures are one approach.
+
+On the operational side, perhaps the biggest risk is automated social engineering (which has already been responsible for major cyber incidents). Solution approaches include:
+
+• LLM scanning of incoming messages will help against spear-phishing.
+• LLMs will make monitoring logs for signs of attack easier.
+• AI can also help with fine-grained permission management, which is currently a major source of complexity in high security IT, improving both productivity and security at the most security-conscious organisations (e.g. intelligence agencies, the military, and hopefully AI labs).
+
+Physical security advances might also become important in a world of cheap and autonomous drones or robots with lethal capabilities.
+
+AI alignment ensures that AIs pursue the goals that their creators give them, avoiding rogue AIs. While the other items in this category are about hardening the world against harm from AIs or AI-boosted humans, alignment is about making the AIs intrinsically less harmful—but both serve the same goals of reducing the chance of catastrophes and reducing the need to centralize to prevent those catastrophes. Alignment agendas have been discussed at length elsewhere, but in brief:
+
+• Scalable oversight is about figuring out how to give accurate feedback to powerful models, to avoid incorrectly rewarding incorrect or duplicitous behavior from models. RLHF is an example; other work strands include weak-to-strong generalization and AI safety via debate.
+• Interpretability aims to understand what neural networks are doing, in hopes that this then lets us verify and/or steer model behavior. Mechanistic interpretability aims to understand the final trained models, while developmental interpretability studies how models learn.
+• Automated alignment research aims to punt the above problems to the AIs.
+
+AI control aims to make sure that even misaligned AIs cannot cause havoc. It is in-line with a standard security mindset where you want security to hold even if you’re making minimal assumptions about a system. This should be our stance towards AIs until we have good evidence on alignment.
+
+### Policies to support this
+
+Our key policy ask is for government-supported moonshot projects for the risk-reducing tech we outline above, modeled after Operation Warp Speed.
+
+There are other ways in which policy could support the technical interventions outlined above as well. This is especially true for biosecurity threats, which are the hardest for the private sector alone to solve. In particular, governments should mandate KYC (know-your-customer) rules for DNA synthesis providers, fund wastewater monitoring for pathogens, and ban gain-of-function research—the creation of pandemic-potential pathogens in the lab for dubious information gain.
+
+## Diffuse
+
+Second, we need to diffuse AI widely. This has two parts.
+
+First, we want to align human capabilities with the needs of institutions, by uplifting humans. If humans can provide the things that powerful states and companies need, the interests of power will naturally lead to investment in humans. We should develop and diffuse AI-enabled technology that augments human productivity and keeps humans in the loop of economic value production.
+
+Second, diffusion helps to decentralize in ways that prevent dangerous power concentration.
+
+Decentralization of AI capabilities helps with the balance of power. If the personal computing revolution had never taken off, computers would have continued being a centralizing tool that helps large companies and bureaucracies consolidate power. But with the personal computing revolution, computing became a decentralizing force that helped uplift everyone’s capabilities, while also enabling breakthrough startups that disrupted the status quo.
+
+In the short-run, building human-augmenting technology means a wide variety of humans continue producing value for longer. This makes decentralization more likely to occur: instead of just a small cohort of AI companies and their suppliers capturing value as they gradually automate the rest of the economy, human-augmenting tech makes everyone more competitive, helping them earn capital and resources, and retain and develop pools of knowledge, data, and experience that guard against winner-take-all centralization. We should aim for a period—as long as possible—where humans and AIs specialize in complementary tasks and have symbiotic economic roles, rather than taking the shortest route to full AI substitution of all human labor.
+
+In the longer-run, AI capabilities will advance enough that human economic competitiveness will become rarer and rarer. The human role will increasingly move to one of delegation, ownership, and value-setting, as well as likely maintaining relationships with other humans and perhaps interfacing with the legal system. By this time, we expect there will have been decentralization of the creation, ownership, and control of the value-creating parts of the AI economy that keeps humans in the loop of the economy, even as the economy decouples from direct human labor.
+
+### Short-term: extend the human-in-the-loop period to enable decentralization
+
+Everyone agrees that human-augmenting tech would be desirable, but many of those who have “woken up” about AI think AI progress will just be too fast.
+
+It’s true that there is no fundamental theoretical blocker to AI being able to complete every task that humans can. It’s also true that AIs have more flexibility in their hardware and software than humans. This will mean AIs could eventually be faster, cheaper, and more capable than humans, at least in theory—but it’s uncertain how quickly this could be realized. There is reason to believe that the period of augmented humans being state-of-the-art exists and lasts years, that this period can be extended, and that extending it is valuable.
+
+First, consider the current state. The fastest-growing AI startup is Cursor, a coding tool that puts the human firmly in the driver’s seat, and more so than in many competing, less-successful products. METR’s work shows that AIs are getting better at solving tasks with longer and longer time horizons, but on current trends they will take almost 7 years to reach a 1-month time horizon and almost 9 years to reach a 1-year time horizon with 80% accuracy on completed tasks. True, algorithmic breakthroughs among other things are very likely to speed up progress here, but also note that METR’s results are on clearly-defined software engineering tasks that don’t require deep context. We expect hard-to-judge, vague, context-rich tasks to take longer for AIs to crack. It will be hard to compile the dataset, and hard to build the RL environment. These moats will not last forever, but we believe that we have at least a few years.
+
+Second, extending this window is valuable, both for governance and decentralization. The longer human economic relevance lasts, the more time there is for people to wake up to AI, and for discussion and movement-building around governance. Political change can take time, and the intelligence curse is likely to bite much harder and faster if the society both wakes up to full automation and then gets automated within one election cycle. “Shock therapy”, where humans are left unemployable overnight, will likely also lead to a more extreme and chaotic political reaction.
+
+As discussed above, extending the human-in-the-loop period for as long as possible also helps decentralize AI: rather than a few AI labs making a breakout run to seize the economy, the uplift provided to AI diffuses more widely, allowing a much greater number of actors to accumulate skills, ownership, specializations, and experience in the AI-enabled economy. This might help keep the balance of power in society much healthier, without needing to rely on government redistribution and antitrust alone. Overall, we want to extend the period during which humans are needed to meet the needs of powerful actors, which in turn extends the period during which states and companies have unlegislated incentives to care about humans, and gives more actors time to get a foot in the AI-enabled economy before human relevance ends.
+
+Third, it is possible to extend this time window through differential technological development. A focus on short AGI timelines and the inevitability of the AGI race as the overriding brute facts of our time is likely correct, but can easily obscure that there are needles we can move.
+
+### Building tech for human capabilities
+
+We should build technology that is a complement rather than a substitute to human labor. Tools like hammers and computers make humans more effective at their work, and so are usually complements to human labor. Generally, even if labor-complementing tools might shift the landscape of jobs and tasks, they generally lead not just to more growth and abundance overall, but also often tend to increase the returns to human labor and therefore increase human wages. However, the vision of AGI is human-substituting in its very definition: general intelligence, that does everything a human can.
+
+Agency and human-likeness has taken over everyone’s conception of AI. But in addition to human-like agents, there are many other types of helpful intelligences: tools, world models, information retrieval, pattern completion, advisors, and collective intelligence—implemented by systems like APIs, prediction markets, Community Notes, and so on. We can also decompose agency into parts: goals, situational awareness, planning, implementation, and actions are all components of an agent. These do not have to be assembled into one single artificial entity, and AI is currently progressing far from uniformly on these axes.
+
+Instead of “unitary agents” that do all of these functions, we should accelerate the development of AI systems that perform subsets of these, with humans or other systems filling in the gap. There are reasons to think that agents are the most competitive in the long run and approaches that factorize agency are eventually uncompetitive, but at the moment it seems like long-horizon agency is one of the things AI is worst at and many avenues for AI development—including many of the most immediately-profitable ones—are not about creating unitary agents. Humanity should resist the memetic forces pushing along the AI agent hypetrain, and differentially accelerate other branches of the tech tree.
+
+Consider the CEO of a company. A CEO is an important part of a company, even if for everything the CEO does there is someone in the company better at it. Humans might remain in charge and in control, acting as a CEO or executive function to teams of AIs even once the AIs are superhuman at most tasks.
+
+In particular, given the current pattern of AI capabilities, we expect many of the most effective products will leverage human direction, understanding of context, and ability to deal with exceptions, to drive AI systems that do most of the work. Humans could continue providing value through good taste in judgement and strategy. Top-down control of society by a few AI systems also suffers from the same problems as central planning. Hayek argued for the importance of unwritten tacit and local knowledge in managing the economy, and how this makes distributed and decentralized control necessary. As we’ve argued before, there are good reasons to think distributed control remains more effective than centralization in the AI economy, and even better reasons to push technology that helps keep the production of value decentralized, rather than enabling top-down control by the few or a singleton AI system.
+
+Below we give some starting points for what technology to build to enable diffusion.
+
+Pro-human user interfaces. We have not yet seen Steve Jobs-level product insight and design applied to any AI tool. Effort is increasingly spent on developing AI agents rather than AI tools. This should change.
+
+Increasing AI-human bandwidth and decreasing latency. This lets humans incorporate AIs more solidly into their workflows and direct them faster and more carefully, making symbiotic human-AI systems more competitive.
+
+• Augmented reality tools could help humans make decisions and take actions while receiving information at a high rate from AIs. One vision of very powerful such tools is given in this story.
+• Brain-computer interfaces (BCIs). Instantaneous human-to-AI feedback via BCI allows humans to be effective overseers and managers of AIs, and integrate more tightly into human+AI systems. BCIs should be noninvasive to reduce adoption barriers.
+
+Localized AI capabilities could decentralize power from the labs and help keep more actors economically relevant.
+
+• Easy finetuning of AI models so that people, small businesses, and startups can create AI finetunes that embody their local knowledge as well their personal judgement, taste, and sense of direction. To the extent that local and personal knowledge/taste is important, this will help non-lab actors stay relevant and competitive, by scaling their local knowledge and taste with AI productivity—see here and here for more on taste and local knowledge. Moreover, rather than aligning to a nebulous concept of overall human values or a company’s preference, such systems could be aligned to individual users themselves.
+• Decentralized robotics. Data is a major bottleneck in robotics, and Moravec’s paradox suggests that robotics might lag behind other AI capabilities. Robotics might remain based on task-specific finetuning, as is currently the case even for state-of-the-art deep learning -based robotics. This might create a world where the data and task-specific finetunes for manufacturing robots are distributed across many actors, rather than centralized into a small number of large companies, especially if we can push open-source robotics hardware and base models, and make robotics fine-tuning easy. However, one big algorithmic breakthrough in robotics data generalization could break this possibility.
+• Helping humans own & control local data. If AI can cheaply do any valuable processing or deduction work when given some data, the ability to do intellectually valuable work will increasingly be bottlenecked by whether you can physically and legally give the required inputs to the AI, rather than by the information processing itself. Helping individuals and small businesses collect & manage their own data, and then protect that data from centralised AIs (through methods from using open-source LLMs instead of AI lab APIs, to deliberate obfuscation and keeping data off the public internet while it’s still useful), would help the balance of power. This could be combined with data marketplaces and other systems that reduce friction in data trades while letting data owners profit from their data, as long as participating in such trades does not irreversibly and unfairly cheaply give up existing data moats in a way that centralizes power.
+• Distributed training runs, such as what Prime Intellect is doing, might allow decentralized groups to train AI models.
+• Local compute for running powerful models. Much of this is downstream of GPU prices, and eventually we might hope for a GPU in every home, much as computers went from unaffordable to everyone owning one (at least in the form of a phone). However, in the meantime performant GPUs are very expensive, and while some are trying, LLM inference is made cheap through maintaining high throughput by pooling requests from many users. Confidential computing technologies could let you run workloads on data centers with attestable security and privacy guarantees. Better tools for distributed infrastructure would allow a larger number of players to spin up their own compute clusters that they control, and reduce the cost barrier to controlling your compute.
+• Cheap AI in general, especially open-source AI. A bad outcome is if, say, a system that can mostly substitute for some high-skill job costs ~$20,000/year—an amount that lets a company replace an employee, while making it hard for an individual human to benefit from it. While LLM inference prices are falling exceptionally quickly, there might be an intermediate period where the pricing is particularly disadvantageous to consumers and small companies while allowing incumbents to steamroll ahead. OpenAI, for example, reportedly plans to soon charge up to $20,000 per month for its most advanced AIs. Open-weights and open-source AI in particular helps put price pressure on AI labs that prevents this state of affairs from lasting long.
+
+As mentioned, we don’t pretend that human augmentation can be an infinitely durable fix. However, we also reject a strand of thinking that is only willing to consider permanent solutions. In the future, we will likely know more, be wiser, and have had at least some surprises thrown at us by the course of events and the tech tree. We might also have incredibly intelligent AIs at our disposal too. If we get to that future with a flourishing democratic society, that is a good first step.
+
+Apart from its finiteness, another potential issue with technology for human augmentation is that it might further raise the returns to human talent and the talent bar to compete in the economy. One of the places where joint human-AI systems are most likely to be most helpful is at the very frontier, where AI capabilities are still patchy. We expect AI making everything easier will increase the number of people who can reach the frontier, but it will also result in outcome distributions with even fatter tails than today. If even a small fraction of humans are economically relevant, states and companies are still incentivized to invest in humans to cultivate outlier talents. However, greater income inequality is one force that will push for power concentration. Redistribution will become more important, as will developing a culture of noblesse oblige.
+
+### Long-term: decentralization & user-alignment keeps humans in the loop
+
+Having had an extended period of human-AI symbiosis and human involvement in the economy even as AI advances will hopefully have helped a wide set of actors gain AI-derived wealth and create and own parts of the AI economy. This will mean more decentralization and less power concentration. It will mean that more humans have owned rather than borrowed power.
+
+Strong democratic institutions, which we discuss in the next section, will be increasingly important in this world. However, there is one technology that might be key too:
+
+Alignment to the user. Most alignment work prioritizes aligning to some generic concept of human values (or—and this is much more likely to happen by default—a corporate statement or political compromise). It assumes that instruction-following on behalf of the models is all the per-user specialization needed. However, we expect that for models to successfully act on users’ behalf in most functions of the economy and the world will require their high-granularity, detailed alignment to each individual user. This could create an economy of agents, each of which is directly tied to one person. The agents’ activities earn that person income and rely on the user’s judgment, taste, and tacit knowledge, keeping them involved in the creation of value. The state would tax the income of the person rather than the activities of the agent.
+
+### Policies for diffusion
+
+Upskilling humans in the areas which will bottleneck the AI economy. AI systems are likely to have uneven capability profiles compared to humans, excelling in tasks with easy verification, low time horizons, and a lack of interfacing with the physical world. Naturally, these will create bottlenecks which humans will be able to fill to stay relevant in the economy. There is a race between human upskilling and retraining on one hand, and AI labs smoothing over the jagged performance frontier on the other.
+
+• AI tutors for job changes. We expect that the changes to the economy will come at historically unprecedented speeds, and require faster upskilling than in the past.
+• Finding good techniques for AI oversight and training humans in them.
+• Educational experiments, like new types of schools and educational programs. The current education system, which focuses on short-horizon, easily-gradable tasks, teaches exactly what AI automates.
+• Better forecasting of AI capabilities and their bottlenecks. We need better forecasts and understanding of what the economy will need and is bottlenecked on.
+
+Policymakers should ban AI systems from owning any assets, serving as a C-Suite member of a company, servicing on a board of directors, or owning shares. This sounds silly now, but it’s important to enshrine a principle that humans own the top of the funnel now before systems are good enough for companies to try to delegate these roles.
+
+## Democratize
+
+Third, we should democratize, by making institutions more anchored to the desires of the humans they are supposed to serve. To complement the alignment of human capabilities with institutional needs that decentralization achieves, we should also develop technology that helps align institutions with humans.
+
+This is important because the intelligence curse weakens institutional incentives to care about humans. While we’re hopeful that the diffusion steps outlined above will solve a large chunk of the intelligence curse, strengthening institutions is an important complement to that. It will also become increasingly important as AI capabilities grow and human economic relevance declines.
+
+Moreover, AI will also help centralize power, making top-down control more plausible through the automation of effective decision-making, surveillance, and enforcement. The more powerful institutions become, the more carefully we need to design and align them.
+
+Finally, to keep humans economically relevant, we’ll need to pass policies that move AI benefits towards regular people relative to the default. If a country’s leaders are easy to corrupt or if gridlock prevents actions, that country will struggle to adapt to this. But if a country is a stable, effective democracy, it can override capital incentives and niche interest groups, providing voters a way to prioritize their own goals over those of their elites.
+
+There is not one single innovation that solves all these problems. However, we will list some technologies that help build stronger, more democratic institutions.
+
+### Democratizing technologies
+
+Representation.
+
+• Digital advocates (proposed by Kulveit & Douglas et al) that allow policymakers to assess the values and opinions of a given population. Models aligned to individual users in detail, as discussed in the diffusion section, naturally enable digital advocates.
+• Large-scale feedback collection that allows policymakers to get more fine-grained and qualitative data about citizens’ preferences than current simple numerical opinion polling does. The AI Objectives Institute’s Talk to the City project is an early example. Imagine a politician who can sit down with an AI, and, on any question, get a level of understanding about voters’ preferences and conditions that was as if Tocqueville had spent a year travelling among the voters and then writing up an analysis.
+
+Verification & trust.
+
+• Human verification is a useful primitive for many things, including gatekeeping services from online forums to company registration to humans, and distributing government benefits to citizens amid the sea of impersonation and fraud that AI will make cheap. For example, anonymized biometric verification tokens (like the World Network, formerly Worldcoin), aim to prove someone’s humanity without passing on their biometrics.
+• AI systems as trusted third-party auditors. It is difficult to trust a human auditor with sensitive information, and human auditors are expensive. AI auditors could have superhuman speed, cheapness, and reliability, and we might be able to have both verifiable privacy of the information they audit as well as of the auditor’s integrity. Imagine for example being able to verifiably run a specific auditing program (in the simple case, an LLM prompt) against verifiably private information. This could help with anything from governments giving assurances to citizens, to companies coordinating with each other, to the verification of international arms-control treaties.
+• AI systems as trusted third-party advisers. An issue with human advisers is that their perspective is often (correctly) seen as biased or self-serving. With LLMs, we have something like a “point-of-view from nowhere”—an intelligence trained on the collected texts of humanity, without a personal agenda. “ChatGPT said so” is already sometimes used as a proxy for a fair-minded arbiter.
+• AI-powered tracking of government activities. AI could democratize the ability to have intelligence agency -level analysis and insight into a chosen actor. While this poses many privacy risks to individuals, society could use this to track government actions and uncover corruption. For example, imagine a platform on which AIs automaticaly collate information about which companies have lobbied for a bill, and what changes they’re likely pushing for.
+
+Coordination.
+
+• Contract negotiation is time-consuming, especially when the matter is complex and there are multiple parties involved. AI could help parties that previously would’ve found it too time-consuming and expensive to coordinate to negotiate a contract.
+• Automated AI-based enforcement of contracts could be used—thoughtfully—to help actors commit to actions. Simple examples include bets resolving automatically based on AI judgements, or payments to a contractor triggering automatically on the satisfactory delivery of work.
+
+The information environment is critical for a functional democracy, for sane decision-making anywhere in society, and for a strong, effective culture.
+
+• Distributed fact-checking systems like X’s Community Notes at scale.
+• “Internet gloves” where users can use AIs to pull information from platforms in selective, non-addictive ways, without being sucked into the platform.
+
+### Democratizing policies
+
+Alongside this, policymakers should take immediate action to strengthen democracies. Weak democracies will crumble under the weight of AGI. This would include:
+
+• Passing campaign finance reform
+• Reforming anti-corruption laws
+• Strengthen bureaucratic competence while reducing bloat
+
+Governments should make courts and legislatures faster. Coordination around legislatures and the processing times of court cases might be glacial compared to the speed of either AI advances, or to the speed at which an AI-enabled executive can act.. This creates a threat that the executive branch can become effectively the sole and unchecked arbiter.
+
+Governments should preemptively prepare for a world where lots of regular people don’t provide immediate economic value, even if that never materializes or if some people still do. If this comes to pass, they should be ready to implement a myriad of measures to distribute AI’s economic benefits to the disenfranchised. This could be a sovereign wealth fund with public ownership stakes in highly automated companies, with requirements to distribute a set percentage directly to citizens. It could also look like constitutional requirements that governments meet basic needs. Both moves could stimulate a human economy, preventing the shuttering of consumer-facing industries while simultaneously enabling people to use this wealth to launch ventures of their own.

06_Rompere_la_Maledizione_dell_Intelligenza_it.md

@@ -0,0 +1,225 @@
+# Rompere la Maledizione dell'Intelligenza
+
+Sommario: Scongiurare le catastrofi dell'IA con la tecnologia per la sicurezza e il rafforzamento senza richiedere un controllo centralizzato. Diffondere un'IA che potenzi in modo differenziale piuttosto che automatizzare gli umani e decentralizzi il potere. Democratizzare le istituzioni, avvicinandole alle persone comuni man mano che l'IA diventa più potente.
+
+Vogliamo una società fiorente, prospera e libera. Dati i poteri dell'IA, buone istituzioni e governance sono più importanti che mai. Per raggiungere questo obiettivo, dovremmo costruire tecnologie e attuare politiche che democratizzino le nostre istituzioni, collegandole più strettamente alle persone che servono.
+
+Tuttavia, a causa della maledizione dell'intelligenza, le soluzioni istituzionali da sole non saranno stabili. La maledizione dell'intelligenza è particolarmente preoccupante nella misura in cui morde durante il periodo in cui viene svolto il lavoro istituzionale e politico — che potrebbe variare da una quota di reddito da lavoro in graduale calo a un colpo di stato immediato e totale — e per ciò che implica sulla stabilità a lungo termine.
+
+Pertanto, vogliamo diffondere una tecnologia decentralizzata che elevi il più possibile la rilevanza economica umana.
+
+Tuttavia, la diffusione di una tecnologia potente crea rischi che cattivi attori (umani o IA) causino il caos. Indirettamente, la minaccia di questo caos crea anche motivi per centralizzare e securizzare, il che minaccia la capacità di diffondere. Pertanto, dobbiamo rafforzare il mondo contro le minacce alla sicurezza derivanti da abusi e IA. Dobbiamo scongiurare le catastrofi.
+
+Per raggiungere questi obiettivi, dobbiamo lavorare a ritroso, affrontando ogni problema alla fonte.
+
+## Scongiurare
+
+In primo luogo, dobbiamo scongiurare i rischi per la sicurezza derivanti dalla proliferazione dell'IA, comprese le IA canaglia e l'abuso catastrofico dell'IA da parte degli umani.
+
+Farlo è un bene di per sé. L'AGI potrebbe assistere i cattivi attori nella creazione di nuove minacce alla sicurezza o nel causare catastrofi — o, se non allineata, essere una minaccia alla sicurezza di per sé. Dovremmo impedire che queste potenziali catastrofi si verifichino. Il caso della plausibilità di una minaccia catastrofica da parte della tecnologia IA avanzata è stato discusso a lungo altrove e non lo ripeteremo qui.
+
+Ma ci sono due percorsi per scongiurare questi rischi. Potresti chiudere i laboratori, centralizzare la tecnologia e impedirne la proliferazione. Oppure, potresti costruire soluzioni tecniche per risolvere i rischi potenzialmente catastrofici dell'IA.
+
+Sosteniamo fortemente quest'ultima ipotesi, perché la prima è il modo più probabile per innescare la maledizione dell'intelligenza.
+
+### Scongiurare la catastrofe abilita la libertà
+
+La tecnologia che rimuove la minaccia di catastrofe consente una decentralizzazione sicura rimuovendo l'incentivo a bloccare, mettere in pausa o centralizzare — tutte cose che richiedono una drammatica concentrazione di potere nelle mani di un piccolo numero di attori. Se non riusciamo a gestire adeguatamente i rischi dell'IA, potremmo affrontare una catastrofe derivante da un'IA canaglia o da una pandemia ingegnerizzata, o un "colpo di avvertimento" – cioè un evento alimentato dall'IA che si traduce in una catastrofe non esistenziale e potrebbe essere un presagio di peggio a venire.
+
+La minaccia di tali catastrofi ha ispirato varie proposte di centralizzazione. La proposta di PauseAI creerebbe un regime di governance globale che potrebbe decidere unilateralmente quando i modelli di IA oltre 1 miliardo di parametri (più piccoli di GPT-2) potrebbero essere addestrati e quando qualsiasi modello generico potrebbe essere distribuito, anche di fronte alle obiezioni dei singoli paesi. Come ammettono (sebbene non forniscano un ricorso), "la centralizzazione dell'IA potrebbe peggiorare i rischi di acquisizione" creando "un singolo punto di fallimento, di cui l'avidità e la stupidità umana potrebbero approfittare".
+
+Un altro esempio si trova nel documento di Bostrom su "L'Ipotesi del Mondo Vulnerabile". Propone un "Panopticon High-tech", un metodo doppiamente orwelliano per prevenire l'estinzione se la tecnologia consente alle persone comuni di causare catastrofi di massa:
+
+> "Tutti sono dotati di un 'tag della libertà' – un seguito ai dispositivi di sorveglianza indossabili più limitati familiari oggi, come il braccialetto elettronico usato in diversi paesi come alternativa alla prigione [...]. Il tag della libertà è un apparecchio leggermente più avanzato, indossato al collo e adornato con telecamere e microfoni multidirezionali. Video e audio crittografati vengono caricati continuamente dal dispositivo al cloud e interpretati dalla macchina in tempo reale. Gli algoritmi di IA classificano le attività di chi lo indossa [...]. Se viene rilevata un'attività sospetta, il feed viene trasmesso a una delle diverse stazioni di monitoraggio patriottiche. Questi sono vasti complessi di uffici, con personale 24 ore su 24, 7 giorni su 7. Lì, [...l]'ufficiale della libertà determina quindi un'azione appropriata, come contattare chi indossa il tag tramite un collegamento audio per chiedere spiegazioni o per richiedere una visione migliore. L'ufficiale della libertà può anche inviare un ispettore, un'unità di risposta rapida della polizia o un drone per indagare ulteriormente. Nella piccola frazione di casi in cui chi lo indossa rifiuta di desistere dall'attività proibita dopo ripetuti avvertimenti, può essere effettuato un arresto o imposte altre sanzioni adeguate. Ai cittadini non è permesso rimuovere il tag della libertà, tranne quando si trovano in ambienti che sono stati dotati di adeguati sensori esterni (che tuttavia includono la maggior parte degli ambienti interni e dei veicoli a motore). [...] Sia i meccanismi abilitati dall'IA che la supervisione umana monitorano attentamente tutte le azioni degli ufficiali della libertà per prevenire abusi."
+
+Altre proposte, inclusa la proposta di Aschenbrenner di chiudere i laboratori e lanciare "Il Progetto", e simili politiche di "mettere tutto il potere nel governo nazionale" affrontano lo stesso problema: creano autorità che, una volta raggiunta e diffusa l'AGI, avrebbero il controllo unilaterale del progresso tecnologico globale e controllerebbero contemporaneamente i mezzi di produzione economica.
+
+La storia è piena di esempi di richieste di centralizzazione nelle mani di un attore, seguite da una promessa che tale attore userà il suo potere in modo benevolo o si dissolverà.
+
+Ad esempio, secondo la teoria marxista-leninista, dopo una rivoluzione socialista, dovrebbe essere istituita una temporanea "dittatura del proletariato" in cui il potere (sia economico che politico) è centralizzato nelle mani dello stato, controllato dal proletario tramite il Partito Comunista. Questo, in teoria, verrebbe usato per dare potere al proletariato e reprimere il vecchio ordine borghese. I marxisti teorizzavano che ciò avrebbe portato al "deperimento dello stato", raggiungendo infine il comunismo – una società senza classi e senza stato. In pratica, tuttavia, questa centralizzazione diede a Stalin il potere di attuare alcune delle politiche più draconiane della storia sotto uno stato rafforzato, che non aveva alcun incentivo a svanire.
+
+Ci fidiamo della storia e degli incentivi, ed entrambi dipingono un quadro cupo di come gli umani se la caverebbero in questo mondo – privi di potere, sfruttati e alla mercé di attori che hanno poca capacità di influenzare.
+
+Ci aspettiamo che, mentre queste politiche sono politicamente irrealizzabili oggi, verrebbero sbloccate a seguito di alcuni tipi di colpi di avvertimento dell'IA. Storicamente, le catastrofi creano l'ambiente per le prese di potere del governo, proprio come quelle descritte sopra. Una volta attuate, porteranno alla centralizzazione e consentiranno l'autoritarismo.
+
+Se sei un sostenitore della libertà umana o del progresso tecnologico, dovresti essere il più forte sostenitore delle tecnologie che mitigano il rischio potenzialmente catastrofico dell'IA. Se non lo facciamo e si verifica una catastrofe, i risultati politici più probabili sono biglietti di sola andata per la maledizione dell'intelligenza.
+
+### Tecnologia per scongiurare la catastrofe
+
+Le tecnologie difensive sulla linea della proposta d/acc di Vitalik Buterin e del quadro di adattamento sociale di Bernardi et al. consentono un approccio "Formaggio Svizzero" alla mitigazione del rischio IA, in cui nessun singolo strato elimina tutti i rischi ma gli strati combinati li rendono estremamente improbabili.
+
+Sosteniamo questo approccio, che bilancia le preoccupazioni per la sicurezza con i rischi autoritari. Di seguito, delineiamo tecnologie specifiche che, se implementate, potrebbero abbassare i rischi a un livello accettabile in ogni area chiave. Ci concentriamo su quelle che riteniamo essere le minacce catastrofiche più probabili dall'IA: rischio di abuso (biosicurezza, sicurezza informatica e sicurezza fisica), disallineamento e perdita di controllo.
+
+La biosicurezza è importante, soprattutto per prevenire le pandemie. L'IA potrebbe rendere più facile ingegnerizzare pandemie, sebbene ciò rimarrà limitato dai materiali fisici e dalle competenze di laboratorio umido. I metodi per impedire l'inizio delle pandemie includono:
+
+• Strumenti KYC (know-your-customer) e di tracciamento degli acquisti per portare un alto livello di supervisione all'acquisto di materiali biologici potenzialmente pericolosi, simili alle infrastrutture antiriciclaggio.
+• Screening degli ordini dai fornitori di sintesi del DNA, che è attualmente uno standard volontario e per lo più focalizzato su patogeni noti, ma dovrebbe espandersi per includere la stima dell'IA del potenziale pandemico che catturerebbe anche nuovi patogeni.
+• Monitoraggio delle acque reflue per rilevare qualsiasi patogeno che sta aumentando rapidamente.
+
+Se una pandemia è già iniziata, rallentarla trarrà grande beneficio da:
+
+• Illuminazione UV-C nei sistemi HVAC per uccidere i patogeni che circolano nell'aria, facendo per l'aria ciò che la filtrazione e la clorazione hanno fatto per l'approvvigionamento idrico alla fine del 1800 e all'inizio del 1900 (ponendo fine alle epidemie di tifo, colera e dissenteria).
+• La nebbia (glicole trietilenico) è sicura da respirare e uccide i patogeni, potenzialmente anche più efficacemente dell'UV-C. È un precursore chimico in molte catene di approvvigionamento, quindi potrebbe essere facile da produrre in massa rapidamente in caso di pandemia in diffusione se il lavoro sulla distribuzione viene fatto in anticipo. Distribuirlo in siti ad alto rischio come ospedali o porti potrebbe rallentare la diffusione di un patogeno.
+• La rapida distribuzione dei vaccini aiuterebbe, sebbene attualmente l'approvazione normativa per i nuovi vaccini richieda studi clinici che sono un collo di bottiglia sulla velocità.
+
+Come effetto collaterale, affrontare in modo decisivo le minacce pandemiche potrebbe anche risolvere per lo più le malattie infettive.
+
+La sicurezza informatica può essere approssimativamente divisa in cyber "hard" focalizzata sulle vulnerabilità tecniche e cyber "soft" focalizzata sulla gestione degli accessi, sulla sicurezza operativa e sulla prevenzione degli attacchi di ingegneria sociale.
+
+Sul lato tecnico, forse il più grande rischio singolo dall'offensiva cyber dell'IA è una quantità senza precedenti di sforzi di hacking spesi su codice legacy mantenuto da organizzazioni senza profonda competenza tecnica, specialmente quando questo codice controlla infrastrutture fisiche (il codice gestito da organizzazioni tecnicamente competenti sarà probabilmente aggiornato rapidamente). Alcuni approcci che aiutano con i rischi tecnici di sicurezza informatica sono:
+
+• La verifica formale del codice richiede attualmente molto lavoro matematico su misura, ma l'IA potrebbe renderlo fattibile su larga scala.
+• "Il Grande Refactor": usare l'IA per riscrivere molte basi di codice esistenti da zero per essere più sicure e manutenibili.
+• L'IA potrebbe abbassare il costo della flessibilità simile a quella umana nei metodi classici di rilevamento delle vulnerabilità come l'analisi statica, il fuzzing e i test di penetrazione.
+• La sicurezza hardware conterà di più, poiché ci sarà più incentivo ad attaccare i chip (specialmente se le vulnerabilità software vengono corrette attraverso quanto sopra, o se attori a livello di stato-nazione vogliono danneggiare o spiare l'hardware IA delle nazioni concorrenti). Gli involucri dei chip a prova di manomissione sono un approccio.
+
+Sul lato operativo, forse il rischio più grande è l'ingegneria sociale automatizzata (che è già stata responsabile di gravi incidenti informatici). Gli approcci di soluzione includono:
+
+• La scansione LLM dei messaggi in arrivo aiuterà contro lo spear-phishing.
+• Gli LLM renderanno più facile il monitoraggio dei log per segni di attacco.
+• L'IA può anche aiutare con la gestione granulare dei permessi, che è attualmente una delle principali fonti di complessità nell'IT ad alta sicurezza, migliorando sia la produttività che la sicurezza nelle organizzazioni più attente alla sicurezza (ad esempio agenzie di intelligence, esercito e si spera laboratori di IA).
+
+I progressi nella sicurezza fisica potrebbero anche diventare importanti in un mondo di droni o robot autonomi ed economici con capacità letali.
+
+L'allineamento dell'IA garantisce che le IA perseguano gli obiettivi che i loro creatori danno loro, evitando IA canaglia. Mentre gli altri elementi in questa categoria riguardano il rafforzamento del mondo contro i danni da IA o umani potenziati dall'IA, l'allineamento riguarda il rendere le IA intrinsecamente meno dannose — ma entrambi servono gli stessi obiettivi di ridurre la possibilità di catastrofi e ridurre la necessità di centralizzare per prevenire quelle catastrofi. Le agende di allineamento sono state discusse a lungo altrove, ma in breve:
+
+• La supervisione scalabile riguarda il capire come dare un feedback accurato a modelli potenti, per evitare di premiare erroneamente comportamenti scorretti o ingannevoli dai modelli. RLHF è un esempio; altri filoni di lavoro includono la generalizzazione da debole a forte e la sicurezza dell'IA tramite dibattito.
+• L'interpretabilità mira a capire cosa stanno facendo le reti neurali, nella speranza che questo ci permetta poi di verificare e/o guidare il comportamento del modello. L'interpretabilità meccanicistica mira a comprendere i modelli finali addestrati, mentre l'interpretabilità dello sviluppo studia come i modelli imparano.
+• La ricerca sull'allineamento automatizzato mira a scaricare i problemi di cui sopra alle IA.
+
+Il controllo dell'IA mira a garantire che anche le IA disallineate non possano causare il caos. È in linea con una mentalità di sicurezza standard in cui si desidera che la sicurezza regga anche se si fanno ipotesi minime su un sistema. Questa dovrebbe essere la nostra posizione verso le IA finché non avremo buone prove sull'allineamento.
+
+### Politiche per supportare questo
+
+La nostra richiesta politica chiave è per progetti moonshot supportati dal governo per la tecnologia di riduzione del rischio che delineiamo sopra, modellati sull'Operazione Warp Speed.
+
+Ci sono altri modi in cui la politica potrebbe supportare gli interventi tecnici delineati sopra. Questo è particolarmente vero per le minacce alla biosicurezza, che sono le più difficili da risolvere per il solo settore privato. In particolare, i governi dovrebbero imporre regole KYC (know-your-customer) per i fornitori di sintesi del DNA, finanziare il monitoraggio delle acque reflue per i patogeni e vietare la ricerca sul guadagno di funzione — la creazione di patogeni con potenziale pandemico in laboratorio per un dubbio guadagno di informazioni.
+
+## Diffondere
+
+In secondo luogo, dobbiamo diffondere ampiamente l'IA. Questo ha due parti.
+
+Primo, vogliamo allineare le capacità umane con i bisogni delle istituzioni, elevando gli umani. Se gli umani possono fornire le cose di cui hanno bisogno stati e aziende potenti, gli interessi del potere porteranno naturalmente a investimenti negli umani. Dovremmo sviluppare e diffondere tecnologie abilitate dall'IA che aumentino la produttività umana e mantengano gli umani nel ciclo della produzione di valore economico.
+
+Secondo, la diffusione aiuta a decentralizzare in modi che prevengono una pericolosa concentrazione di potere.
+
+La decentralizzazione delle capacità dell'IA aiuta con l'equilibrio di potere. Se la rivoluzione del personal computing non fosse mai decollata, i computer avrebbero continuato a essere uno strumento centralizzante che aiuta le grandi aziende e le burocrazie a consolidare il potere. Ma con la rivoluzione del personal computing, l'informatica è diventata una forza decentralizzante che ha aiutato a elevare le capacità di tutti, consentendo anche startup rivoluzionarie che hanno sconvolto lo status quo.
+
+A breve termine, costruire tecnologie che aumentano le capacità umane significa che un'ampia varietà di umani continua a produrre valore più a lungo. Ciò rende più probabile che si verifichi la decentralizzazione: invece di solo una piccola coorte di aziende di IA e i loro fornitori che catturano valore mentre automatizzano gradualmente il resto dell'economia, la tecnologia che aumenta le capacità umane rende tutti più competitivi, aiutandoli a guadagnare capitale e risorse e a conservare e sviluppare pool di conoscenze, dati ed esperienza che proteggono dalla centralizzazione "chi vince prende tutto". Dovremmo puntare a un periodo — il più lungo possibile — in cui umani e IA si specializzano in compiti complementari e hanno ruoli economici simbiotici, piuttosto che prendere la via più breve per la completa sostituzione dell'IA di tutto il lavoro umano.
+
+A lungo termine, le capacità dell'IA avanzeranno abbastanza da rendere la competitività economica umana sempre più rara. Il ruolo umano si sposterà sempre più verso uno di delega, proprietà e definizione del valore, oltre a mantenere probabilmente relazioni con altri umani e forse interfacciarsi con il sistema legale. A quel punto, ci aspettiamo che ci sia stata una decentralizzazione della creazione, proprietà e controllo delle parti creatrici di valore dell'economia dell'IA che mantiene gli umani nel ciclo dell'economia, anche se l'economia si disaccoppia dal lavoro umano diretto.
+
+### A breve termine: estendere il periodo human-in-the-loop per consentire la decentralizzazione
+
+Tutti concordano sul fatto che la tecnologia che aumenta le capacità umane sarebbe desiderabile, ma molti di coloro che si sono "svegliati" sull'IA pensano che il progresso dell'IA sarà semplicemente troppo veloce.
+
+È vero che non esiste alcun blocco teorico fondamentale all'IA in grado di completare ogni compito che gli umani possono svolgere. È anche vero che le IA hanno più flessibilità nel loro hardware e software rispetto agli umani. Ciò significherà che le IA potrebbero alla fine essere più veloci, più economiche e più capaci degli umani, almeno in teoria — ma è incerto quanto rapidamente ciò potrebbe essere realizzato. C'è motivo di credere che il periodo in cui gli umani aumentati sono all'avanguardia esista e duri anni, che questo periodo possa essere esteso e che estenderlo sia prezioso.
+
+Primo, considera lo stato attuale. La startup di IA in più rapida crescita è Cursor, uno strumento di codifica che mette l'umano saldamente al posto di guida, e più di quanto non facciano molti prodotti concorrenti e meno di successo. Il lavoro di METR mostra che le IA stanno migliorando nel risolvere compiti con orizzonti temporali sempre più lunghi, ma sulle tendenze attuali impiegheranno quasi 7 anni per raggiungere un orizzonte temporale di 1 mese e quasi 9 anni per raggiungere un orizzonte temporale di 1 anno con un'accuratezza dell'80% sui compiti completati. È vero, le scoperte algoritmiche tra le altre cose molto probabilmente accelereranno i progressi qui, ma nota anche che i risultati di METR sono su compiti di ingegneria del software chiaramente definiti che non richiedono un contesto profondo. Ci aspettiamo che compiti difficili da giudicare, vaghi e ricchi di contesto richiedano più tempo per essere risolti dalle IA. Sarà difficile compilare il set di dati e difficile costruire l'ambiente RL. Questi fossati non dureranno per sempre, ma crediamo di avere almeno qualche anno.
+
+Secondo, estendere questa finestra è prezioso, sia per la governance che per la decentralizzazione. Più a lungo dura la rilevanza economica umana, più tempo c'è per le persone per svegliarsi all'IA e per la discussione e la costruzione di movimenti attorno alla governance. Il cambiamento politico può richiedere tempo e la maledizione dell'intelligenza probabilmente morderà molto più duramente e velocemente se la società si sveglia alla piena automazione e poi viene automatizzata entro un ciclo elettorale. La "terapia d'urto", in cui gli umani vengono lasciati inoccupabili da un giorno all'altro, porterà probabilmente anche a una reazione politica più estrema e caotica.
+
+Come discusso sopra, estendere il periodo human-in-the-loop il più a lungo possibile aiuta anche a decentralizzare l'IA: piuttosto che pochi laboratori di IA che fanno una corsa per impadronirsi dell'economia, l'elevazione fornita all'IA si diffonde più ampiamente, consentendo a un numero molto maggiore di attori di accumulare competenze, proprietà, specializzazioni ed esperienza nell'economia abilitata dall'IA. Questo potrebbe aiutare a mantenere l'equilibrio di potere nella società molto più sano, senza dover fare affidamento solo sulla ridistribuzione governativa e sull'antitrust. Nel complesso, vogliamo estendere il periodo durante il quale gli umani sono necessari per soddisfare i bisogni degli attori potenti, il che a sua volta estende il periodo durante il quale stati e aziende hanno incentivi non legislativi a preoccuparsi degli umani e dà a più attori il tempo di mettere piede nell'economia abilitata dall'IA prima che la rilevanza umana finisca.
+
+Terzo, è possibile estendere questa finestra temporale attraverso lo sviluppo tecnologico differenziale. Un focus sulle brevi tempistiche dell'AGI e sull'inevitabilità della corsa all'AGI come fatti bruti prevalenti del nostro tempo è probabilmente corretto, ma può facilmente oscurare che ci sono aghi che possiamo spostare.
+
+### Costruire tecnologia per le capacità umane
+
+Dovremmo costruire tecnologia che sia un complemento piuttosto che un sostituto del lavoro umano. Strumenti come martelli e computer rendono gli umani più efficaci nel loro lavoro e quindi sono solitamente complementi al lavoro umano. Generalmente, anche se gli strumenti che completano il lavoro potrebbero spostare il panorama dei lavori e dei compiti, generalmente portano non solo a una maggiore crescita e abbondanza complessiva, ma spesso tendono anche ad aumentare i rendimenti del lavoro umano e quindi ad aumentare i salari umani. Tuttavia, la visione dell'AGI è sostitutiva dell'umano nella sua stessa definizione: intelligenza generale, che fa tutto ciò che un umano può fare.
+
+L'agenzia e la somiglianza umana hanno preso il sopravvento sulla concezione di IA di tutti. Ma oltre agli agenti simili agli umani, ci sono molti altri tipi di intelligenze utili: strumenti, modelli del mondo, recupero di informazioni, completamento di pattern, consulenti e intelligenza collettiva — implementati da sistemi come API, mercati di previsione, Community Notes e così via. Possiamo anche scomporre l'agenzia in parti: obiettivi, consapevolezza situazionale, pianificazione, implementazione e azioni sono tutti componenti di un agente. Questi non devono essere assemblati in un'unica entità artificiale e l'IA sta attualmente progredendo tutt'altro che uniformemente su questi assi.
+
+Invece di "agenti unitari" che svolgono tutte queste funzioni, dovremmo accelerare lo sviluppo di sistemi di IA che eseguono sottoinsiemi di questi, con umani o altri sistemi che colmano il divario. Ci sono ragioni per pensare che gli agenti siano i più competitivi a lungo termine e gli approcci che fattorizzano l'agenzia siano alla fine non competitivi, ma al momento sembra che l'agenzia a lungo orizzonte sia una delle cose in cui l'IA è peggiore e molte strade per lo sviluppo dell'IA — incluse molte delle più immediatamente redditizie — non riguardano la creazione di agenti unitari. L'umanità dovrebbe resistere alle forze memetiche che spingono il treno dell'hype degli agenti IA e accelerare in modo differenziale altri rami dell'albero tecnologico.
+
+Considera il CEO di un'azienda. Un CEO è una parte importante di un'azienda, anche se per tutto ciò che fa il CEO c'è qualcuno nell'azienda più bravo a farlo. Gli umani potrebbero rimanere al comando e in controllo, agendo come CEO o funzione esecutiva per team di IA anche una volta che le IA saranno sovrumane nella maggior parte dei compiti.
+
+In particolare, dato l'attuale modello delle capacità dell'IA, ci aspettiamo che molti dei prodotti più efficaci sfrutteranno la direzione umana, la comprensione del contesto e la capacità di gestire le eccezioni, per guidare sistemi di IA che svolgono la maggior parte del lavoro. Gli umani potrebbero continuare a fornire valore attraverso il buon gusto nel giudizio e nella strategia. Il controllo dall'alto verso il basso della società da parte di pochi sistemi di IA soffre anche degli stessi problemi della pianificazione centrale. Hayek ha sostenuto l'importanza della conoscenza tacita e locale non scritta nella gestione dell'economia e come ciò renda necessario il controllo distribuito e decentralizzato. Come abbiamo sostenuto prima, ci sono buone ragioni per pensare che il controllo distribuito rimanga più efficace della centralizzazione nell'economia dell'IA, e ragioni ancora migliori per spingere la tecnologia che aiuta a mantenere decentralizzata la produzione di valore, piuttosto che consentire il controllo dall'alto verso il basso da parte di pochi o di un sistema di IA singleton.
+
+Di seguito forniamo alcuni punti di partenza per quale tecnologia costruire per consentire la diffusione.
+
+Interfacce utente pro-umane. Non abbiamo ancora visto un'intuizione e un design del prodotto a livello di Steve Jobs applicati a nessuno strumento di IA. Lo sforzo viene sempre più speso nello sviluppo di agenti IA piuttosto che strumenti IA. Questo dovrebbe cambiare.
+
+Aumentare la larghezza di banda IA-umano e diminuire la latenza. Ciò consente agli umani di incorporare le IA in modo più solido nei loro flussi di lavoro e dirigerle più velocemente e con maggiore attenzione, rendendo i sistemi simbiotici uomo-IA più competitivi.
+
+• Gli strumenti di realtà aumentata potrebbero aiutare gli umani a prendere decisioni e intraprendere azioni mentre ricevono informazioni ad alta velocità dalle IA. Una visione di tali strumenti molto potenti è data in questa storia.
+• Interfacce cervello-computer (BCI). Il feedback istantaneo uomo-IA tramite BCI consente agli umani di essere supervisori e manager efficaci delle IA e di integrarsi più strettamente nei sistemi uomo+IA. Le BCI dovrebbero essere non invasive per ridurre le barriere all'adozione.
+
+Le capacità di IA localizzate potrebbero decentralizzare il potere dai laboratori e aiutare a mantenere più attori economicamente rilevanti.
+
+• Facile finetuning dei modelli di IA in modo che persone, piccole imprese e startup possano creare finetune di IA che incarnano la loro conoscenza locale così come il loro giudizio personale, gusto e senso dell'orientamento. Nella misura in cui la conoscenza/gusto locale e personale è importante, ciò aiuterà gli attori non di laboratorio a rimanere rilevanti e competitivi, scalando la loro conoscenza e gusto locale con la produttività dell'IA — vedi qui e qui per saperne di più su gusto e conoscenza locale. Inoltre, piuttosto che allinearsi a un concetto nebuloso di valori umani generali o alla preferenza di un'azienda, tali sistemi potrebbero essere allineati ai singoli utenti stessi.
+• Robotica decentralizzata. I dati sono un importante collo di bottiglia nella robotica e il paradosso di Moravec suggerisce che la robotica potrebbe rimanere indietro rispetto ad altre capacità dell'IA. La robotica potrebbe rimanere basata sul finetuning specifico per compito, come è attualmente il caso anche per la robotica basata sul deep learning all'avanguardia. Ciò potrebbe creare un mondo in cui i dati e i finetune specifici per compito per i robot di produzione sono distribuiti tra molti attori, piuttosto che centralizzati in un piccolo numero di grandi aziende, specialmente se possiamo spingere l'hardware robotico open source e i modelli base e rendere facile il fine-tuning della robotica. Tuttavia, una grande scoperta algoritmica nella generalizzazione dei dati robotici potrebbe rompere questa possibilità.
+• Aiutare gli umani a possedere e controllare i dati locali. Se l'IA può svolgere a basso costo qualsiasi lavoro prezioso di elaborazione o deduzione quando le vengono forniti alcuni dati, la capacità di svolgere un lavoro intellettualmente prezioso sarà sempre più limitata dal fatto che tu possa fornire fisicamente e legalmente gli input richiesti all'IA, piuttosto che dall'elaborazione delle informazioni stessa. Aiutare individui e piccole imprese a raccogliere e gestire i propri dati, e poi proteggere quei dati dalle IA centralizzate (attraverso metodi dall'uso di LLM open source invece di API di laboratori di IA, all'offuscamento deliberato e al mantenimento dei dati fuori dall'internet pubblico mentre sono ancora utili), aiuterebbe l'equilibrio di potere. Questo potrebbe essere combinato con mercati di dati e altri sistemi che riducono l'attrito negli scambi di dati consentendo ai proprietari di dati di trarre profitto dai propri dati, purché la partecipazione a tali scambi non ceda in modo irreversibile e ingiustamente economico i fossati di dati esistenti in un modo che centralizza il potere.
+• Le esecuzioni di addestramento distribuite, come ciò che sta facendo Prime Intellect, potrebbero consentire a gruppi decentralizzati di addestrare modelli di IA.
+• Calcolo locale per l'esecuzione di modelli potenti. Molto di questo è a valle dei prezzi delle GPU e alla fine potremmo sperare in una GPU in ogni casa, proprio come i computer sono passati dall'essere inaccessibili a tutti che ne possiedono uno (almeno sotto forma di telefono). Tuttavia, nel frattempo le GPU performanti sono molto costose e, mentre alcuni ci stanno provando, l'inferenza LLM è resa economica mantenendo un throughput elevato raggruppando le richieste di molti utenti. Le tecnologie di calcolo confidenziale potrebbero consentirti di eseguire carichi di lavoro su data center con garanzie di sicurezza e privacy attestabili. Strumenti migliori per l'infrastruttura distribuita consentirebbero a un numero maggiore di giocatori di avviare i propri cluster di calcolo che controllano e ridurre la barriera dei costi per controllare il proprio calcolo.
+• IA economica in generale, specialmente IA open source. Un cattivo risultato è se, ad esempio, un sistema che può sostituire per lo più un lavoro ad alta competenza costa circa 20.000 dollari all'anno — un importo che consente a un'azienda di sostituire un dipendente, rendendo difficile per un singolo umano beneficiarne. Mentre i prezzi dell'inferenza LLM stanno scendendo eccezionalmente rapidamente, potrebbe esserci un periodo intermedio in cui il prezzo è particolarmente svantaggioso per i consumatori e le piccole aziende, consentendo agli incumbent di andare avanti a tutto vapore. OpenAI, ad esempio, secondo quanto riferito prevede di addebitare presto fino a 20.000 dollari al mese per le sue IA più avanzate. L'IA open-weights e open source in particolare aiuta a esercitare una pressione sui prezzi sui laboratori di IA che impedisce a questo stato di cose di durare a lungo.
+
+Come accennato, non pretendiamo che l'aumento delle capacità umane possa essere una soluzione infinitamente durevole. Tuttavia, rifiutiamo anche un filone di pensiero che è disposto a considerare solo soluzioni permanenti. In futuro, probabilmente ne sapremo di più, saremo più saggi e avremo avuto almeno alcune sorpreprese dal corso degli eventi e dall'albero tecnologico. Potremmo anche avere IA incredibilmente intelligenti a nostra disposizione. Se arriviamo a quel futuro con una fiorente società democratica, questo è un buon primo passo.
+
+A parte la sua finitezza, un altro potenziale problema con la tecnologia per l'aumento delle capacità umane è che potrebbe aumentare ulteriormente i rendimenti del talento umano e l'asticella del talento per competere nell'economia. Uno dei luoghi in cui i sistemi congiunti uomo-IA hanno maggiori probabilità di essere più utili è proprio alla frontiera, dove le capacità dell'IA sono ancora irregolari. Ci aspettiamo che l'IA che rende tutto più facile aumenterà il numero di persone che possono raggiungere la frontiera, ma si tradurrà anche in distribuzioni dei risultati con code ancora più grasse di oggi. Se anche una piccola frazione di umani è economicamente rilevante, stati e aziende sono ancora incentivati a investire negli umani per coltivare talenti eccezionali. Tuttavia, una maggiore disuguaglianza di reddito è una forza che spingerà per la concentrazione del potere. La ridistribuzione diventerà più importante, così come lo sviluppo di una cultura di noblesse oblige.
+
+### A lungo termine: decentralizzazione e allineamento all'utente mantengono gli umani nel ciclo
+
+Avere avuto un lungo periodo di simbiosi uomo-IA e coinvolgimento umano nell'economia anche mentre l'IA avanza avrà si spera aiutato un ampio insieme di attori a guadagnare ricchezza derivata dall'IA e a creare e possedere parti dell'economia dell'IA. Ciò significherà più decentralizzazione e meno concentrazione di potere. Significherà che più umani hanno posseduto piuttosto che preso in prestito il potere.
+
+Forti istituzioni democratiche, che discutiamo nella prossima sezione, saranno sempre più importanti in questo mondo. Tuttavia, c'è una tecnologia che potrebbe essere fondamentale anche qui:
+
+Allineamento all'utente. La maggior parte del lavoro di allineamento dà la priorità all'allineamento a un concetto generico di valori umani (o — e questo è molto più probabile che accada per impostazione predefinita — una dichiarazione aziendale o un compromesso politico). Presuppone che il seguire le istruzioni per conto dei modelli sia tutta la specializzazione per utente necessaria. Tuttavia, ci aspettiamo che affinché i modelli agiscano con successo per conto degli utenti nella maggior parte delle funzioni dell'economia e del mondo sarà necessario il loro allineamento dettagliato e ad alta granularità a ogni singolo utente. Ciò potrebbe creare un'economia di agenti, ognuno dei quali è direttamente legato a una persona. Le attività degli agenti fanno guadagnare reddito a quella persona e si basano sul giudizio, sul gusto e sulla conoscenza tacita dell'utente, mantenendoli coinvolti nella creazione di valore. Lo stato tasserebbe il reddito della persona piuttosto che le attività dell'agente.
+
+### Politiche per la diffusione
+
+Riqualificazione degli umani nelle aree che saranno colli di bottiglia dell'economia dell'IA. È probabile che i sistemi di IA abbiano profili di capacità irregolari rispetto agli umani, eccellendo in compiti con facile verifica, bassi orizzonti temporali e mancanza di interfacciamento con il mondo fisico. Naturalmente, questi creeranno colli di bottiglia che gli umani saranno in grado di riempire per rimanere rilevanti nell'economia. C'è una gara tra la riqualificazione umana e il riaddestramento da un lato, e i laboratori di IA che appianano la frontiera delle prestazioni frastagliate dall'altro.
+
+• Tutor IA per i cambi di lavoro. Ci aspettiamo che i cambiamenti nell'economia avverranno a velocità storicamente senza precedenti e richiederanno una riqualificazione più rapida rispetto al passato.
+• Trovare buone tecniche per la supervisione dell'IA e addestrare gli umani in esse.
+• Esperimenti educativi, come nuovi tipi di scuole e programmi educativi. L'attuale sistema educativo, che si concentra su compiti a breve orizzonte e facilmente valutabili, insegna esattamente ciò che l'IA automatizza.
+• Migliore previsione delle capacità dell'IA e dei loro colli di bottiglia. Abbiamo bisogno di previsioni migliori e comprensione di ciò di cui l'economia avrà bisogno e su cui è bloccata.
+
+I responsabili politici dovrebbero vietare ai sistemi di IA di possedere qualsiasi attività, servire come membro della C-Suite di un'azienda, servire in un consiglio di amministrazione o possedere azioni. Questo sembra sciocco ora, ma è importante sancire un principio secondo cui gli umani possiedono la parte superiore dell'imbuto ora prima che i sistemi siano abbastanza buoni da consentire alle aziende di provare a delegare questi ruoli.
+
+## Democratizzare
+
+In terzo luogo, dovremmo democratizzare, rendendo le istituzioni più ancorate ai desideri degli umani che dovrebbero servire. Per completare l'allineamento delle capacità umane con i bisogni istituzionali che la decentralizzazione raggiunge, dovremmo anche sviluppare tecnologie che aiutino ad allineare le istituzioni con gli umani.
+
+Questo è importante perché la maledizione dell'intelligenza indebolisce gli incentivi istituzionali a preoccuparsi degli umani. Mentre speriamo che i passaggi di diffusione delineati sopra risolvano una grossa fetta della maledizione dell'intelligenza, rafforzare le istituzioni è un complemento importante a ciò. Diventerà anche sempre più importante man mano che le capacità dell'IA crescono e la rilevanza economica umana diminuisce.
+
+Inoltre, l'IA aiuterà anche a centralizzare il potere, rendendo più plausibile il controllo dall'alto verso il basso attraverso l'automazione di un processo decisionale, una sorveglianza e un'applicazione efficaci. Più le istituzioni diventano potenti, più attentamente dobbiamo progettarle e allinearle.
+
+Infine, per mantenere gli umani economicamente rilevanti, dovremo approvare politiche che spostino i benefici dell'IA verso le persone comuni rispetto all'impostazione predefinita. Se i leader di un paese sono facili da corrompere o se lo stallo impedisce le azioni, quel paese faticherà ad adattarsi a questo. Ma se un paese è una democrazia stabile ed efficace, può scavalcare gli incentivi del capitale e i gruppi di interesse di nicchia, fornendo agli elettori un modo per dare priorità ai propri obiettivi rispetto a quelli delle loro élite.
+
+Non esiste un'unica innovazione che risolva tutti questi problemi. Tuttavia, elencheremo alcune tecnologie che aiutano a costruire istituzioni più forti e democratiche.
+
+### Tecnologie democratizzanti
+
+Rappresentanza.
+
+• Avvocati digitali (proposti da Kulveit & Douglas et al) che consentono ai responsabili politici di valutare i valori e le opinioni di una data popolazione. I modelli allineati ai singoli utenti in dettaglio, come discusso nella sezione diffusione, abilitano naturalmente gli avvocati digitali.
+• Raccolta di feedback su larga scala che consente ai responsabili politici di ottenere dati più granulari e qualitativi sulle preferenze dei cittadini rispetto a quanto fanno gli attuali semplici sondaggi d'opinione numerici. Il progetto Talk to the City dell'AI Objectives Institute è un primo esempio. Immagina un politico che può sedersi con un'IA e, su qualsiasi questione, ottenere un livello di comprensione delle preferenze e delle condizioni degli elettori che fosse come se Tocqueville avesse trascorso un anno viaggiando tra gli elettori e poi scrivendo un'analisi.
+
+Verifica e fiducia.
+
+• La verifica umana è una primitiva utile per molte cose, incluso il controllo dell'accesso ai servizi dai forum online alla registrazione aziendale agli umani, e la distribuzione di benefici governativi ai cittadini in mezzo al mare di impersonificazione e frode che l'IA renderà economico. Ad esempio, i token di verifica biometrica anonimizzati (come il World Network, precedentemente Worldcoin), mirano a dimostrare l'umanità di qualcuno senza trasmettere i suoi dati biometrici.
+• Sistemi di IA come revisori terzi fidati. È difficile affidare a un revisore umano informazioni sensibili e i revisori umani sono costosi. I revisori IA potrebbero avere velocità, economicità e affidabilità sovrumane e potremmo essere in grado di avere sia la privacy verificabile delle informazioni che controllano sia l'integrità del revisore. Immagina ad esempio di poter eseguire in modo verificabile uno specifico programma di audit (nel caso semplice, un prompt LLM) contro informazioni verificabilmente private. Ciò potrebbe aiutare con qualsiasi cosa, dalle garanzie dei governi ai cittadini, alle aziende che si coordinano tra loro, alla verifica dei trattati internazionali sul controllo degli armamenti.
+• Sistemi di IA come consulenti terzi fidati. Un problema con i consulenti umani è che la loro prospettiva è spesso (correttamente) vista come parziale o egoistica. Con gli LLM, abbiamo qualcosa come un "punto di vista dal nulla" — un'intelligenza addestrata sui testi raccolti dell'umanità, senza un'agenda personale. "L'ha detto ChatGPT" è già talvolta usato come proxy per un arbitro imparziale.
+• Tracciamento alimentato dall'IA delle attività governative. L'IA potrebbe democratizzare la capacità di avere analisi e intuizioni a livello di agenzia di intelligence su un attore scelto. Sebbene ciò ponga molti rischi per la privacy degli individui, la società potrebbe usarlo per tracciare le azioni del governo e scoprire la corruzione. Ad esempio, immagina una piattaforma su cui le IA raccolgono automaticamente informazioni su quali aziende hanno fatto pressioni per un disegno di legge e quali cambiamenti stanno probabilmente spingendo.
+
+Coordinamento.
+
+• La negoziazione dei contratti richiede tempo, specialmente quando la questione è complessa e ci sono più parti coinvolte. L'IA potrebbe aiutare le parti che in precedenza avrebbero trovato troppo dispendioso in termini di tempo e costoso coordinarsi per negoziare un contratto.
+• L'applicazione automatizzata dei contratti basata sull'IA potrebbe essere utilizzata — in modo ponderato — per aiutare gli attori a impegnarsi in azioni. Esempi semplici includono scommesse che si risolvono automaticamente in base ai giudizi dell'IA o pagamenti a un appaltatore che si attivano automaticamente alla consegna soddisfacente del lavoro.
+
+L'ambiente informativo è fondamentale per una democrazia funzionale, per un processo decisionale sano ovunque nella società e per una cultura forte ed efficace.
+
+• Sistemi di fact-checking distribuiti come le Community Notes di X su larga scala.
+• "Guanti Internet" in cui gli utenti possono utilizzare le IA per estrarre informazioni dalle piattaforme in modi selettivi e non dipendenti, senza essere risucchiati nella piattaforma.
+
+### Politiche democratizzanti
+
+Accanto a questo, i responsabili politici dovrebbero intraprendere azioni immediate per rafforzare le democrazie. Le democrazie deboli crolleranno sotto il peso dell'AGI. Ciò includerebbe:
+
+• Approvare la riforma del finanziamento delle campagne elettorali
+• Riformare le leggi anticorruzione
+• Rafforzare la competenza burocratica riducendo al contempo il gonfiore
+
+I governi dovrebbero rendere i tribunali e le legislature più veloci. Il coordinamento attorno alle legislature e i tempi di elaborazione dei casi giudiziari potrebbero essere glaciali rispetto alla velocità dei progressi dell'IA o alla velocità con cui un esecutivo abilitato dall'IA può agire. Ciò crea una minaccia che il ramo esecutivo possa diventare effettivamente l'unico e incontrollato arbitro.
+
+I governi dovrebbero prepararsi preventivamente per un mondo in cui molte persone comuni non forniscono valore economico immediato, anche se ciò non si materializza mai o se alcune persone lo fanno ancora. Se ciò dovesse accadere, dovrebbero essere pronti ad attuare una miriade di misure per distribuire i benefici economici dell'IA ai diseredati. Questo potrebbe essere un fondo sovrano con quote di proprietà pubblica in aziende altamente automatizzate, con requisiti per distribuire una percentuale fissa direttamente ai cittadini. Potrebbe anche assomigliare a requisiti costituzionali affinché i governi soddisfino i bisogni di base. Entrambe le mosse potrebbero stimolare un'economia umana, prevenendo la chiusura delle industrie rivolte ai consumatori e consentendo contemporaneamente alle persone di utilizzare questa ricchezza per lanciare proprie iniziative.

07_History_is_Yours_to_Write_en.md

@@ -0,0 +1,29 @@
+# History is Yours to Write
+
+Summary: You have a roadmap to break the intelligence curse. What will you do with it?
+
+The government, the economists, your colleagues, and your neighbors are not giving mass automation and its potential implications their attention. The world's most well-resourced companies are burning hundreds of billions of dollars trying to build AGI. If successful, they might unlock unprecedented abundance—a good thing. However, the current plan for AGI also takes away everyone's main lever of power: their ability to create value in the world.
+
+How would people fare in such a world? You could trust the politicians and CEOs—and AIs—that end up in power. Maybe they'll be benevolent. But neither history nor incentives look kindly on the stability of this arrangement. The best world is one where people are not subjects, but players.
+
+Wishful thinking dominates, motivated by a mix of denial and self-importance. Many of those who see this coming expect that they personally will be fine. Perhaps they have high-paying jobs at AI labs, or think that they have the uniquely human job that AIs can't take.
+
+Others are ignoring the AI capabilities in front of them, writing manifestos about what AIs cannot do followed shortly thereafter by proof that they can. Rather than changing their beliefs, they ignore the evidence.
+
+But among a third group—those who can see the wave and know it will subsume them—unbounded optimism has replaced critical thinking.
+
+In a recent conversation, we raised the concept of the intelligence curse. We hadn’t fleshed it all out yet, but their response convinced us that we needed to. This person, a well-connected person in the AI space, agreed technological displacement was the most likely outcome of AGI, but believed that it would default to utopia.
+
+> “We won’t need jobs – we’ll be free to self-actualize. We’ll pursue meaningful goals and write poetry.”
+
+You do not get to utopian poetry writing by having faith that someone else will figure it out. You are not praying to God, you are praying to men more ignorant than you.
+
+Instead of turning to others for answers, take action yourself:
+
+• If you are in governments, you should be forecasting AI capabilities and thinking through solutions to the intelligence curse.
+• If you’re at a think tank, start turning out policies designed to get us ready for a post-AGI world.
+• If you’re at an AI lab, critically examine your organizations’ incentives and help build better internal governance structures to overcome them.
+• If you are young, get ambitious. The traditional prestige paths are closing anyways. Start companies trying to design tech that will keep humans economically relevant and spread abundance.
+• If you’re a VC, fund projects and products that will keep humans in charge.
+
+The direction of civilization is not fixed. History is yours to write. Get to work.

07_La_Storia_e_Tua_da_Scrivere_it.md

@@ -0,0 +1,29 @@
+# La Storia è Tua da Scrivere
+
+Sommario: Hai una tabella di marcia per rompere la maledizione dell'intelligenza. Cosa ne farai?
+
+Il governo, gli economisti, i tuoi colleghi e i tuoi vicini non stanno prestando attenzione all'automazione di massa e alle sue potenziali implicazioni. Le aziende con più risorse al mondo stanno bruciando centinaia di miliardi di dollari cercando di costruire l'AGI. Se avranno successo, potrebbero sbloccare un'abbondanza senza precedenti — una buona cosa. Tuttavia, l'attuale piano per l'AGI toglie anche a tutti la principale leva di potere: la loro capacità di creare valore nel mondo.
+
+Come se la caverebbero le persone in un mondo del genere? Potresti fidarti dei politici e dei CEO — e delle IA — che finiscono al potere. Forse saranno benevoli. Ma né la storia né gli incentivi guardano con favore alla stabilità di questo accordo. Il mondo migliore è quello in cui le persone non sono sudditi, ma giocatori.
+
+Il pensiero illusorio domina, motivato da un mix di negazione e auto-importanza. Molti di coloro che vedono arrivare tutto questo si aspettano che personalmente staranno bene. Forse hanno lavori ben pagati nei laboratori di IA, o pensano di avere il lavoro unicamente umano che le IA non possono prendere.
+
+Altri stanno ignorando le capacità dell'IA di fronte a loro, scrivendo manifesti su ciò che le IA non possono fare seguiti poco dopo dalla prova che possono farlo. Piuttosto che cambiare le loro convinzioni, ignorano le prove.
+
+Ma tra un terzo gruppo — coloro che possono vedere l'onda e sanno che li sommergerà — l'ottimismo sconfinato ha sostituito il pensiero critico.
+
+In una recente conversazione, abbiamo sollevato il concetto della maledizione dell'intelligenza. Non l'avevamo ancora elaborato del tutto, ma la loro risposta ci ha convinto che dovevamo farlo. Questa persona, una persona ben collegata nello spazio dell'IA, ha concordato che lo spostamento tecnologico fosse il risultato più probabile dell'AGI, ma credeva che sarebbe andato di default verso l'utopia.
+
+> "Non avremo bisogno di lavori – saremo liberi di auto-realizzarci. Perseguiremo obiettivi significativi e scriveremo poesie."
+
+Non si arriva alla scrittura di poesie utopiche avendo fede che qualcun altro capirà come fare. Non stai pregando Dio, stai pregando uomini più ignoranti di te.
+
+Invece di rivolgerti agli altri per le risposte, agisci tu stesso:
+
+• Se sei nei governi, dovresti prevedere le capacità dell'IA e pensare a soluzioni per la maledizione dell'intelligenza.
+• Se sei in un think tank, inizia a produrre politiche progettate per prepararci a un mondo post-AGI.
+• Se sei in un laboratorio di IA, esamina criticamente gli incentivi delle tue organizzazioni e aiuta a costruire migliori strutture di governance interna per superarli.
+• Se sei giovane, diventa ambizioso. I percorsi di prestigio tradizionali si stanno chiudendo comunque. Avvia aziende cercando di progettare tecnologia che manterrà gli umani economicamente rilevanti e diffonderà l'abbondanza.
+• Se sei un VC, finanzia progetti e prodotti che manterranno gli umani al comando.
+
+La direzione della civiltà non è fissa. La storia è tua da scrivere. Mettiti al lavoro.