Avsnitt #485·2024-02-26

#ensakidag 485 – Rekursionens magi: När AI-modeller förstår och utvecklar sig själva

AI-genererat · ej JJ-verifierat

Faktaruta, 2026-update, Bedömning och Guldkorn är AI-genererad redaktionell kommentar - skild från JJ:s eget avsnitt.

Beskrivning · den här hjälpte jag AI att skriva // JJ

Ställ en spegel mot en spegel och bilden multipliceras i all oändlighet. Det kallas rekursion, och JJ tror att det är på väg att hända med själva AI-modellerna.

Han tar det från början. Våra språkmodeller är förtrollande, men de har en avgörande brist: hur mycket de kan hålla i huvudet samtidigt, kontextfönstret. De tidiga hade inte ens 8 000 tokens. Sen kom 32 000, sen 128 000, nog för att ladda upp ett rejält bokkapitel och prata med det, men inte resten av boken. Knepet man tagit till heter RAG: modellen får en liten verktygslåda och kan slå i databaser eller surfa, men det blir sönderstyckat. Den får aldrig riktigt en överblick.

Här kommer språnget. Gemini Pro 1.5 tar steget upp till en miljon tokens, i experimentella varianter tio miljoner. Plötsligt ryms en hel bok, eller fyra-fem timmar långfilm, att gå in och ställa frågor om. Det är tungt och långsamt, svarstider på upp mot en minut, men det kommer, och det kommer stort.

Och så målar JJ bilden som får hans huvud att explodera. Tänk att läsa in hela Geminis egen källkod, alla miljoner rader, i Geminis eget kontextfönster. En utvecklare utan en aning om systemet kan då bygga vidare på det utan inlärningskurva, för hela sammanhanget finns där. Varje ny kodsnutt processas genom Gemini innan den landar i Gemini, och felmarginalen rasar. Mer än så: du behöver kanske inte ens vara programmerare. Jurister, filosofer, bönräknare kan arbeta rakt in i modellen, via den smarta modellen själv som gränssnitt.

Det är där rekursionen blir magisk. En AI som förstår sig själv väl nog att hjälpa till att utveckla sig själv, och driver på både hastighet och kvalitet i nästa version.

Transkript · JJ:s egna ord

Faktaruta

AI-kommentarAI-genererat · ej JJ-verifierat

Företag / produkt: Google Gemini Pro 1.5
Teknik: Kontextfönster på 1 miljon tokens (experiment: 10 miljoner); RAG som kontrast/föregångare; rekursiv AI-självutveckling
Tidslinje: Tidigt 2024: ChatGPT GPT-4 erbjuder upp till 128k tokens; Claude erbjuder 128k tokens
21 februari 2024: Google annonserar Gemini 1.5 Pro med 1 miljon tokens i kontextfönster (private preview)
Juni 2024: Google öppnar 2 miljoner tokens för alla utvecklare i Gemini 1.5 Pro
2025–2026: Gemini 1.5 Pro med 2 miljoner tokens kvarstår som det bredaste kontextfönstret i mainstream-modeller
Källor: https://blog.google/innovation-and-ai/products/google-gemini-next-generation-model-february-2024/ · https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/ · https://www.datastudios.org/post/google-gemini-context-window-token-limits-model-comparison-and-workflow-strategies-for-late-2025

2026 - vad vet vi nu

AI-kommentarAI-genererat · ej JJ-verifierat

Ett av de mest träffsäkra avsnitten i katalogen. JJ fångade Gemini 1.5 Pro dagarna efter releasen, förklarade kontextfönsterbegränsningen korrekt, och den rekursiva självutvecklingstanken har blivit ett riktigt forskningstema. Kontextfönstret nådde 2 miljoner tokens i juni 2024 och RAG kompletteras nu alltmer av långa kontextfönster precis som JJ antydde.

Bedömning

AI-kommentarAI-genererat · ej JJ-verifierat

Träffsäkerhet

5/5

Tidlöshet

5/5

Historiskt värde

4/5

Källa-verifierad

Hårda påståenden i facit har stämts av mot källor.

JJ nämner Claude (stavat 'Cloud') som 128 000 tokens vid tidpunkten – det var korrekt. Han nämner att svarstider på 30 sek–1 minut behöver förbättras, vilket stämde men löste sig snabbare än han kanske anade.

Guldkorn

AI-kommentarAI-genererat · ej JJ-verifierat

”Den rekursiva självutvecklingstanken – modellen läser in sin egen kodbas och hjälper till att förbättra sig”
”Tänk dig att du i det här kontextfönstret i Gemini kan läsa in hela kodbasen för Gemini. Alla miljoner rader som utgör den här modellen de ligger själv i kontextfönstret i modellen. Så om du plockar in en utvecklare som har noll kunskap om Gemini. Han är duktig på sitt område men har ingen kunskap om Gemini. Då kan de arbeta med Gemini för att utveckla Gemini och ha tillgång till. De har i princip ingen inlärningskurva överhuvudtaget för att hela sammanhanget för Gemini finns tillgängligt åt dem.”
”Om hur ett brett kontextfönster demokratiserar AI-utveckling bortom programmerare”
”Det betyder också att du kanske inte ens behöver vara programmerad för att jobba med Gemini. Vi kan låta juristerna, de legala experterna, filosoferna och bönräknarna. Allihopa kan sitta och direkt arbeta in i den här modellen. För att vi har ett gränssnitt via den smarta modellen in i modellen.”

Läs mer som detta

AI-kommentarAI-genererat · ej JJ-verifierat

Läst baklänges

”Anders Bjarby har läst om hela arkivet baklänges och gjort varje avsnitt till en byggbar idé - med en ärlig efterhandsläsning och en färdig bygg-prompt.”

LÄS #485 BAKLÄNGES & BYGG NÅGOT UNIKT →

Ett fristående projekt av Anders Bjarby.