Avsnitt #465·2023-05-10

#ensakidag 465 – Om att bygga vallgravar mot opensource AI?

AI & maskininlärning Internets infrastruktur & frihet

AI-genererat · ej JJ-verifierat

Faktaruta, 2026-update, Bedömning och Guldkorn är AI-genererad redaktionell kommentar - skild från JJ:s eget avsnitt.

Beskrivning · den här hjälpte jag AI att skriva // JJ

Det finns inga långsamma AI-dagar, men medan världen väntar på Googles stora konferens i kväll passar JJ på att prata om ett läckt internt Google-memo med en rubrik som bränner till: ”We have no moat, and neither does OpenAI.” Moat betyder vallgrav, och hela poängen är att vallgraven är borta.

Den klassiska teorin har varit att de gigantiska språkmodellerna är så dyra och datorkrävande att bara de allra största kan bygga dem. Memot berättar en annan historia, en tidslinje som JJ menar att du måste läsa själv. Meta släppte modellen LLaMA till forskare. Inom en vecka hade den läckt ut i det fria, en nedladdningsbar fil vem som helst kunde sprida vidare.

Och sedan rullar det, som en BuzzFeed-rubrik du faktiskt kan gissa slutet på. På bara dagar fick någon modellen att snurra på en Raspberry Pi för under hundra dollar. Stanford släppte Alpaca, som du kunde träna vidare själv. Snart gick den i anständig fart på en vanlig laptop. En variant tränad med hjälp av GPT-4 blev nästan lika omtyckt som ChatGPT i blindtest, 48 mot 52 procent. För ungefär hundra dollar och ett par timmar kunde du finjustera din alldeles egna modell.

Lärdomen är dubbel. Det har sällan synts så tydligt hur open source springer cirklar runt det stängda, både för att det går snabbare och för att det struntar i de regelverk och avvägningar stora företag måste göra. Men den verkligt viktiga insikten är personlig: du behöver inte jaga allvetande, generell intelligens. Du behöver bara fråga dig vad just du behöver, vilken data du kan lägga till, hur din output ska se ut, och bygga din egen AI för precis det. Börja gärna med att resonera med ChatGPT för att lära dig. Men kliv snart ner i tratten och hitta ditt eget användningsområde. Nu är det din tur att dra lärdomarna - tänk tillsammans, och tyck tillbaka.

Transkript · JJ:s egna ord

Faktaruta

AI-kommentarAI-genererat · ej JJ-verifierat

Företag / produkt: LLaMA (Meta), Alpaca (Stanford), läckt Google-memo We have no moat and neither does OpenAI
Teknik: Öppen källkod LLM-modeller; fine-tuning av stora språkmodeller till låg kostnad; Raspberry Pi-körning; RLHF-träning med distillation från GPT-4
Tidslinje: Februari 2023: Meta open sourcade LLaMA till forskarvärlden
3 mars 2023: LLaMA läcker ut offentligt
12 mars 2023: LLaMA paketerad för Raspberry Pi
13 mars 2023: Stanford Alpaca – fine-tunable variant av LLaMA
18 mars 2023: Laptop-körning med rimliga svarstider
19 mars 2023: 13B-parametervariant på par med Bard
28 mars 2023: Open source-variant av GPT-3-klass
15 april 2023: Open Assistance-modell 48,3% vs ChatGPT:s 51,7% i human preference
Maj 2023: Google-memo läcks via Discord
2025–2026: Google kör dubbelt spår – Gemini Pro + Gemma; open source konkurrenskraftigt med proprietära modeller
Källor: https://newsletter.semianalysis.com/p/google-we-have-no-moat-and-neither · https://www.supervised.news/p/revisiting-that-old-google-ai-memo · https://www.linuxfoundation.org/blog/we-have-no-moat-open-source-ais-breakneck-innovation

2026 - vad vet vi nu

AI-kommentarAI-genererat · ej JJ-verifierat

Det här är ett av seriens mest träffsäkra avsnitt. JJ fångade den exakta inflektionspunkten – mars–april 2023 – när open source AI gick från akademiskt experiment till praktisk verklighet. Budskapet att du kan bygga din egen specialiserade AI för 100 dollar och ett par timmar är om möjligt mer sant 2026 än 2023. LLaMA 3.x, Mistral, Qwen och andra öppna modeller konkurrerar 2026 direkt med GPT-4-klassen.

Bedömning

AI-kommentarAI-genererat · ej JJ-verifierat

Träffsäkerhet

5/5

Tidlöshet

5/5

Historiskt värde

5/5

Källa-verifierad

Hårda påståenden i facit har stämts av mot källor.

JJ sa att Google och OpenAI är rökta och aldrig kan hänga med open source. Det är delvis sant, men Google har klarat sig bättre än memot förutsåg genom dubbelt spår med Gemini + Gemma. OpenAI har hållit tätposition längre än vad open source-entusiasterna trodde 2023.

Guldkorn

AI-kommentarAI-genererat · ej JJ-verifierat

”Kärnpoängen om varför open source strukturellt vinner hastighetsloppet mot stora företag.”
”Det har nog aldrig förvart så tydligt i hastighet och i impact hur open source springer runt och runt closed source. För det finns så många smarta hjärnor där ute idag som bara kastar sig över de här datasläppen och de här modellerna som läcker ut. Och kastar sig över det som någon annan har gjort och så bygger man ovanpå det.”
”Den praktiska lärdomen – din AI för ditt specifika behov, inte AGI-kapprustning.”
”Det enda du behöver göra det är att fundera på hur ser mitt ljuskris ut? Vad är det jag behöver? Vad finns det för extra träningsdata som jag kan addera? Hur vill jag att output ska se ut? Och sen lägger du hundra dollar eller snart ännu mindre naturligtvis och ett par timmar på att finjustera och träna den här modellen efter just dina behov.”
”Beskrivning av det tomrum som öppnat sig mellan smal AI och generell AI.”
”I hela det stora spannet mellan narrow och general så finns det ett jätteutrymme. Inte bara för affärsutveckling och för någon slags generell utveckling utan också för ett personligt nyttjande av detta.”

Läs mer som detta

AI-kommentarAI-genererat · ej JJ-verifierat

Läst baklänges

”Anders Bjarby har läst om hela arkivet baklänges och gjort varje avsnitt till en byggbar idé - med en ärlig efterhandsläsning och en färdig bygg-prompt.”

LÄS #465 BAKLÄNGES & BYGG NÅGOT UNIKT →

Ett fristående projekt av Anders Bjarby.