Millioner av bøker skannes og kastes: jakten på menneskeskrevet treningsdata

Nettavisen omtalte nylig hvordan KI-selskaper kjøper opp enorme mengder brukte bøker for å skaffe treningsdata til modellene sine. I mange tilfeller blir bøkene skåret fra hverandre, skannet i høyt tempo og deretter kastet. Praksisen har utløst debatt om både opphavsrett og bevaring av litteratur, men den forteller også noe mer grunnleggende: menneskeskrevet tekst er i ferd med å bli en knapp ressurs.

Derfor er gamle bøker blitt gull verdt

Årsaken ligger i kvaliteten på dataene modellene trenes på. Internett fylles i økende grad av KI-generert innhold, og trenes språkmodeller på tekst skrevet av andre språkmodeller, kan kvaliteten gradvis forvitre, et fenomen forskere kaller model collapse.

Bøker skrevet før KI-bølgen tok av i 2022 er derfor blitt uvanlig verdifulle. De er garantert menneskeskrevne, de er redigerte og kvalitetssikrede, og de dekker fagområder med en dybde nettartikler sjelden matcher. For modellutviklerne er antikvariatet i praksis blitt et datavarehus.

«Project Panama»: skanning i industriell skala

Rettsdokumenter omtalt av Washington Post viser hvordan KI-selskapet Anthropic bygget et enormt digitalt bokarkiv under kodenavnet «Project Panama». Selskapet hentet inn den tidligere lederen for Googles bokskanningsprosjekt og brukte titalls millioner dollar på å kjøpe millioner av fysiske bøker fra store bruktbokforhandlere.

Prosessen var industriell: bokryggene ble kuttet av med hydrauliske maskiner, sidene ble matet gjennom høyhastighetsskannere, og papiret ble deretter resirkulert. I et internt dokument beskrev selskapet ambisjonen som å «destruktivt skanne alle verdens bøker», og la til at de ikke ønsket at arbeidet skulle bli kjent.

Delvis medhold i retten, og et milliardforlik

Domstolene har gitt bransjen et delt svar. En føderal dommer i USA slo fast at det var «fair use» å digitalisere og trene på bøker selskapet hadde kjøpt lovlig, selv om papirutgavene ble ødelagt underveis. Dommeren sammenlignet treningen med en forfatter som leser bøker for å lære å skrive.

Nedlastingen av millioner av piratkopierte bøker fra såkalte skyggebiblioteker fikk derimot ikke samme vern. Den delen av saken endte i et milliardforlik med rettighetshaverne, som dekket flere hundre tusen verk. Også OpenAI, Google og Meta står i lignende søksmål om hvordan treningsdata er skaffet.

Frykten for at sjeldne bøker går tapt

Praksisen bekymrer antikvariater og bokhandlere. I Nederland, Tyskland og Sveits har bruktbokhandlere fått bulkbestillinger på flere tusen titler av gangen, forespørsler så uvanlige at flere avfeide dem som svindelforsøk. Samtidig markedsføres det nå egne tjenester som tilbyr KI-selskaper alt fra tusen til én million bøker per bestilling.

Frykten er at utsolgte og sjeldne titler kjøpes opp, skannes og destrueres, slik at få fysiske eksemplarer blir igjen. Dokumenterte tilfeller av at sjeldne bøker faktisk er ødelagt finnes foreløpig ikke, men bekymringen har nådd helt til topps i teknologimiljøet: Elon Musk har uttalt at hans egne KI-team skal bevare sjeldne bøker og skanne dem «på den vanskelige måten», uten å ødelegge dem.

Hva dette forteller norske virksomheter

Historien om bokskanningen er først og fremst en historie om at datakvalitet er blitt flaskehalsen i KI-utviklingen. Når verdens største KI-selskaper bruker titalls millioner dollar på fysiske bøker, er det fordi kuratert, menneskeskapt innhold har en verdi generisk nettekst ikke kan erstatte.

Den innsikten gjelder også i mindre skala. Virksomhetens egne data, som fagdokumentasjon, kundehistorikk, interne notater og rapporter, er nettopp slikt kuratert, domenespesifikt materiale, og ofte det som avgjør om en KI-løsning treffer eller bommer. Samtidig viser rettssakene at det får konsekvenser hvor treningsdata kommer fra: proveniens og lisensiering er i ferd med å bli et reelt compliance-spørsmål, også under EUs KI-forordning.

Anbefalingen vår er derfor todelt. Behandle egne data som den strategiske ressursen de er, og still KI-leverandørene det spørsmålet bokbransjen nå har tvunget frem i lyset: hvor kommer dataene deres fra?