Datakomprimering

ImageEdit

entropi–kodning stammer fra 1940 ‘ erne med introduktionen af Shannon-Fano-kodning, grundlaget for Huffman-kodning, som blev udviklet i 1950. Transform kodning går tilbage til slutningen af 1960’ erne, med indførelsen af fast Fourier transform (FFT) kodning i 1968 og Hadamard transformere i 1969.

en vigtig billedkomprimeringsteknik er den diskrete cosinustransformation (DCT), en teknik udviklet i begyndelsen af 1970 ‘ erne., DCT er grundlaget for JPEG, et tabsgivende komprimeringsformat, der blev introduceret af Joint Photographic e .perts Group (JPEG) i 1992. JPEG reducerer i høj grad mængden af data, der kræves for at repræsentere et billede på bekostning af en relativt lille reduktion i billedkvaliteten og er blevet det mest anvendte billedfilformat. Dens meget effektive DCT-baserede komprimeringsalgoritme var stort set ansvarlig for den brede spredning af digitale billeder og digitale fotos.

Lempel–.iv–.elch (l..) er en tabsfri komprimeringsalgoritme udviklet i 1984. Den bruges i GIF-formatet, der blev introduceret i 1987., DEFLATE, en tabsfri komprimeringsalgoritme, der er specificeret i 1996, bruges i formatet Portable Net .ork Graphics (PNG).Wavelavelet-komprimering, brugen af wavelavelet i billedkomprimering, begyndte efter udviklingen af DCT-kodning. JPEG 2000-standarden blev introduceret i 2000. I modsætning til DCT-algoritmen, der bruges af det originale JPEG-format, bruger JPEG 2000 i stedet diskrete algorithavelet transform (d .t) algoritmer. JPEG 2000-teknologi, der inkluderer udvidelsen Motion JPEG 2000, blev valgt som videokodningsstandard for digital biograf i 2004.,

AudioEdit

Audio data compression, ikke at forveksle med dynamic range compression, har potentiale til at reducere transmission båndbredde og krav til opbevaring af audio data. Lydkomprimeringsalgoritmer implementeres i Soft .are som lydkodeker. I både lossy og tabsfri komprimering reduceres informationsredundans ved hjælp af metoder som kodning, kvantisering diskret cosinustransformation og lineær forudsigelse for at reducere mængden af information, der bruges til at repræsentere de ukomprimerede data.,

Lossy lydkomprimeringsalgoritmer giver højere komprimering og bruges i adskillige lydapplikationer, herunder Vorbis og mp3. Disse algoritmer er næsten alle afhængige af psykoakustik for at eliminere eller reducere tro på mindre hørbare lyde og derved reducere den plads, der kræves til at gemme eller overføre dem.

den acceptable afvejning mellem tab af lydkvalitet og transmission eller lagringsstørrelse afhænger af applikationen., For eksempel, en 640 MB compact disc (CD), har cirka en time af ukomprimeret high fidelity musik, mindre end 2 timers musik komprimeret losslessly, eller 7 timers musik komprimeret i MP3-format til en fornuftig bitrate. En digital lydoptager kan typisk gemme omkring 200 timers klart forståelig tale i 640 MB.

tabsfri lydkomprimering producerer en repræsentation af digitale data, der kan afkodes til en nøjagtig digital duplikat af originalen. Kompressionsforhold er omkring 50-60% af den oprindelige størrelse, hvilket svarer til dem for generisk tabsfri datakomprimering., Tabsfri codecs bruger kurvetilpasning eller lineær forudsigelse som grundlag for estimering af signalet. Parametre, der beskriver estimeringen og forskellen mellem estimeringen og det faktiske signal, kodes separat.

Der findes et antal tabsfri lydkomprimeringsformater. Se liste over tabsfri codecs for en liste. Nogle formater er forbundet med en særskilt system, som Direkte Stream Overførsel, der anvendes i Super Audio CD-og Meridian Lossless Packing, der anvendes i DVD-Audio, Dolby TrueHD, Blu-ray og HD-DVD.,

nogle lydfilformater har en kombination af et tabsformatformat og en tabsfri korrektion; dette gør det muligt at fjerne korrektionen for nemt at få en tabsfri fil. Sådanne formater omfatter MPEG-4 SLS (skalerbar til tabsfri), Optimavpack og OptimFROG dualstream.

når lydfiler skal behandles, enten ved yderligere komprimering eller til redigering, er det ønskeligt at arbejde fra en uændret original (ukomprimeret eller tabsfri komprimeret)., Behandling af en lossily komprimeret fil til et eller andet formål giver normalt et slutresultat, der er ringere end oprettelsen af den samme komprimerede fil fra en ukomprimeret original. Ud over lydredigering eller blanding bruges tabsfri lydkomprimering ofte til arkivopbevaring eller som masterkopier.

Lossy lyd compressionEdit

Lossy lydkomprimering bruges i en lang række applikationer. Ud over enkeltstående lydapplikationer til filafspilning i MP3-afspillere eller computere bruges digitalt komprimerede lydstrømme i de fleste video-dvd ‘ er, digitalt tv, streamingmedier på internettet, satellit-og kabelradio og i stigende grad i jordbaserede radioudsendelser., Lossy komprimering typisk opnår langt større komprimering end tabsfri komprimering, ved at kassere mindre kritiske data baseret på psykoakustiske optimeringer.psykoakustik anerkender, at ikke alle data i en lydstrøm kan opfattes af det menneskelige auditive system. Mest tabende komprimering reducerer redundans ved først at identificere perceptuelt irrelevante lyde, det vil sige lyde, der er meget svære at høre. Typiske eksempler inkluderer høje frekvenser eller lyde, der forekommer på samme tid som højere lyde. Disse irrelevante lyde er kodet med nedsat nøjagtighed eller slet ikke.,

På grund af arten af lossy algoritmer lider lydkvaliteten et digitalt generationstab, når en fil dekomprimeres og genkomprimeres. Dette gør lossy komprimering uegnet til lagring af de mellemliggende resultater i professionelle audio engineering applikationer, såsom lydredigering og multitrack optagelse. Men lossy formater som MP3 er meget populære hos slutbrugere som filstørrelsen er reduceret til 5-20% af den oprindelige størrelse og en megabyte kan gemme omkring et minuts værdi af musik på passende kvalitet.,

Kodning methodsEdit

for At bestemme, hvilke oplysninger i en audio signal er perceptually irrelevant, mest tabsgivende komprimering algoritmer brug forvandler såsom den ændrede discrete cosine transform (MDCT) til at konvertere tid domæne stikprøven bølgeformer i en transformering domæne, typisk frekvens-domænet. Når de er transformeret, kan komponentfrekvenser prioriteres i henhold til, hvor hørbare De er., Hørbarhed af spektrale komponenter vurderes ved hjælp af den absolutte tærskel for hørelse og principperne for samtidig maskering—fænomenet, hvor et signal maskeres af et andet signal adskilt af frekvens—og i nogle tilfælde tidsmæssig maskering—hvor et signal maskeres af et andet signal adskilt af tid. Lige-loudness konturer kan også bruges til at vægte den perceptuelle Betydning af komponenter. Modeller af den menneskelige øre-hjerne-kombination, der indeholder sådanne effekter, kaldes ofte psykoakustiske modeller.,

andre typer lossy kompressorer, såsom linear predictive coding (LPC), der bruges med tale, er kildebaserede kodere. LPC bruger en model af den menneskelige vokale kanal til at analysere talelyde og udlede de parametre, som modellen bruger til at producere dem øjeblik til øjeblik. Disse skiftende parametre overføres eller gemmes og bruges til at drive en anden model i dekoderen, der gengiver lyden.

Lossy-formater bruges ofte til distribution af streaming af lyd eller interaktiv kommunikation (f.eks., I sådanne applikationer skal dataene dekomprimeres som datastrømmene, snarere end efter at hele datastrømmen er blevet transmitteret. Ikke alle lydkodeker kan bruges til streaming af applikationer.

Latency introduceres ved hjælp af de metoder, der bruges til at kode og afkode dataene. Nogle codecs vil analysere et længere segment, kaldet en ramme, af dataene for at optimere effektiviteten og derefter kode dem på en måde, der kræver et større segment af data på .n gang for at afkode., Den iboende latenstid af kodningsalgoritmen kan være kritisk; for eksempel, når der er en tovejs transmission af data, såsom med en telefonsamtale, kan betydelige forsinkelser alvorligt forringe den opfattede kvalitet.

i modsætning til komprimeringshastigheden, som er proportional med antallet af operationer, der kræves af algoritmen, henviser latenstid her til antallet af prøver, der skal analyseres, før en lydblok behandles. I det mindste tilfælde er latenstid nulprøver (f.eks. hvis koderen/dekoderen blot reducerer antallet af bits, der bruges til at kvantisere signalet)., Tidsdomænealgoritmer som LPC har også ofte lave latenser, og dermed deres popularitet i talekodning for telefoni. I algoritmer som MP3 skal der imidlertid analyseres et stort antal prøver for at implementere en psykoakustisk model i frekvensdomænet, og latenstid er i størrelsesordenen 23 ms (46 ms til tovejskommunikation).

Talekodningredit

Talekodning er en vigtig kategori af lyddatakomprimering. De perceptuelle modeller, der bruges til at estimere, hvad et menneskeligt øre kan høre, er generelt noget anderledes end dem, der bruges til musik., Frekvensområdet, der er nødvendigt for at formidle lyden af en menneskelig stemme, er normalt langt snævrere end det, der er nødvendigt for musik, og lyden er normalt mindre kompleks. Som et resultat kan tale kodes i høj kvalitet ved hjælp af en relativt lav bithastighed.

Hvis de data, der skal komprimeres, er analoge (såsom en spænding, der varierer med tiden), anvendes kvantisering til at digitalisere dem i tal (normalt heltal). Dette kaldes analog-til-digital (A/D) konvertering., Hvis heltalene genereret ved kvantisering er 8 bit hver, er hele rækken af det analoge signal opdelt i 256 intervaller, og alle signalværdierne inden for et interval kvantiseres til det samme antal. Hvis der genereres 16-bit heltal, er rækkevidden af det analoge signal opdelt i 65.536 intervaller.

denne relation illustrerer kompromiset mellem høj opløsning (et stort antal analoge intervaller) og høj kompression (små heltal genereret). Denne anvendelse af kvantisering anvendes af flere talekomprimeringsmetoder., Dette opnås generelt ved en kombination af to tilgange:

• kun kodende lyde, der kunne laves af en enkelt menneskelig stemme.
• at smide flere af dataene i signalet-holde lige nok til at rekonstruere en” forståelig ” stemme i stedet for hele frekvensområdet for menneskelig hørelse.

måske var de tidligste algoritmer, der blev brugt til talekodning (og lyddatakomprimering generelt) A-lovalgoritmen og μ-lovalgoritmen.,

HistoryEdit

Perceptuel kodning først blev brugt til tale-kodning, komprimering, med lineær intelligent kodning (LPC). De første begreber for LPC går tilbage til arbejdet i Fumitada Itakura (Nagoya Universitet) og Shu .o Saito (Nippon Telegraph og telefon) i 1966. I 1970 ‘ erne blev Bishnu S. Atal og Manfred R., Schroeder på Bell Labs udviklet en form for LPC kaldet adaptiv intelligent kodning (APC), en perceptuel kodning algoritme, der udnyttes maskering egenskaber af det menneskelige øre, der blev fulgt på i begyndelsen af 1980’erne med kode-spændt linear prediction (CELP) algoritme, som har opnået en betydelig kompressionsforhold for sin tid. Perceptuel kodning bruges af moderne lydkomprimeringsformater som MP3 og AAC.

verdens første kommercielle broadcast automation lydkomprimeringssystem blev udviklet af Oscar Bonello, en ingeniørprofessor ved University of Buenos Aires., I 1983 begyndte han ved hjælp af det psykoakustiske princip om maskering af kritiske bånd, der først blev offentliggjort i 1967, at udvikle en praktisk anvendelse baseret på den nyligt udviklede IBM PC-computer, og broadcast automation-systemet blev lanceret i 1987 under navnet Audicom. Tyve år senere brugte næsten alle radiostationer i verden lignende teknologi fremstillet af en række virksomheder.

et litteraturkompendium for en lang række lydkodningssystemer blev offentliggjort i IEEE ‘ s Journal on Selected Areas in Communications (JSAC) i februar 1988., Mens der var nogle papirer fra før den tid, dokumenterede denne samling en hel række færdige, fungerende lydkodere, næsten alle ved hjælp af perceptuelle (dvs.maskering) teknikker og en slags frekvensanalyse og back-end lydløs kodning. Flere af disse papirer bemærkede vanskeligheden ved at opnå god, ren digital lyd til forskningsformål. De fleste, hvis ikke alle, af forfatterne i JSAC-udgaven var også aktive i MPEG-1-Lydudvalget, der oprettede MP3-formatet.,

VideoEdit

videokomprimering er en praktisk implementering af kildekodning i informationsteori. I praksis bruges de fleste videokodeker sammen med lydkomprimeringsteknikker til at gemme de separate, men komplementære datastrømme som en kombineret pakke ved hjælp af såkaldte containerformater.

ukomprimeret video kræver en meget høj datahastighed. Selvom tabsfri videokomprimeringskodeker udfører ved en komprimeringsfaktor på 5 til 12, har en typisk H. 264 lossy komprimeringsvideo en komprimeringsfaktor mellem 20 og 200.,

de to vigtigste videokomprimeringsteknikker, der bruges i videokodningsstandarder, er den diskrete cosinustransformation (DCT) og bevægelseskompensation (MC). De fleste videokodningsstandarder, såsom H. 26.-og MPEG-formaterne, bruger typisk bevægelseskompenseret DCT-videokodning (blokbevægelseskompensation).

Kodningsteoryedit

videodata kan være repræsenteret som en række stillbilledrammer. Sådanne data indeholder normalt rigelige mængder rumlig og tidsmæssig redundans. Videokomprimeringsalgoritmer forsøger at reducere redundans og gemme information mere kompakt.,

de fleste videokomprimeringsformater og codecs udnytter både rumlig og tidsmæssig redundans (f.eks. gennem differencekodning med bevægelseskompensation). Ligheder kan kodes ved kun at gemme forskelle mellem fx tidsmæssigt tilstødende frames (inter-frame kodning) eller rumligt tilstødende pixel (intra-frame kodning).Inter-frame kompression (en tidsmæssig delta-kodning) er en af de mest kraftfulde kompressionsteknikker. Det (gen)bruger data fra en eller flere tidligere eller senere rammer i en sekvens til at beskrive den aktuelle ramme., Intra-frame kodning, på den anden side, bruger kun data fra den aktuelle ramme, effektivt at være stillbillede kompression.

en klasse af specialiserede formater, der bruges i videokameraer og videoredigering, bruger mindre komplekse komprimeringsordninger, der begrænser deres forudsigelsesteknikker til intra-frame forudsigelse.normalt anvender videokomprimering desuden lossy kompressionsteknikker som kvantisering, der reducerer aspekter af kildedataene, der (mere eller mindre) er irrelevante for den menneskelige visuelle opfattelse ved at udnytte perceptuelle træk ved menneskets vision., For eksempel er små forskelle i farve vanskeligere at opfatte end ændringer i lysstyrke. Komprimeringsalgoritmer kan Gennemsnitlig en farve på tværs af disse lignende områder for at reducere plads på en måde, der ligner dem, der bruges i JPEG-billedkomprimering. Som i alle lossy komprimering, der er en afvejning mellem videokvalitet og bithastighed, udgifter til behandling af komprimering og dekompression, og systemkrav. Meget komprimeret video kan præsentere synlige eller distraherende artefakter.,

Andre metoder end den fremherskende DCT-baseret omdanne formater, såsom fraktal kompression, matching pursuit og anvendelse af en diskret wavelet transformation (DWT), har været genstand for en del forskning, men er typisk ikke anvendes i det praktiske produkter (undtagen til anvendelse af wavelet-kodning, som stillbillede-kodere uden motion compensation). Interessen for fraktal kompression synes at være aftagende, på grund af den seneste teoretiske analyse viser en sammenlignende mangel på effektiviteten af sådanne metoder.,

inter-frame codingEdit

inter-frame kodning virker ved at sammenligne hver ramme i videoen med den forrige. Individuelle rammer af en videosekvens sammenlignes fra en ramme til den næste, og videokomprimeringskodek sender kun forskellene til referencerammen. Hvis rammen indeholder områder, hvor intet er flyttet, kan systemet simpelthen udstede en kort kommando, der kopierer den del af den forrige ramme til den næste., Hvis dele af rammen bevæger sig på en enkel måde, kan kompressoren udsende en (lidt længere) kommando, der fortæller dekompressoren at skifte, rotere, lette eller mørke kopien. Denne længere kommando forbliver stadig meget kortere end intraframe-komprimering. Normalt sender koderen også et restsignal, der beskriver de resterende mere subtile forskelle til referencebilledet. Ved hjælp af entropi-kodning har disse restsignaler en mere kompakt repræsentation end det fulde signal., I områder med video med mere bevægelse skal komprimeringen kode for flere data for at holde trit med det større antal pi .els, der ændrer sig. Almindeligt under eksplosioner, flammer, flokke af dyr, og i nogle panorering skud, den højfrekvente detaljer fører til kvalitet falder eller til stigninger i den variable bitrate.,

Hybrid blok-baseret omdanne formatsEdit

i Dag, er næsten alle almindeligt anvendte video-komprimering metoder (fx, de standarder, der er godkendt af ITU-T-eller ISO -) deler den samme grundlæggende arkitektur, der går tilbage til H. 261, der blev standardiseret i 1988 af ITU-T., De er for det meste afhængige af DCT, anvendt på rektangulære blokke af tilstødende pi .els, og tidsmæssig Forudsigelse ved hjælp af bevægelsesvektorer, såvel som i dag også et in-loop-filtreringstrin.

i forudsigelsesfasen anvendes forskellige deduplikations-og forskelkodningsteknikker, der hjælper med at dekorere data og beskrive nye data baseret på allerede transmitterede data.

derefter omdannes Rektangulære Blokke af (rest) pi .eldata til frekvensdomænet for at lette målretning af irrelevant information i kvantisering og for en vis rumlig redundans reduktion., Den diskrete cosinustransformation (DCT), der er meget udbredt i denne henseende, blev introduceret af N. Ahmed, T. Natarajan og K. R. Rao i 1974.

i den vigtigste tabsgivende behandlingstrin bliver data kvantiseret for at reducere information, der er irrelevant for menneskets visuelle opfattelse.

i den sidste fase bliver statistisk redundans stort set elimineret af en entropikoder, der ofte anvender en form for aritmetisk kodning.

i et yderligere in-loop-filtreringstrin kan forskellige filtre påføres det rekonstruerede billedsignal., Ved at beregne disse filtre også inde i kodningssløjfen kan de hjælpe komprimering, fordi de kan anvendes til referencemateriale, før det bliver brugt i forudsigelsesprocessen, og de kan styres ved hjælp af det originale signal. Det mest populære eksempel er deblocking-filtre, der slører blokerende genstande fra kvantiseringsafbrydelser ved transformationsblokgrænser.

Historiedit

i 1967, A. H. Robinson og C., Cherry foreslog et løbelængde kodende båndbreddekomprimeringsskema til transmission af analoge tv-signaler. Discrete cosinus transform( DCT), som er grundlæggende for moderne videokomprimering, blev introduceret af Nasir Ahmed, T. Natarajan og K. R. Rao i 1974.

H. 261, som debuterede i 1988, introducerede kommercielt den fremherskende grundlæggende arkitektur for videokomprimeringsteknologi. Det var det første videokodningsformat baseret på dct-komprimering, som efterfølgende ville blive standarden for alle de store videokodningsformater, der fulgte. H.,261 blev udviklet af en række virksomheder, herunder Hitachi, PictureTel, NTT, BT og Toshiba.

de mest populære videokodningsstandarder, der bruges til codecs, har været MPEG-standarderne. MPEG-1 blev udviklet af Motion Picture e .perts Group (mpeg) i 1991, og det var designet til at komprimere VHS-kvalitet video. Det var lykkedes i 1994 af MPEG-2/H. 262, som blev udviklet af en række virksomheder, primært Sony, Thomson og Mitsubishi Electric. MPEG-2 blev standard videoformat til DVD og SD digitalt tv. I 1999 blev det efterfulgt af MPEG-4 / H.,263, hvilket var et stort spring fremad for videokomprimeringsteknologi. Det blev udviklet af en række virksomheder, primært Mitsubishi Electric, Hitachi og Panasonic.

det mest anvendte videokodningsformat er H. 264 / MPEG-4 AVC. Det blev udviklet i 2003 af en række organisationer, primært Panasonic, Godo Kaisha IP Bridge og LG Electronics. AVC introducerede kommercielt de moderne kontekstadaptive binære aritmetiske kodning (CABAC) og kontekstadaptive algoritmer til variabel længde (CAVLC)., AVC er den vigtigste video-kodning standard for Blu-ray-Diske, og er meget brugt af streaming internet-tjenester, såsom YouTube, Netflix, Vimeo, og iTunes Store, web software, såsom Adobe Flash Player og Microsoft Silverlight, og forskellige HDTV udsendelser over terrestrisk og satellit-tv.,

GeneticsEdit

Genetik komprimering algoritmer er den nyeste generation af tabsfri algoritmer, der komprimerer data (typisk sekvenser af nukleotider) ved hjælp af både konventionelle komprimering algoritmer genetiske algoritmer er tilpasset de særlige datatype. I 2012 offentliggjorde et team af forskere fra Johns Hopkins University en genetisk komprimeringsalgoritme, der ikke bruger et referencegenom til komprimering., Hap .ipper blev skræddersyet til HapMap-data og opnår over 20 gange komprimering (95% reduktion i Filstørrelse), hvilket giver 2 til 4 gange bedre komprimering og på meget hurtigere tid end de førende generelle kompressionsværktøjer. Til dette introducerede Chanda, Elhaik og Bader MAF – baseret kodning (MAFE), hvilket reducerer datasætets heterogenitet ved at sortere SNP ‘ er ved deres mindre allelfrekvens og således homogenisere datasættet. Andre algoritmer i 2009 og 2013 (DNAZip og GenomeZip) har kompressionsforhold på op til 1200-fold—mulighed 6 milliarder basepair diploide menneskelige genomer til at blive lagret i 2.,5 megabyte (i forhold til et referencegenom eller i gennemsnit over mange genomer). For en benchmark i genetik/genomics data kompressorer, se