Compresia datelor

Compararea spectrograme de audio în format necomprimat și mai multe formate cu pierderi., Spectrogramele cu pierderi arată limitarea în bandă a frecvențelor mai mari, o tehnică comună asociată cu compresia audio cu pierderi.compresia audio cu pierderi este utilizată într-o gamă largă de aplicații. În plus față de aplicațiile independente numai audio De redare a fișierelor în playere MP3 sau computere, fluxurile audio comprimate digital sunt utilizate în majoritatea DVD-urilor video, televiziunii digitale, streaming media pe internet, radio prin satelit și prin cablu și din ce în ce mai mult în emisiunile radio terestre., Compresia cu pierderi atinge de obicei o compresie mult mai mare decât compresia fără pierderi, prin eliminarea datelor mai puțin critice bazate pe optimizări psihoacustice.Psihoacustica recunoaște că nu toate datele dintr-un flux audio pot fi percepute de sistemul auditiv uman. Cea mai mare compresie cu pierderi reduce redundanța prin identificarea mai întâi a sunetelor irelevante perceptual, adică a sunetelor care sunt foarte greu de auzit. Exemplele tipice includ frecvențe înalte sau sunete care apar în același timp cu sunete mai puternice. Aceste sunete irelevante sunt codate cu precizie scăzută sau deloc.,datorită naturii algoritmilor cu pierderi, calitatea audio suferă o pierdere de generație digitală atunci când un fișier este decomprimat și recomprimat. Acest lucru face ca compresia cu pierderi să nu fie potrivită pentru stocarea rezultatelor intermediare în aplicații profesionale de inginerie audio, cum ar fi editarea sunetului și înregistrarea multitrack. Cu toate acestea, formatele cu pierderi, cum ar fi MP3, sunt foarte populare în rândul utilizatorilor finali, deoarece Dimensiunea fișierului este redusă la 5-20% din dimensiunea originală, iar un megabyte poate stoca aproximativ un minut de muzică la o calitate adecvată.,

Codificare methodsEdit

Pentru a determina ce informații într-un semnal audio este perceptiv irelevant, cei mai mulți algoritmi de compresie lossy utilizarea transformă astfel modificat discrete cosinus transform (MDCT) pentru a converti domeniul timp incluși în eșantion forme de undă într-o transformare de domeniu, de obicei în domeniul frecvență. Odată transformate, frecvențele componentelor pot fi prioritizate în funcție de cât de audibile sunt., Audibilitatea componentelor spectrale este evaluată folosind pragul absolut al auzului și principiile mascării simultane—fenomenul în care un semnal este mascat de un alt semnal separat de frecvență—și, în unele cazuri, mascarea temporală—unde un semnal este mascat de un alt semnal separat de timp. Contururile de intensitate egală pot fi, de asemenea, utilizate pentru a cântări importanța perceptuală a componentelor. Modelele combinației ureche-creier uman care încorporează astfel de efecte sunt adesea numite modele psihoacustice.,alte tipuri de compresoare cu pierderi, cum ar fi linear predictive coding (LPC) utilizat cu vorbire, sunt codificatoare bazate pe sursă. LPC utilizează un model al tractului vocal uman pentru a analiza sunetele de vorbire și pentru a deduce parametrii utilizați de model pentru a le produce din când în când. Acești parametri în schimbare sunt transmise sau stocate și utilizate pentru a conduce un alt model în decodor care reproduce sunetul.

formatele cu pierderi sunt adesea folosite pentru distribuirea de streaming audio sau comunicare interactivă (cum ar fi în rețelele de telefonie mobilă)., În astfel de aplicații, datele trebuie decomprimate pe măsură ce fluxurile de date, mai degrabă decât după ce întregul flux de date a fost transmis. Nu toate codecurile audio pot fi utilizate pentru streaming de aplicații.

latența este introdusă prin metodele utilizate pentru codificarea și decodificarea datelor. Unele codec-uri va analiza un segment mai lung, numit un cadru, a datelor pentru a optimiza eficiența, și apoi cod într-un mod care necesită un segment mai mare de date la un moment dat pentru a decoda., Latența inerentă a algoritmului de codificare poate fi critică; de exemplu, atunci când există o transmisie bidirecțională a datelor, cum ar fi o conversație telefonică, întârzierile semnificative pot degrada grav calitatea percepută.spre deosebire de viteza de compresie, care este proporțională cu numărul de operații cerute de algoritm, aici latența se referă la numărul de eșantioane care trebuie analizate înainte ca un bloc de audio să fie procesat. În cazul minim, latența este zero eșantioane (de exemplu, dacă coderul/decodorul reduce pur și simplu numărul de biți utilizați pentru cuantificarea semnalului)., Algoritmii de domeniu de timp, cum ar fi LPC, de asemenea, au adesea latențe scăzute, de unde și popularitatea lor în codarea vorbirii pentru Telefonie. Cu toate acestea, în algoritmi precum MP3, un număr mare de probe trebuie analizate pentru a implementa un model psihoacustic în domeniul frecvenței, iar latența este de ordinul a 23 ms (46 ms pentru comunicare bidirecțională).

codificarea Vorbeluiedit

codarea vorbirii este o categorie importantă de compresie a datelor audio. Modelele perceptuale folosite pentru a estima ce poate auzi o ureche umană sunt în general oarecum diferite de cele folosite pentru muzică., Gama de frecvențe necesare pentru a transmite sunetele unei voci umane este în mod normal mult mai restrânsă decât cea necesară pentru muzică, iar sunetul este în mod normal mai puțin complex. Drept urmare, vorbirea poate fi codificată la o calitate ridicată folosind o rată de biți relativ scăzută.dacă datele care urmează să fie comprimate sunt analogice (cum ar fi o tensiune care variază în funcție de timp), cuantificarea este utilizată pentru a o digitaliza în numere (în mod normal întregi). Aceasta este denumită conversie analog-digital (A / D)., Dacă numerele întregi generate de cuantificare sunt câte 8 biți fiecare, atunci întreaga gamă a semnalului analogic este împărțită în 256 de intervale și toate valorile semnalului dintr-un interval sunt cuantificate la același număr. Dacă sunt generate numere întregi pe 16 biți, atunci intervalul semnalului analogic este împărțit în 65.536 intervale.această relație ilustrează compromisul dintre rezoluția înaltă (un număr mare de intervale analogice) și compresia ridicată (numere întregi mici generate). Această aplicație de cuantizare este utilizată de mai multe metode de compresie a vorbirii., Acest lucru se realizează, în general, printr-o combinație de două abordări:

• doar codificarea sunetelor care ar putea fi făcute de o singură voce umană.
• aruncând mai multe date în păstrarea semnalului suficient pentru a reconstrui o voce „inteligibilă”, mai degrabă decât întreaga gamă de frecvențe a auzului uman.

poate că primii algoritmi folosiți în codarea vorbirii (și compresia datelor audio în general) au fost algoritmul a-law și algoritmul μ-law.,

HistoryEdit

codarea Perceptuală a fost folosit prima dată pentru discursul de codificare de compresie, cu linear predictive coding (LPC). Conceptele inițiale pentru LPC datează din activitatea Fumitada Itakura (Universitatea Nagoya) și Shuzo Saito (Nippon Telegraph and Telephone) în 1966. În anii 1970, Bishnu S. Atal și Manfred R., Schroeder, la Bell Labs a dezvoltat o formă de LPC numit adaptive codificare predictivă (APC), o percepție algoritm de codificare care au exploatat proprietățile de mascare de urechea umană, urmat la începutul anilor 1980 cu cod-excited linear prediction (CELP) algoritmul care realizează un important raport de compresie pentru timpul său. Codificarea perceptuală este utilizată de formate moderne de compresie audio, cum ar fi MP3 și AAC.

primul sistem de compresie audio de automatizare a emisiunilor comerciale din lume a fost dezvoltat de Oscar Bonello, profesor de inginerie la Universitatea din Buenos Aires., În 1983, folosind psiho principiul de mascare de critică benzi publicat pentru prima dată în 1967, a început în curs de dezvoltare o aplicație practică pe baza a dezvoltat recent calculator IBM PC, și difuzare sistem de automatizare a fost lansat în anul 1987 sub numele Audicom. Douăzeci de ani mai târziu, aproape toate posturile de radio din lume foloseau o tehnologie similară fabricată de o serie de companii.

O literatură compendiu pentru o mare varietate de audio sisteme de codificare a fost publicat în IEEE Jurnalul pe Zonele Selectate în Comunicații (JSAC), în februarie 1988., În timp ce au existat unele lucrări de la înainte de acel moment, această colecție documentat o întreagă varietate de terminat, codere audio de lucru, aproape toate dintre ele folosind perceptuale (de exemplu, mascare) tehnici și un fel de analiză de frecvență și back-end de codificare fără zgomot. Mai multe dintre aceste lucrări au remarcat dificultatea de a obține un sunet digital bun și curat în scopuri de cercetare. Majoritatea, dacă nu toți, autorii din ediția JSAC au fost activi și în Comitetul audio MPEG-1, care a creat formatul MP3.,

VideoEdit

compresia Video este o implementare practică a codării sursă în teoria informațiilor. În practică, majoritatea codec-urilor video sunt utilizate alături de tehnicile de compresie audio pentru a stoca fluxurile de date separate, dar complementare, ca un pachet combinat folosind așa-numitele formate de containere.videoclipul necomprimat necesită o rată de date foarte mare. Deși fără pierderi de compresie video codecuri efectua la un factor de compresie de la 5 la 12 ani, un tipic H. 264 compresie lossy video are un factor de compresie între 20 și 200.,cele două tehnici cheie de compresie video utilizate în standardele de codare video sunt transformarea discretă a cosinusului (DCT) și compensarea mișcării (MC). Majoritatea standardelor de codare video, cum ar fi formatele H. 26X și MPEG, utilizează de obicei codarea video DCT compensată de mișcare (compensarea mișcării block).

teoria Codificăriiedit

datele Video pot fi reprezentate ca o serie de cadre de imagine statică. Aceste date conțin, de obicei, cantități abundente de redundanță spațială și temporală. Algoritmii de compresie Video încearcă să reducă redundanța și să stocheze informații mai compact.,

majoritatea formatelor și codec-urilor de compresie video exploatează redundanța spațială și temporală (de exemplu, prin codarea diferențelor cu compensarea mișcării). Asemănările pot fi codificate numai prin stocarea diferențelor între, de exemplu, cadre adiacente temporal (codare inter-cadru) sau pixeli adiacenți spațial (codare intra-cadru).Compresia Inter-cadru (o codificare Delta temporală) este una dintre cele mai puternice tehnici de compresie. Acesta (re)utilizează date de la unul sau mai multe cadre anterioare sau ulterioare într-o secvență pentru a descrie cadrul curent., Codarea Intra-cadru, pe de altă parte, utilizează numai date din cadrul cadrului curent, fiind efectiv compresia imaginii statice.o clasă de formate specializate utilizate în camere video și editare video utilizează scheme de compresie mai puțin complexe care restricționează tehnicile lor de predicție la predicția intra-cadru.de obicei, compresia video utilizează în plus tehnici de compresie cu pierderi, cum ar fi cuantizarea, care reduc aspectele datelor sursă care sunt (mai mult sau mai puțin) irelevante pentru percepția vizuală umană prin exploatarea caracteristicilor perceptive ale viziunii umane., De exemplu, diferențele mici de culoare sunt mai greu de perceput decât schimbările de luminozitate. Algoritmii de compresie pot Media o culoare în aceste zone similare pentru a reduce spațiul, într-un mod similar cu cele utilizate în compresia imaginii JPEG. Ca și în toate compresia cu pierderi, există un compromis între calitatea video și rata de biți, costul procesării compresiei și decompresiei și cerințele sistemului. Videoclipul extrem de comprimat poate prezenta artefacte vizibile sau care distrag atenția.,

Alte metode decât raspandita DCT pe bază transforma formate, cum ar fi fractal de compresie, de potrivire căutarea și utilizarea unei discrete wavelet transform (DWT), au făcut obiectul unor cercetări, dar de obicei nu sunt utilizate în practică de produse (cu excepția pentru utilizarea wavelet de codificare cât încă-imagine programatori fără compensare a mișcării). Interesul pentru compresia fractală pare să scadă, datorită analizei teoretice recente care arată o lipsă comparativă de eficacitate a unor astfel de metode.,

Inter-frame codingEdit

Inter-frame coding funcționează comparând fiecare cadru din videoclip cu cel precedent. Cadrele individuale ale unei secvențe video sunt comparate de la un cadru la altul, iar codecul de compresie video trimite doar diferențele la Cadrul de referință. Dacă cadrul conține zone în care nu s-a mutat nimic, sistemul poate emite pur și simplu o comandă scurtă care copiază acea parte a cadrului anterior în următoarea., Dacă secțiunile cadrului se mișcă într-o manieră simplă, compresorul poate emite o comandă (puțin mai lungă) care îi spune decompresorului să schimbe, să rotească, să lumineze sau să întunece copia. Această comandă mai lungă rămâne mult mai scurtă decât compresia intraframe. De obicei, codificatorul va transmite, de asemenea, un semnal de reziduuri care descrie diferențele rămase mai subtile la imaginile de referință. Folosind codarea entropiei, aceste semnale reziduale au o reprezentare mai compactă decât semnalul complet., În zonele video cu mai multă mișcare, compresia trebuie să codifice mai multe date pentru a ține pasul cu numărul mai mare de pixeli care se schimbă. În mod obișnuit, în timpul exploziilor, flăcărilor, turmelor de animale și în unele fotografii de panoramare, detaliile de înaltă frecvență conduc la scăderea calității sau la creșterea ratei de biți variabile.,

Hibride pe bază de bloc transforma formatsEdit

Azi, aproape toate utilizate în mod obișnuit de compresie video, metode (de exemplu, cele din standardele aprobate de către ITU-T sau ISO) împărtășesc aceeași bază de arhitectură care datează H. 261, care a fost standardizat în 1988 de către ITU-T., Ei se bazează în mare parte pe DCT, aplicat blocurilor dreptunghiulare ale pixelilor vecini și predicția temporală folosind vectori de mișcare, precum și în zilele noastre, de asemenea, un pas de filtrare în buclă.în etapa de predicție, se aplică diferite tehnici de deduplicare și codare a diferențelor care ajută la decorrelarea datelor și descrierea de date noi bazate pe date deja transmise.

apoi blocuri dreptunghiulare de date pixel (reziduuri) sunt transformate în domeniul de frecvență pentru a facilita direcționarea informațiilor irelevante în cuantizare și pentru o anumită reducere a redundanței spațiale., Transformarea discretă a cosinusului (DCT) care este utilizată pe scară largă în acest sens a fost introdusă de N. Ahmed, T. Natarajan și K. R. Rao în 1974.

în etapa principală de procesare cu pierderi, datele sunt cuantificate pentru a reduce informațiile care sunt irelevante pentru percepția vizuală umană.

în ultima etapă redundanța statistică este în mare parte eliminată de un coder de entropie care aplică adesea o formă de codificare aritmetică.

într-o etapă suplimentară de filtrare în buclă, diferite filtre pot fi aplicate semnalului de imagine reconstruit., Calculând aceste filtre și în interiorul buclei de codare, ele pot ajuta la compresie, deoarece pot fi aplicate materialului de referință înainte de a fi folosit în procesul de predicție și pot fi ghidate folosind semnalul original. Cel mai popular exemplu sunt deblocarea filtrelor care estompează Artefactele de blocare de la discontinuitățile de cuantizare la limitele blocului de transformare.

HistoryEdit

În 1967, A. H. Robinson și C., Cherry a propus o schemă de compresie a lățimii de bandă de codificare a lungimii de rulare pentru transmiterea semnalelor de televiziune analogice. Transformarea discretă a cosinusului (DCT), care este fundamentală pentru compresia video modernă, a fost introdusă de Nasir Ahmed, T. Natarajan și K. R. Rao în 1974.

H. 261, care a debutat în 1988, a introdus comercial arhitectura de bază predominantă a tehnologiei de compresie video. A fost primul format de codare video bazat pe compresie DCT, care va deveni ulterior standard pentru toate formatele majore de codare video care au urmat. H.,261 a fost dezvoltat de o serie de companii, printre care Hitachi, PictureTel, NTT, BT și Toshiba.cele mai populare standarde de codare video utilizate pentru codec-uri au fost standardele MPEG. MPEG-1 a fost dezvoltat de Motion Picture Experts Group (MPEG) în 1991 și a fost proiectat pentru a comprima video de calitate VHS. Acesta a fost urmat în 1994 de către MPEG-2/H. 262, care a fost dezvoltat de o serie de companii, în principal, Sony, Thomson și Mitsubishi Electric. MPEG-2 a devenit formatul video standard pentru televiziunea digitală DVD și SD. În 1999, a fost urmat de MPEG-4 / H.,263, care a fost un salt major înainte pentru tehnologia de compresie video. A fost dezvoltat de o serie de companii, în special Mitsubishi Electric, Hitachi și Panasonic.cel mai utilizat format de codare video este H. 264/MPEG-4 AVC. A fost dezvoltat în 2003 de o serie de organizații, în special Panasonic, Godo Kaisha IP Bridge și LG Electronics. AVC a introdus comercial algoritmii moderni de codificare aritmetică binară adaptivă în context (CABAC) și algoritmi de codificare variabilă în lungime variabilă (CAVLC)., AVC este principalul standard de codare video pentru discurile Blu-ray și este utilizat pe scară largă de serviciile de internet streaming precum YouTube, Netflix, Vimeo și iTunes Store, software web precum Adobe Flash Player și Microsoft Silverlight și diverse emisiuni HDTV prin televiziune terestră și prin satelit.,

GeneticsEdit

Genetica algoritmi de compresie sunt ultima generatie de date algoritmi care comprima datele (de obicei secvențe de nucleotide), folosind atât convenționale algoritmi de compresie și algoritmi genetici adaptat fiecărui tip de date. În 2012, o echipă de oameni de știință de la Universitatea Johns Hopkins a publicat un algoritm de compresie genetică care nu utilizează un genom de referință pentru compresie., HAPZIPPER fost adaptate pentru HapMap de date și realizează peste 20 de ori de compresie (95% reducere în dimensiune), furnizarea de 2 – 4 ori mai bună compresie și în mult mai rapid decat cel de lider de uz general utilități de compresie. Pentru acest lucru, Chanda, Elhaik, și Bader introdus MAF pe bază de codare (MAFE), care reduce eterogenitatea set de date prin sortarea Snp lor minore frecvența alelei, astfel omogenizarea setul de date. Alți algoritmi în 2009 și 2013 (DNAZip și GenomeZip) au rapoarte de compresie de până la 1200 de ori-care să permită 6 miliarde de basepair diploid genomul uman pentru a fi stocate în 2.,5 megaocteți (în raport cu un genom de referință sau în medie pe mai multe genomi). Pentru un punct de referință în domeniul compresoarelor de date genetice/genomice, consultați