a középszerű termékek és a nagyszerű termékek közötti különbség a naplózás. Ismerje meg, miért van így, és hogyan kösse össze az egészet.
csakúgy, mint a biztonság, a naplózás egy másik kulcsfontosságú eleme a webes alkalmazásoknak (vagy általában az alkalmazásoknak), amelyek a régi szokások és az előre nem látás miatt kikerülnek. Mi sok látni, mint haszontalan novellákat, digitális felvételt hatékony eszközök, belenézni az alkalmazások, kijavítani a hibákat, javítja a gyenge területek, valamint örömet vendégekkel.,
mielőtt áttérnénk a központosított naplózásra, először nézzük meg, miért olyan nagy a fakitermelés.
A naplózás két típusa (szintje)
a számítógépek determinisztikus rendszerek, kivéve, ha nem.
mint profi fejlesztő, sok olyan esetet találkoztam, amikor az alkalmazás megfigyelt viselkedése napokig zavarta mindenkit, de a kulcs mindig a naplókban volt. Minden szoftver, amelyet futtatunk, naplókat állít elő (vagy legalábbis létre kell hoznia), amelyek elmondják nekünk, hogy mi történt a problémás helyzet bekövetkezésekor.,
most, a naplózás, ahogy látom, kétféle: automatikusan generált naplók és programozó által generált naplók. Kérjük, vegye figyelembe, hogy ez nem egy tankönyv differenciálás, és idézve nekem ezt a terminológiát földet akkor bajban. 😉
a fenti kép azt mutatja, hogy mit lehet automatikus generált naplónak nevezni.
ebben az esetben ez egy WordPress rendszer, amely váratlan állapotot (értesítést) naplóz, amikor PHP kódot futtat., Az ilyen naplókat folyamatosan generálják — olyan adatbázis-eszközök, mint a MySQL, webszerverek, mint az Apache, programozási nyelvek és környezetek, mobil eszközök, sőt operációs rendszerek.
ezek ritkán tartalmaznak nagy értéket, a programozók pedig nem is foglalkoznak velük, kivéve, ha valami rosszul megy. Ilyen pillanatokban mélyen belemerülnek a rönkökbe, megpróbálva megérteni, mi történt rosszul.
de az automatikusan generált naplók csak annyira segíthetnek., Ha például több embernek van adminisztrátori hozzáférése egy webhelyhez, és ezek közül az egyik törli az alapvető információkat, akkor lehetetlen észlelni a tettest automatikus generált naplók használatával. A pályázatként összekapcsolt rendszerek szempontjából ez csak egy újabb nap volt a munkában — valakinek megvolt a szükséges felhatalmazása a feladat végrehajtásához, így a rendszer végrehajtotta.
itt egy további explicit, kiterjedt naplózási rétegre van szükség, amely pályákat hoz létre a dolgok emberi oldalához., Ezeket nevezem programozó által generált naplóknak, és ezek alkotják az olyan érzékeny iparágak gerincét, mint a banki tevékenység. Íme egy példa arra, hogy néz ki egy ilyen naplózási séma:
naplózás teljesítmény
Tehát, mivel ez a két típusú naplók a rendszerben, itt van, hogyan lehet kihasználni őket, és rámpa fel a hatást.
az ügyfél előtt maradva
az”ügyfél öröme” haszontalan marketing trükk, de a naplózásnak köszönhetően nagyon valós lehet., Tudok olyan digitális termékekről, amelyek sólyomként figyelik a naplójukat, és amint egy ügyfél eltörik valamit az oldalon, felhívhatják az ügyfelet, és felajánlhatják a segítséget.
csak gondolj bele-másodperceken belül, hogy egy csúnya hiba, kapsz egy hívást a cég, amely azt mondja: “Hé, megértem, hogy megpróbálta felvenni ezt az elemet a kosárba, de ez folyamatosan haldoklik. Nem baj, ha hozzáteszem ezt az időt, és teljesítem a rendelést?”
elégedett ügyfél? Azt meghiszem!,
a csapat morálja és termelékenysége
ahogy már korábban is mondtam, amikor a hibák hosszú ideig nem kerülnek nyomon, a csapat fejlesztői frusztráltak lesznek, és egyre több időt veszítenek a farkuk üldözésével. Itt van a hibakeresés – a kezdetektől friss, kíváncsi elmét igényel. Ha egy WTF gondolta annyira, mint belép az agyad, az egész folyamat megy egy dobás.
és mi nehezíti a hibakeresést? Tapasztalatom szerint, a fakitermelés hiánya, vagy a fakitermelés ismeretének hiánya., Kezdetnek, lehet, hogy nem veszik észre, hogy a kedvenc adatbázis is csak egy darab szoftver generál naplók, vagy nem naplózása széles körben az alkalmazás (lásd programozó által generált naplók felett).
különösen emlékszem egy olyan esetre, amikor az alkalmazás nem reagált, senki sem tudta, miért. Néhány nappal később a tettes a túlzott forgalom miatt elért I/O korlát volt. Mert senki sem zavarta, hogy ott nézzen, senki sem tudta kitalálni, miért.,
Audit trails
mi van, ha két évvel később az ügyfél azt mondja, hogy ezeket a megrendeléseket nem ők, hanem néhány hacker helyezte el?
milyen érvnek kell szórakoztatnia vagy elutasítania kérését? Ha kiterjedt naplózással rendelkezik (IP-cím, dátum és idő, hitelkártya stb.), akkor képes lesz arra, hogy elemezze mindezt és döntést hozzon. Jó vagy rossz, legalább objektív alapja lesz, nem pedig a sötétben való lövéshez hasonlít.
ugyanez igaz akkor is, ha valamilyen szabályozási lencse alá kerül, vagy egy új, fontos projekt részeként harmadik fél általi ellenőrzést kell végezni. Ha nem rendelkezik robusztus naplózási rendszerrel, rossz fényben jelenik meg.
meglévő rendszerek javítása
hogyan lehet javítani az aktuális rendszert?
csak több RAM-ot és CPU-szálat kellene rá dobnia? Mi van, ha az alkalmazás lassú, annak ellenére, hogy elegendő erőforrás? Hol van a szűk keresztmetszet? Gyakrabban, mint nem, a naplózás a válasz.,
például minden nagyobb adatbázis-rendszer rendelkezik a lassú lekérdezések naplózására szolgáló funkcióval.
Ha ellátogat a slow query log rendszeresen, kapsz, hogy tudjuk, melyik műveletek, a legtöbb időt, ezért feltárni kicsi, de fontos területek, ahol dolgozni kell. Gyakran előfordul, hogy egy ilyen kis változás jobban működik, mint a hardverkapacitás megduplázása.
nem számít, hogy egy jó naplózási rendszer hány módon segít., Talán a legjobb érv az, hogy ez egy automatizált tevékenység, amely egyszer létrehozott, nem kell semmilyen monitoring, és megment a ROM egy nap.
ezzel az útból, nézzük meg néhány csodálatos nyílt forráskódú Naplógyűjtőt (egységes naplóeszközök) odakint. Csak arra az esetre, ha kíváncsi lenne, egy korábbi bejegyzésben lefedtük a felhőalapú naplózási eszközöket.
Graylog
a Graylog az iparág egyik vezető neve, amikor ipari szintű naplózási és vizualizációs képességekről van szó., Az is egyedülálló, hogy beolvassa az összegyűjtött naplókat a biztonsági rések jeleire, és azonnal értesíti Önt.
míg a Graylog egy központosított naplózási rendszer, rendelkezik a szükséges rugalmassággal, lehetővé téve a riasztások, irányítópultok stb.
a Greylog nyílt forráskódú, de van egy vállalati terv, ha az Ön igényei összetettek.
az olyan ügyfelekkel, mint az SAP, a Cisco és a LinkedIn, a Graylog egy olyan eszköz, amelyben bízhat csukott szemmel.,
Logstash
Ha Ön a rugalmas köteg rajongója vagy felhasználója, a Logstash érdemes megnézni (a jávorszarvas verem már egy dolog, abban az esetben, ha nem tudta). Mint más naplózási eszközök ezen a listán, Logstash ha teljesen nyílt forráskódú, amely lehetővé teszi a szabadságot, hogy telepíteni, majd használja, ahogy szeretné.
de ne tévesszen meg: a Logstash olyan anyahajó, amelynek képességei messze meghaladják a szerény naplózási eszközöket. Képes hatalmas mennyiségű adatot gyűjteni több platformról, lehetővé teszi a saját adatvezetékek meghatározását és végrehajtását, a strukturálatlan naplóbejegyzések értelmezését stb.,
természetesen az egyetlen korlátozás az, hogy csak a rugalmas termékcsomaggal működik,de ha hamarosan elkezdi méretezni, akkor a Logstash az út!
Fluentd
a központi naplózási eszközök között, amelyek az adatbevitel középső rétegeként működnek, a Flutend az első az egyenlők között. Egy kiváló könyvtár plugins, Fluentd képes rögzíteni az adatokat gyakorlatilag bármilyen termelési rendszer, gyúrjuk be a kívánt struktúrát, építeni egy egyedi csővezeték, és táplálja a kedvenc analitikai platform, legyen az MongoDB vagy Elasticsearch.,
A Fluentd Ruby-ra épül, teljesen nyílt forráskódú, rugalmassága és modularitása miatt széles körben népszerű.
a nagy cégek, mint a Microsoft, Atlassian, Twilio a platform, Fluentd nincs semmi bizonyítani. 🙂
Flume
ha valóban nagyon nagy adathalmazok jelentik a kihívást, és végül mindent olyanba akarsz táplálni, mint a Hadoop,a Flume az egyik legjobb választás. Ez egy “tiszta” nyílt forráskódú projekt, abban az értelemben, hogy szeretett Apache Alapítványunk tartja fenn, ami azt jelenti, hogy nincs vállalati terv.,
Ez lehet, hogy nem az, amit pontosan keres. 🙂
Java nyelven íródott (ami továbbra is megdöbbent, amikor úttörő technológiáról van szó), Flume forráskódja teljesen nyitott. Flume a legjobb az Ön számára, ha keres egy elosztott, hibatűrő adat lenyelés platform nagy teherbírású cucc.,
Octopussy
tízből nullát adok a termék elnevezéséhez, de az Octopussy jó választás lehet, ha az Ön igényei egyszerűek, és kíváncsi, hogy mi a csővezetékekkel, lenyeléssel, aggregációval stb.kapcsolatos felhajtás., szól.
véleményem szerint az Octopussy lefedi a legtöbb termék igényeit (a becsült statisztikák haszontalanok, de ha kitalálnom kellene, azt mondanám, hogy a valós világban a használati esetek 80% – át kezeli).
Octopussy-nak egyáltalán nincs nagy felhasználói felülete (lásd itt), de pótolja a sebességet és a puffadás hiányát., A forrás elérhető a Githubon, ahogy az várható volt, és szerintem érdemes egy komoly pillantást vetni rá.
Rsyslog
Rsyslog jelentése egy rakéta-gyors rendszer log feldolgozás.
Ez egy segédprogram Unix-szerű operációs rendszerekhez. Technikai értelemben ez egy üzenet router dinamikusan betölthető bemenetekkel és kimenetekkel, és jól konfigurálható.
több adatforrásból is bevihető, átalakítható, és a kimenetet több célállomásra is elküldheti. Az Rsyslog segítségével másodpercenként 1 millió üzenetet küldhet a helyi rendeltetési helyekre.,
az Rsyslog olyan Windows ügynököt is biztosít, amely nagyon szorosan együttműködik az Rsyslog Linux ügynökkel. A két környezet közötti integrációra használják. Ez a Windows ügynök a Windows eseménynaplóinak továbbítására, valamint a fájlmonitor szolgáltatás beállítására szolgál.
Az alábbiakban további funkciók által kínált Rsyslog:
- rugalmas konfigurációk
- biztosít multi-threading képességek
- naplófájl manipuláció védelem segítségével log aláírások és titkosítás.,
- támogatja a nagy adatplatformokat
- tartalom alapú szűrési képességeket biztosít
LOGalyze
a LOGalyze egy kereskedelmi termék volt, amelyet a közelmúltban nyílt forráskódúvá tettek. Bár nem tudtam a projekt GitHub, ők teszik a Windows telepítő és az összes forráskód letölthető.
Ha szándékában áll egy közösség, a Levelezőlista részleteit itt találja.
A LOGalyze egy viszonylag rugalmas és erőteljes ajánlat, amely szépen működik az egy rendszerű telepítéseknél, amelyek olyan ismert forrásokból, mint a Postfix, az Apache stb., a kimenetet CSV, PDF, HTML vagy hasonló formátumban állíthatja elő. Igen, nem csinál mindent, de mivel egyszerre kereskedelmi termék volt, elég jól működik.
LogPacker
amikor kiválasztunk egy eszközt a feladathoz, két kritériumom van: fókuszálni kell, és egy aktív üzleti modellnek kell támogatnia. A nyílt forráskódú szoftverekkel általában az a probléma, hogy néhány hónap/év az úton, a stagnálás vagy a halál esélye magas. Nem tudni, hogy hány fakitermelő eszközt indítottak el gustóval, csak most a GitHub temetőben lehet megtalálni.,
ezzel a mércével mérve a LogPacker a kedvencem számomra.
amint azt a képernyőképről meg lehet mondani, a LogPacker a naplókról szól, semmi másról. A push határozottan felé a felhő kínálatát, de több mint szívesen letölthető, majd telepítse a szerverek (GitHub oldal itt).
klaszterezés és összesítés azok számára elérhető, akik nem triviális skálán akarják használni, és olyan vállalati tervek állnak rendelkezésre, akik az API-val szeretnének dolgozni, vagy nagyobb telepítésekre van szükségük., Egy üdítően minimalista (koncentrált, bár nem jellemző-szegény) veszi naplózás menedzsment, véleményem szerint!
Logwatch
biztos vagyok benne, hogy vannak olyanok közöttünk, akik nem akarják az “egységes”, “központosított” naplózási rendszerhez társított szertartást. Az üzleti származik egyetlen szerverek, és keresnek valami gyors és hatékony figyeli a naplófájlokat. Köszönj a Logwatchnak.
a telepítés után a LogWatch beolvashatja a rendszernaplókat, és létrehozhat egy jelentést a kívánt típusról., Ez egy kissé keltezett szoftver (olvassa el a “megbízható”), bár, volt írva Perl. Tehát szüksége lesz a Perl 5.6+ – ra a kiszolgálón, hogy futtassa. Nem kell semmilyen screenshotok megosztani, mivel ez egy tisztán parancssori, démonizált folyamat.
Ha egy CLI drogos, és van egy szerelem a régi iskola módon a dolgokat, imádni fogod Logwatch!
Syslog-ng
a Syslog-ng eszközt a Syslog (a rendszer naplózásához létrehozott kliens-szerver protokoll) adatfájlok valós idejű feldolgozására fejlesztették ki., Idővel, bár, eljött, hogy támogassa más adatformátumok: strukturálatlan, SQL, NoSQL. Hogy a Syslog protokoll működik nagyjából össze szépen a következő ábrán.
a syslog-ng egy gyártásminőségű, megbízható naplógyűjtő és osztályozó eszköz, amelyet C-ben írtak, és már régóta ismert név az iparban. A legjobb rész a bővíthetőség, amely lehetővé teszi pluginek írását C, Python, Java, Lua vagy Perl nyelven.
lnav
rövidítése (Log Navigator), lnav egy tiszta terminál eszköz, amely működik egyetlen gépen, egyetlen könyvtárban., Ez azok számára, akik a naplózás egységes egyetlen könyvtárba, vagy szeretné szűrni, majd megjeleníteni a valós idejű naplók egyetlen forrásból.
Ha azt gondolnád, hogy az lnav nem más, mint dicsőített tailf |grep tévednél. Számos olyan funkció van, amely beleszeret: idősoros nézet, szép nyomtatás (JSON és más formátumok esetén), színkódolt naplóforrások, hatékony szűrők, Több naplózási protokoll megértésének képessége stb.,
Ez csak, hogy néha szeretne egy nulla-szóváltás, nulla beállítás, talán-ideiglenes naplózási réteg, lnav illik a számlát tökéletesen!
következtetés
és ott van!
nehéz volt összeállítani, hogy őszinte legyek, mivel a naplózás nem olyan népszerű, mint mondjuk a tartalomkezelés, és úgy tűnik, hogy az összes mindshare-t három vagy négy eszköz megragadta. Mégis, mindenkinek más a szükséglete, és megpróbáltam széles körben fedezni őket.
a buta parancssori, nem-telepítő eszközök teljes értékű adatok juggernauts, ez mind itt! Lemaradtam valamiről? Persze, hogy megtettem!
Vélemény, hozzászólás?