ero keskinkertainen tuotteita ja hyviä tuotteita on hakkuut. Opi, miksi se on niin, ja miten sitoa kaikki yhteen.
aivan kuten tietoturva, kirjautuminen on toinen keskeinen osa verkkosovelluksia (tai sovelluksia yleensä), jotka jäävät sivuun vanhojen tapojen ja kyvyttömyyden vuoksi. Mitä monet näkevät yhtä hyödytön reams digitaalinen nauha ovat tehokkaita työkaluja tarkastella sisällä sovelluksia, korjata virheitä, parantaa heikkoja alueita, ja ilahduttaa asiakkaita.,
ennen kuin päästään keskitettyyn hakkuuseen, katsotaan ensin, miksi hakkuut ovat niin iso juttu.
kaksi kirjaustyyppiä (tasot)
tietokoneet ovat deterministisiä järjestelmiä, paitsi silloin kun ne eivät ole.
Koska ammatillinen kehittäjä, olen törmännyt monissa tapauksissa havaittu käyttäytyminen app hämmentynyt kaikki päiväkausia, mutta avain oli aina lokit. Jokainen pala ohjelmisto, me suorita tuottaa (tai ainakin pitäisi saada) lokit, jotka kertovat meille, mitä oli menossa läpi, kun ongelmallinen tilanne tapahtui.,
nyt kirjaus, kuten näen, on kahta tyyppiä: automaattiset lokit ja ohjelmoijan luomat lokit. Huomaa, että tämä ei ole mikään oppikirjan eriyttäminen, ja lainaamalla minua tämän terminologian saa sinut vaikeuksiin. 😉
yllä oleva kuva näyttää, mitä voidaan kutsua automaattiseksi lokiksi.
tässä tapauksessa, se on WordPress-järjestelmän hakkuut odottamaton tila (Ilmoitus), kun käynnissä joitakin PHP-koodi., Lokit kuin näitä syntyy koko ajan väsymättä — by-tietokannan työkaluja, kuten MySQL, web-palvelimia, kuten Apache, ohjelmointikieliä ja ympäristöjä, mobiililaitteita, ja jopa käyttöjärjestelmissä.
näissä on harvoin paljon arvoa, eivätkä ohjelmoijat edes vaivaudu katsomaan niitä, paitsi kun jokin menee pieleen. Tällaisina hetkinä he kaivautuvat syvälle tukkeihin ja yrittävät ymmärtää, mikä meni vikaan.
, mutta automaattiset lokit voivat auttaa vain niin paljon., Jos useat ihmiset ovat admin pääsy sivuston, esimerkiksi, ja yksi niistä sattuu poista olennainen tieto, se on mahdotonta havaita syyllinen käyttämällä automaattisesti luotu lokit. Näkökulmasta järjestelmien sidottu yhteen kuin sovellus, se oli vain toinen päivä työtä — joku oli tarvittavat valtuudet suorittaa tehtävän, ja niin järjestelmä kantoi sen ulos.
mitä tässä tarvitaan, on ylimääräinen kerros eksplisiittisiä, laajoja hakkuita, jotka luovat polkuja ihmisten puolelle asioita., Nämä ovat ohjelmoijan tuottamia lokeja,ja ne muodostavat herkkien toimialojen selkärangan, kuten pankkitoiminnan. Tässä on esimerkki siitä, mitä tällainen kirjaus järjestelmään voisi näyttää:
Hakkuut on valtaa
Joten, kun otetaan huomioon näiden kahden lokit järjestelmän, tässä on, miten voit hyödyntää niitä ja tehostamaan vaikutusta.
Jää ennen asiakas
”Asiakkaiden iloksi” on tullut tunnetuksi hyödytön markkinointi kikka, mutta kiitos hakkuut, se voidaan tehdä hyvin todellinen., Tiedän, digitaalisten tuotteiden, jotka valvovat niiden lokit kuin haukka, ja heti, kun asiakas rikkoo jotain sivulla, he voivat soittaa asiakaspalveluun ja tarjota apua.
ajattele sitä — muutamassa sekunnissa saada ruma virhe, voit soittaa yritys, joka sanoo, ”Hei, ymmärrän, että yritit lisätä tämä tuote ostoskoriin, mutta se piti kuolla. Voinko lisätä tällä kertaa ja tehdä tilauksen puolestasi?”
ilahdutti asiakasta? Takuulla!,
Joukkue moraali ja tuottavuutta,
– Kuten sanoin ennen, kun vikoja mennä seuraamattomalta pitkään, kehittäjät joukkue turhaudu ja menettää enemmän ja enemmän aikaa jahtaa häntäänsä. Ja tässä on asia virheenkorjaus-se vaatii tuoretta, utelias mieli alusta alkaen. Jos WTF ajatteli niin paljon kuin tulee aivoihisi, koko prosessi menee heittoon.
ja mikä tekee vianetsinnästä vaikeaa? Kokemukseni mukaan Puunkorjuun puute tai hakkuutuntemuksen puute., Alkajaisiksi, et voi ymmärtää, että suosikki tietokanta on myös vain yksi pala ohjelmisto, joka luo lokit, tai et ole hakkuut laajasti hakemuksesi (ks ohjelmoija luotu lokit.edellä).
muistan erityisesti tapauksessa, jossa hakemus oli menossa penseä, eikä kukaan tiennyt, miksi. Muutamaa päivää myöhemmin syyllinen oli liiallisen liikenteen vuoksi saavutettu levy I/O-raja. Koska kukaan ei vaivautunut katsomaan sinne, kukaan ei keksinyt miksi.,
kirjausketjut
Mitä jos kaksi vuotta ruodussa teidän asiakaspalvelu sanoo, että kaikki nämä toimeksiannot eivät olleet sijoitettu niitä, mutta joitakin hakkeri?
mikä argumentti heidän pyynnöstään olisi huvittava tai hylättävä? Jos sinulla on laaja kirjautuminen (IP-osoite, päivämäärä ja aika, luottokortti, jne.), sitten voit analysoida kaiken ja tehdä päätöksen. Hyvä tai huono, sillä on ainakin jokin objektiivinen perusta sen sijaan, että se muistuttaisi pimeällä ampumista.
sama pätee, jos tulet joissakin sääntely-objektiivi tai on tehtävä kolmannen osapuolen suorittama tarkastus osana uusi, tärkeä hanke. Ei ole vankka hakkuujärjestelmä näyttää huonossa valossa.
nykyisten järjestelmien parantaminen
miten nykyisen järjestelmän parantaminen etenee?
pitäisikö siihen vain heittää lisää RAM-ja CPU-kierteitä? Entä jos sovellus on hidas riittävistä resursseista huolimatta? Missä pullonkaula on? Useammin kuin ei, puunkorjuu on vastaus.,
esimerkiksi kaikissa suurissa tietokantajärjestelmissä on ominaisuus hitaiden kyselyjen kirjaamiseen.
Jos käyt hidas kyselyn lokin säännöllisesti, saat tietää, mitä toimintaa ja vie eniten aikaa, ja siten paljastaa pieniä, mutta tärkeitä alueita, jotka tarvitsevat työtä. Usein tällainen pieni muutos toimii paremmin kuin laitteiston kapasiteetin kaksinkertaistaminen.
ei lasketa, kuinka monella tavalla hyvä hakkuujärjestelmä auttaa., Ehkä paras argumentti on, että se on automatisoitu toiminta, joka kerran perustettu, se ei tarvitse mitään valvontaa, ja säästää pilata jonain päivänä.
Kanssa, että pois tieltä, katsotaanpa joitakin uskomattomia Avoimen Lähdekoodin Log Keräilijät (unified logging tools) siellä. Varmuuden vuoksi peittelimme kaupallisia pilvipohjaisia hakkuutyökaluja aiemmassa postauksessa.
Graylog
Graylog on yksi johtava nimet teollisuuden, kun se tulee teollisuus-luokan hakkuut ja visualisointi valmiuksia., Se on myös ainutlaatuinen siinä, että se skannaa kerätyt lokit merkkejä tietoturvahaavoittuvuuksia ja ilmoittaa sinulle heti.
vaikka Graylog on keskitetty kirjausjärjestelmä, siinä on tarvittava joustavuus, jonka avulla voit muokata hälytyksiä, kojelautoja ja muuta.
Greylog on avoin lähdekoodi, mutta on olemassa yrityssuunnitelma, jos tarpeesi ovat monimutkaiset.
SAP: n, Ciscon ja LinkedInin kaltaisten asiakkaiden listallaan Graylog on työkalu, johon voi luottaa silmät kiinni.,
Logstash
Jos olet fani tai käyttäjän Elastinen pino, Logstash on syytä tarkistaa (ELK stack on jo asia, jos et tiennyt). Kuten muutkin kirjaustyökalut tässä luettelossa, Logstash jos täysin avoimen lähdekoodin, jolloin voit vapaasti ottaa käyttöön ja käyttää kuten haluat.
– Mutta älkää erehtykö: Logstash on mothership valmiuksia paljon suuremmat tahansa nöyrä puunkorjuu työkalu. Se on mahdollisuus kerätä valtavia määriä tietoja useille alustoille, voit määrittää ja toteuttaa omat tiedot putkistojen, järkeä jäsentymätön kirjaudu, kaatopaikat, ja enemmän.,
tietenkin, ainoa rajoitus on, että se toimii Elastinen suite tuotteita vain, mutta jos olet alkanut ja etsivät mittakaavassa pian, Logstash on tapa mennä!
Fluentd
Joukossa keskitetyt hakkuut työkaluja, jotka toimivat kuin keskimmäinen kerros tietojen nieleminen, Flutend on ensimmäinen vertaistensa joukossa. Erinomainen kirjasto plugins, Fluentd pystyy kaapata tiedot lähes mistä tahansa tuotannon järjestelmä, vaivaa se haluttuun rakenne, rakentaa mukautetun putki, ja ruokkia sitä omaan suosikki analytiikan alustan, se MongoDB tai Elasticsearch.,
Fluentd on rakennettu Rubylle, se on täysin avoin lähdekoodi ja on joustavuutensa ja modulaarisuutensa vuoksi laajalti suosittu.
suurten yritysten, kuten Microsoftin, Atlassian ja twilion kanssa alustalla, Fluentdilla ei ole mitään todistettavaa. 🙂
Flume
Jos todella, todella suuria tietomääriä ovat haaste, ja sinun lopulta halua ruokkia kaiken jotain, kuten Hadoop, Flume on yksi parhaita valintoja noin. Se on ”puhdas” avoimen lähdekoodin projekti, siinä mielessä, että se ylläpitää rakkaan Apache Foundation, joka tarkoittaa, ettei yritys suunnitelma.,
Tämä saattaa olla juuri etsimäsi. 🙂
Kirjoitettu Java (joka edelleen hämmästyttää minua, kun se tulee mullistava tech), Flume on lähdekoodi on täysin avoin. Flume on paras sinulle, jos etsit hajautettu, vikasietoinen tiedot nieleminen alustan raskaita juttuja.,
Octopussy
annan nolla kymmenestä tuotteen nimeäminen, mutta Octopussy voi olla hyvä valinta, jos tarpeet ovat yksinkertaisia, ja olet miettinyt, mitä kaikki tämä kohu liittyvät putkistot, nieleminen, yhdistäminen, jne., on kaikki noin.
– mielestäni Octopussy kattaa tarpeet useimmat tuotteet siellä (arvioitu tilastot ovat hyödyttömiä, mutta jos pitäisi arvata, sanoisin, että se huolehtii 80% käyttää tapauksissa todellisessa maailmassa).
Octopussylla ei ole suurta käyttöliittymää (Katso tästä) lainkaan, mutta se korvaa sen koskien nopeutta ja bloatin puutetta., Lähde löytyy GitHubista odotetusti, ja mielestäni se kannattaa tarkistaa vakavasti.
Rsyslog
Rsyslog tarkoittaa rakettinopeaa järjestelmää lokin käsittelyyn.
se on apuohjelma Unixin kaltaisille käyttöjärjestelmille. Teknisesti, se on viesti, reititin, jossa dynaamisesti ladattavina tulot ja lähdöt, ja se on erittäin muokattava.
se voi ottaa syötteen useista tietolähteistä, muuttaa sen ja lähettää tuotoksen useisiin kohteisiin. Rsyslogin avulla voit toimittaa miljoona viestiä sekunnissa paikallisiin kohteisiin.,
Rsyslog tarjoaa myös Windows-agentin, joka toimii hyvin tiiviisti Rsyslog Linux-agentin kanssa. Sitä käytetään näiden kahden ympäristön integrointiin. Tätä windows-agenttia käytetään Windows-ja setup-tiedostomonitoripalvelun tapahtumalokien välittämiseen.
Alla on muita ominaisuuksia tarjoamia Rsyslog:
- Joustavat kokoonpanot
- Tarjoaa multi-ketjuttaminen ominaisuuksia
- Log-tiedoston manipulointia suoja kirjaudu sisään-toiminnon allekirjoituksia ja viestien salausta.,
- Tukee Big Data-alustoilla
- Tarjoaa sisältöön perustuva suodatus ominaisuuksia
LOGalyze
LOGalyze oli kaupallinen tuote, joka oli hiljattain tehnyt avoimen lähdekoodin. Vaikka en voinut projektin GitHub, he tekevät Windows asentaja ja kaikki lähdekoodi ladattavissa.
Jos olet kiinnostunut yhteisöstä, löydät postituslistan tiedot täältä.
LOGalyze on suhteellisen joustava ja tehokas palvelutarjonta, joka toimii hienosti yhden-järjestelmän käyttöönotot, että pyritään yhdistämään hakkuut tunnetuista lähteistä, kuten Postfix, Apache, jne.,, ja tuottaa tuotoksen CSV, PDF, HTML tai vastaavissa muodoissa. Kyllä, se ei tee kaikkea, mutta koska se oli kaupallinen tuote kerrallaan, se tekee sen varsin hyvin.
LogPacker
Kun se tulee valita työkalu työhön, minulla on kaksi kriteeriä: sen on oltava keskittynyt, ja se on tukena aktiivinen liiketoimintamalli. Avoimen lähdekoodin ohjelmistojen ongelmana on yleensä se, että muutaman kuukauden/vuoden päässä pysähtyneisyyden tai kuoleman todennäköisyys on suuri. Ei laskea, kuinka monta hakkuut työkaluja käynnistettiin halukkaasti, vain löytyy nyt GitHub hautausmaa.,
tällä mittapuulla mitattuna LogPacker on minulle suosikki.
kuten ruutukaappauksesta voi päätellä, Logpackerissa on kyse lokeista, eikä mistään muusta. Push on ehdottomasti kohti heidän pilvi tarjoukset, mutta olet enemmän kuin tervetullut ladata ja asentaa sen palvelimelle (GitHub sivu täällä).
Ryhmittäminen ja yhdistäminen ovat saatavilla niille, jotka haluavat käyttää sitä ei-triviaali mittakaavassa, ja yrityksen suunnitelmat ovat käytettävissä, jotka haluavat työskennellä API tai tarvitset suurempia käyttöönottoja., Virkistävän minimalistinen (keskittynyt, joskaan ei ominaisuus-huono) ottaa Puunkorjuun hallinta, mielestäni!
Logwatch
– olen varma, että joukossamme on niitä, jotka eivät halua koko seremonia liittyy ”yhtenäisen,” ”keskitetty” kirjautumalla järjestelmään. Heidän liiketoiminnan tulee yksi palvelimia, ja he etsivät jotain nopeaa ja tehokasta katsomassa heidän log-tiedostot. Tervehdi Logwatchia.
Kun se on asennettu, LogWatch voi skannata järjestelmään lokit ja luoda raportin tyyppi haluat., Se on kuitenkin jokseenkin ajoitettu ohjelmisto (Lue ”luotettava”), ja se on kirjoitettu Perl. Joten, sinun täytyy Perl 5.6+ palvelimellasi ajaa sen. Minulla ei ole kuvakaappauksia jakaa, koska se on puhtaasti komentorivi, daemonized prosessi.
Jos olet CLI narkkari ja rakkaus vanhan koulun tapa tehdä asioita, tulet rakastamaan Logwatch!
Syslog-ng
Syslog-ng-työkalua on kehitetty tapa käsitellä Syslog (vakiintunut asiakas-palvelin-protokolla järjestelmä hakkuut) tiedostoja reaaliajassa., Ajan myötä se on kuitenkin tullut tukemaan muita tietomuotoja: jäsentymätön, SQL ja NoSQL. Miten Syslog-protokolla toimii on melko paljon kiteyttää siististi seuraavassa kuvassa.
syslog-ng on tuotanto-luokka, luotettava lokin keruu ja luokittelu työkalu, joka on kirjoitettu C ja on ollut vakiintunut nimi alalla pitkään. Paras osa on sen laajennettavuus, jonka avulla voit kirjoittaa plugins C, Python, Java, Lua, tai Perl.
lnav
Lyhyt (Log Navigator), lnav on puhdas-terminal työkalu, joka toimii yhden koneen, yhden hakemistoon., Se on niille, jotka ovat kirjautumisen yhtenäinen yhteen hakemistoon tai haluavat suodattaa ja näyttää reaaliaikaisia lokit yhdestä lähteestä.
Jos olet ajatellut lnav ei ollut mitään muuta kuin kirkastettu tailf |grep olisit väärässä. On olemassa useita ominaisuuksia, jotka saavat sinut rakastumaan se: aika-sarja katsella, pretty-tulostus (JSON ja muita tiedostomuotoja), värikoodattu log lähteistä, tehokas suodattimet, kyky ymmärtää useita hakkuut protokollia, ja enemmän.,
Se on vain, että joskus haluat nolla-hässäkkä, nolla setup, ehkä-väliaikainen kirjaus kerros, ja lnav sopii laskun täydellisesti!
Conclusion
And there you have it!
se oli vaikea lista koota, suoraan sanottuna, koska kirjaaminen ei ole niin suosittua kuin vaikkapa sisällönhallinta, ja kaikki mindshare näyttää tarttuneen kolmesta neljään työkaluun. Silti kaikkien tarpeet ovat erilaisia, ja olen yrittänyt kattaa niitä laajasti.
typerä command-line, ei-setup työkaluja täysimittainen tiedot juggernautteja, se on kaikki täällä! Jäinkö jostain paitsi? Totta kai!
Vastaa