Főoldal

"Mérnököt a mérnöktől"

A Schönherz Bázis összeköti az állást kereső és állást kínáló mérnököket.

CV küldés

Küldj önéletrajzot! Gyorsan, egyszerűen.
Megjegyzésbe írd be a pozíció nevét.
CV küldés

Iratkozz fel hírlevelünkre!

Kövess minket!

Kövess minket!

Hírek

A deep web titkai
A deep web titkai
Micsoda gubancos webet használunk nap, mint nap! A teljes népesség nagyjából 40 %-a használja a webet mindennapjai során. Hírek, szórakozás, kapcsolattartás, és egy tonna egyéb más dolog is szerepel a listán. Mégis, annak ellenére, hogy egyre több ember használja az internetet, egyre kevesebb online adat hozzáférhető. Ennek oka, hogy a World Wide Web nem is annyira “wide” (azaz széles) a felszínen, mint azt mi gondolnánk.
 
Az átlagos felhasználó csak a web felszínét súrolja, vagyis csak az ún. surface-webet használja. A surface web a nagy egész azon részét jelöli, melyet a keresőmotorok is megtalálnak, ez azonban csak a jéghegy csúcsa: nagyjából 0.03 százaléka a ténylegesen létező adatmennyiségnek.
 
Akkor mégis honnan jön a többi tartalom? A jéghegy víz alatti részéből, a deep web, az internet egy rejtettebb szegmense, vagy ha úgy jobban tetszik: a láthatatlan web. Láthatatlan mert egy egyszerű Google kereséssel nem fogod megtalálni ezeket a tartalmakat.
 
Van egy sötét oldal is, ahol a felhasználók tudatosan rejtik el az adatokat a világ elől, ezek a tartalmak legtöbbször csak speciális böngészők használatával érhetőek el, melyek segítenek lebontani a sötét web rétegeit.
 
Ezek a szoftverek teljes anonimitást biztosítanak, tehát sem az adatok forrása sem a célhely nem publikus. Ezzel lehetővé válik a névtelen kereskedelem, adatcsere és még sorolhatnánk.

Mindezzel még mindig csak a felszínt piszkáljuk, nézzük tovább mi minden van még ezen a kusza hálón.
 

Elrejtve, mégis az orrunk előtt


 
Mekkora is lehet a rejtett web? Ma 555 millió regisztrált domaint tartanak számon, ezeknek rengeteg aloldala van, melyek egy része nem katalogizált, így a rejtett webhez tartozik.

Éppen ezért nagyon nehéz megbecsülni a méreteket, de úgy nagyjából 400-500-szor lehet nagyobb a rejtett web a surface webnél, és ami bizonyos, hogy mindkettő napról napra növekszik.

Érdemes lehet áttekinteni a keresőmotorok technikáit, így jobban megértjük majd miért is ekkora a rejtett web mérete. Erről részletesen is olvashat mindenki ebben a cikkben itt, most egy röpke gyorstalpaló következik.

A keresőmotorok alapvetően indexelik az adatokat, a folyamathoz pedig spidereket és crawlereket használnak, ezek megkeresik a releváns domaineket majd követik a más weboldalakra mutató linkeket, így egy térképet hoznak létre.

Ennek az indexnek, térképnek köszönheted a rövid válaszidőt: ha indítasz egy keresést az eredményt szinte azonnal kézhez kapod. Térkép nélkül szerencsétlen keresőmotornak végig kellene futnia az egész webet, oldalak milliárdjait kellene átnéznie minden egyes keresésnél.

Így viszont a keresők nem látnak mindent, adatproblémák, technikai nehézségek nehezítik az index kialakítását. Vannak például olyan oldalak, melyekre először be kell jelentkezni, csak aztán válnak hozzáférhetővé az adatok.

Emellett vannak olyan oldalak, melyek csak egy bizonyos ideig publikusak. Mindez eléggé megnehezíti a keresők dolgát.
 

A felszín alatt


 
Most már tudjuk, hogy a felszín nem minden, rengeteg belső oldal van, pl.: amelyeket karbantartási célokra használnak. Egy rakat nem publikált vagy nem bejegyzett blog, képgaléria, mappa és úgy általában rengetegféle tartalom, amit nem látnak a keresők.

Vizsgáljunk meg egy konkrét példát. A neten elég sok újság található, és sokszor előfordul, hogy az ezeken szereplő cikkeket nem tudják indexelni a keresőmotorok. Próbáljunk csak ki, mondjuk egy “foci vb” google keresést, rengeteg találat lesz, de ha valami kevésbé általánosat keresünk, akkor jó eséllyel az adott újság keresőfunkciójával fogjuk csak megtalálni a keresett tartalmat.

Minél régebbi dolgot szeretnénk megtalálni, annál valószínűbb, hogy a keresőmotor már nem találja meg, így egy korábban elérhető tartalom is könnyen a rejtett web részévé válhat.
 

A rejtett lehetőségek



A fenti példán keresztül felismerhetjük: attól még, hogy valami a rejtett web része lehet nagyon is fontos.

A deep web hihetetlen mennyiségű információ végtelen tárháza: adathálózatok, pénzügyi infók, orvosi jelentések, képek, és így tovább, ez a lista sem ér véget.

És ahogy nő a teljes web, a nehezen fellelhető adatokból is egyre több lesz. Ezért fontos, hogy a programozók hatékonyabb keresőmotorokat fejlesszenek, így növelve a jéghegy víz feletti “csúcsát”. Mindezt ráadásul úgy kellene megoldani, hogy az információáradat ne sodorja el az egyszerű nézelődő felhasználót.

Természetesen ez nem csak arról szól, hogy Te vagy Én könnyebben megtaláljuk a világ legjobb paprikás krumpli receptjét. A hatékonyabb keresés nagy segítség lenne kutatási területeken is.

Például könnyebben lehetne tudományos publikációkat találni. Tegyük fel, hogy hidat akarok építeni, vagy éppen valamilyen betegségre gyógymódot keresek, fontos, hogy ismerjem a legújabb kutatásokat az adott témában.

A rejtett web kiaknázása egy remek kihívás technikailag (is). Most azonban nézzük meg közelebbről a bevezetőben is említett sötét oldalt.
 

A sötét oldal


 
Ahogy láttuk a rejtett weben egy kis ügyességgel egész sok információt a felszínre tudunk hozni, itt ugyanis az adatok többségét nem direkt rejtették el. A sötét weben azonban pont ez a helyzet, aki szándékosan úgy helyez el adatokat, hogy ne lehessen megtalálni, az köszöni szépen, szeretné, ha így is maradna.

A sötét oldal olyan mintha a web személyije lenne: privát, anonim, erős, és mindenféle emberi viselkedés megtalálható itt.

Ahogy az lenni szokott a “rossz”, esetenként illegális tartalmakról mindenki többet beszél. Azt mindenki tudja, hogy vehetsz a neten drogokat, találhatsz gyerekpornót, vagy akár ellopott bank és hitelkártyák számait is meglelheted. Kis túlzással még bérgyilkost is kereshetsz magadnak.

Csakhogy ide nem hoz el a Google, speciális szoftver kell, ilyen például a Tor. Röviden: a Tor segít,  hogy anonim maradj a neten.  Egy titkosított technológiára kell gondolni, mely arra is jó, hogy rejtett szolgáltatásokat vegyél igénybe, ezeken az oldalakon nem a hagyományos domain végződések vannak, minden .onion-al végződik.
 
 

Piszkáljuk a Tort
 


 
A leghíresebb onion oldal a Silk Road (volt), egy szimpla online piac, csak éppen vehettél drogot, fegyvereket és egyéb kicsit sem legális cuccot. Az FBI ugyan letartóztatta az oldal vezetőjét, Ross Ulbrichtot, de hasonló oldalak még ma is működnek (pl.: Black Market Reloaded)

Ironikus módon a Tor az amerikai tengerészet kutatómunkájának köszönheti a sikerét, politikai szakadárok számára hozták létre a Tort, itt a lelepleződés félelme nélkül kommunikálhattak velük.

Annyira sikeres lett, hogy nemsokára a bűnözők is kihasználták a névtelenségben rejlő potenciált. Így az USA érdekes helyzetbe került: olyan bűnözőket kell levadásznia, akik kormány által fejlesztett és szponzorált technológiát használnak a nyomok eltűntetésére.

Felmerülhet a kérdés, hogy egy teljesen anonim helyen hogyan bonyolítasz le pénzügyi tranzakciókat? Na, itt jön a képbe a bitcoin, amiről itt olvashatsz bővebben. A bitcoin támogatja az anonimitást: senki nem tudja lenyomozni a bitcoin tranzakciókat.

A bitcoin lehet a jövő valutája, de az értéke oszcillál, mivel nincs mögötte fedezet, nem áll mögötte egyetlen ország kormánya sem. Ne ide fektesd be az összekuporgatott milliókat. Azonban ha a bitcoint megfelelően párosítjuk a Torral, az eredmény a leglenyomozhatatlanabb vásárlás a neten.
 
 

Ássunk még mélyebbre
 


 
A rejtett web csak egyre homályosabb lesz, ahogy haladunk egyre mélyebbre. Sokkal gyorsabban változik, növekszik, mint ahogyan megérthetnénk, a kezelése valószínűleg a legnagyobb kihívás, amit az internettel teremtettünk.

A programozók igyekeznek majd egyre jobb és jobb kereső algoritmusokat írni, így ezek sokkal mélyebbre tudnak majd ásni, mint mai társaik. Ezzel pedig elősegítik a kutatómunkákat, üzletek megkötését, és az információ terjedését.

Ezzel egy időben a keresőmotorok feladata is folyamatosan változni fog. Nem azt várom el tőle, hogy minden információt megtaláljon, hanem azt, hogy a legrelevánsabbakat tegye elém, máskülönben úgy eltemetné a keresőt az adathalmaz, hogy azt kívánja majd, bár sose keresett volna rá semmire.

Ez a probléma elvezet minket a manapság sokat használt „big data” kifejezésig. A szókapcsolat, olyan hatalmas adathalmazokat jelöl, melyek hagyományos módszerekkel már kezelhetetlenek. Az interneten tárolt adatmennyiség olyan mértékben növekszik, hogy még az erős és mindent tudó számítógépek sem találják meg benne, ami fontos.

Ennek egyenes következményeként a cégek rengeteget költenek adatelemzésre, egyrészt azért, hogy versenyben maradjanak, másrészt azért, hogy mások elé vágjanak. A rejtett net feltárása komoly bányász és elemzőmunka, és rendkívül fontos a fent említett vállalakozásoknak. Azok, akik jól kihasználják a big data-ban rejlő lehetőségeket valószínűleg élve maradnak, sőt ők fogják előrevinni a technológiai fejlődést.

A rejtett, deep web rengeteg adata segítheti a technológiai fejlődésünket. A sötét oldal azonban mindig ott lesz, nem lehet teljesen kiirtani, mert ez az emberi természet része. Mindemellett a deep web az emberiség egyik legnagyobb lehetőségének tekinthető.

Írta: Nathan Chandler

(Forrás)