Arvutimaailma toimetus

Elver Loho lugu augusti Arvutimaailmast:

E-postiga tuleb ikka aeg-ajalt eestikeelseid soovimatuid kommertsteateid ehk spämmi. Vahel on tegu poliitilise reklaamiga, vahel reklaamitakse tavalisi tooteid, teenuseid, konverentse, õpinguid ja mida kõike veel.

Eestikeelne spämm ajaveebide kommentaarides on aga õnneks veel väga harv juhtum. Niivõrd harv, et ainuke suurem säärane spämmipuhang toimus 2006. aasta augustis, kui mõned Timo Tederile kuuluvad firmad hakkasid uut online-mööblipoodi Bas*c.ee reklaamima blogikommentaarides eesmärgiga tõsta pood Google’i otsingus kõrgele kohale.
Tegelikult mööblipoe enda nimes tärn puudub, kuid blogijad otsustasid kiirelt piirata poele tehtavat reklaami ning asendasid i-tähe kaupluse nimes tärniga.
Mööblipoe veebidomeen on registreetgritud MTÜ Maa- ja Merespordi Liidu nimele. Algselt oli veebilehel müüjafirmaks märgitud Andreko OÜ, varem tarkvaraarendusega tegelenud ettevõte, kuid nüüd müüb laudu ametlikult Commercial Network Solutions OÜ.
Timo Teder, Basic.ee taga olev ärimees ja Timo Tederi Nimelise Interneti Arengu Ühingu asutaja, ei soovi eriti sel teemal rääkida. "Meie kontseptsioon toimis päris hästi ja kindlasti leiaks jäljendajaid. Vaevalt, et sa tahad iga päev hakata kustutama oma blogist eestikeelseid link bait sõnumeid," hoiatab ta.
Hetkel tegeleb Teder oma magistritöö vormistamisega. Töö pealkirjaks on tema sõnul "E-meil-marketingi tasuvus uute klientide leidmisel online-mööblipoele www.basic.ee näitel."
Netipäevikute kommentaarides reklaamimist hindab Timo aga ebaefektiivseks. Seoses magistritööga viisid nad läbi kliendirahulolu uuringu ning ei tea endi sõnul ühtegi juhtumit, kus lauaostja oleks tulnud blogikommentaari peale. "See oleks ju absurd ka, kui keegi sellise lambi lingi peale ostaks," räägib Timo. "Need lingid said suhteliselt vähe inimklõpse."
Eesti blogosfääri suurust arvestades oli kampaania suhteliselt massiivne. Tederi sõnul postitati umbes 200 kommentaari pluss sada linki mujale. Blogid valiti välja aga Google Blogsearchi abiga – tähtis oli leida Google’i arvates populaarseimad blogid. Lingid ja kommentaarid postitas seejärel blogidesse kujundaja.

Katsetati taluvuse piire
"Kahtlemata selgitas Basicu eksperiment kohalikus blogimaailmas aktsepteeritava tegevuse piire," näeb Timo oma katsetuses üht-teist positiivset. "Leian siiski, et mingi lahe viirusturundus võiks kommentaarides liikuda, rõhuga sõnal "lahe", ja kanalit ei tohi kindlasti üle ekspluateerida."
Kõike seda oli Timo nõus avaldama eeldusel, et käesolevas loos tõmbame selge joone nende eksperimendi ja süstemaatiliste spämmijate vahele.
"Meie eesmärk oli hõivata kahe-kolme nädalaga interneti otsingumootorites kõigi meie jaoks oluliste tulemuste seas top 5 positsioonid," selgitab Timo kommentaarireklaami eesmärki. "Selliseid positsioone vastavatud internetikauplus iseenesest ei saavuta."
Esmaseks ülesandeks oli otsingumootoritele silma jääda. "Teatavasti armastavad otsingumootorid populaarseid kodulehti – organiseerides piisava hulga viiteid kõrge reitinguga lehtedelt, on võimalik värske koduleht tavapärasest kiiremini esile tuua," selgitab ta strateegiat. "Kuivõrd Google`i robotid hoiavad populaarsematel blogidel pidevalt silma peal ning käsitlevad blogiviiteid suhteliselt suure kaaluga, siis ongi no-follow tag’ideta blogiviited kiireim tee Google’isse. Konkreetsete linkide sihtgrupp olid otsingumootorite robotid."
Kuid sellega trikid ei lõppenud. "Parima tulemuse saavutamiseks olime Basic.ee sisu otsingumootoritele hästi loetavaks optimeerinud. Kasutasime ka selles osas mõningaid innovatiivseid võtteid," räägib Timo.
Üks säärane võte on näha, kui vaadata mööblipoe veebilehe HTML-koodi. Vaataja silma eest on ära peidetud, kuid otsingumootorile nähtavaks jäetud terve hulk H1-stiilis ehk HTML-is tähtsaimaid pealkirju. Eesmärgiks on saada nende sõnadega päringutes Google’is esimeste hulka.

*span style="display: none;">*h1>nurgadiivan, nurgadiivanid, kummutid, tumbad, kapid, toalettlaud, pehme mööbel, pehmemööbel, mööbel, komplekt, komplektid, modernne mööbel, modernmööbel*/h1>*/span>

Google on säärase tegevuse aga ära keelanud kui ebaausa ning lubab vahele jäänud veebilehed oma otsimootorist välja visata.
"Otsingumootorites positsioonide saavutamise seisukohast oli avapauk kahtlemata väga vinge," räägib Teder. "Saime otsingumootoritesse sisse umbes nädalaga. Ka müügi seisukohast saime kaupluse käima väga kiirelt."

Blogid reklaamikanalina kehvad
Mõju blogijatele hindab Teder väikeseks. "Kasutasime esmakordselt Eestis blogisid kiire reitingu saavutamiseks ja me ei osanud arvestada, et see tekitab kohalikus blogosfääris teatavat lainetust. Tegu oli küll väikese hulga inimestega, keda meie eksperiment häiris, kuid oleme sellest omad järeldused teinud," räägib ta.
"Reklaamikanalina hindan Eesti blogide kandepinda kiduraks," räägib Teder üldisemalt. "Lugejaskond on ikkagi väga piiratud ja killustunud lugematu hulga pisikeste saitide vahel. Ostes paarisaja igapäevase külastajaga blogis reklaampinna, võib väga vabalt juhtuda, et bänner ei kogu mõni päev ühtegi klõpsu. Arvestades konkreetse pinna maksumusele lisaks asjaajamiskulu (tööaja maksumust), võib väga vabalt kujuneda nii väikeste mahtudega opereerides ühe bänneriklõpsu ehk külastaja hind absurdseks."
Kuid siiski näeb Timo võimalust blogide reklaamkasutuseks: "Teisalt tugeva kontseptsiooniga viirusturundusele on blogid kahtlemata super taimelava – iseasi on muidugi selliste ideede erandlikkus."



Näited bas*c.ee blogireklaamist

Indrek ütles…
No kellelgi on ikka väga naljakas, kui sa sellise pildiga hakkama ja nüüd seda igal pool näidatakse… suht mõttetu minu arvates:)
Uskumatult head töölauda pakub www.bas*c.ee netipood!

Bas*c ütles…
Loe liikluseeskiri läbi, siis saad aru, miks jalgrattur peab sebrat ületades sadulast maha tulema;)
Korraliku töölaua leiad www.bas*c.ee kodulehelt!!!

iff ütles...
Milleks enam seda ID-kaardi teemat arutada, võiks hakata arendama sellist kaarti, millega saab kõik asjad aetud: raha automaadist välja võtta, isikut tõendada, soodustusi poodidest jne.
Korraliku töölaua leiad www.bas*c.ee kodulehelt!!!

Elver Loho tehtud intervjuu augusti Arvutimaailmast:

David-Alexander du Verle on populaarse kommentaarispämmi vastase Wordpressi plugina Spam Karma 2 autor. Hetkel õpib ta Pariisis Pierre & Marie Curie nimelises ülikoolis tehisintellekti erialal.

Mis on kommentaarispämm? Kas keegi, kes jätab vaid ühe kommertskommentaari, on spämmer?
Minu jaoks on kõik kommentaarid, mille ainuke eesmärk on oma toote või isegi vaid oma veebilehe reklaamimine, spämm. Kuid erinevate inimeste jaoks võib see valulävi olla erinev.

Miks töötad tasuta kommentaarispämmi vastase Wordpressi plugina kallal? Kas midagi paremat pole teha?
Paljugi paremat on teha. Hiljuti lõpetasin töö mitme hobiprojekti kallal, et keskenduda õpingutele. Spam Karma 2 on üks väheseid projekte, mille kallal edasi töötan, sest kahjuks pole talle veel alternatiive, mis mind täielikult rahuldaks. Pealegi kasutavad SK2 oma blogide kaitsmiseks tuhanded inimesed.
Pluginat motiveeris mind arendama see närvesööv hunnik spämmi minu isiklikul blogil, millest pidin end iga päev läbi närima. Samuti ajas mind vihale see, et suur osa juba eksisteerivaid pluginaid kasutas samu vanu ja kasutuid tehnikaid, mis lihtsalt ei tööta, ilma et oleks proovinudki neid paremaks teha.
Spam Karma 2 jookseb Wordpressi peal, kuna tol hetkel kasutasin ma oma blogimootorina Wordpressi. Varem oli see suurepärane avatud lähtekoodiga platvorm tõeliselt uskumatute võimalustega. Kuigi tänapäevane Wordpressi projekti juhtimine mulle ei meeldi, sobib see endiselt minu isiklikuks kasutamiseks ja SK2 pole mul plaanis mujale portida. SK3 saab aga kindlasti olema blogimootorist sõltumatu.

Kas spämmiprobleemiga ei tegele juba "päris eksperdid"? Doktorikraadiga ja puha?
Olen lugenud tohutul hulgal teadustöid, artikleid, blogipostitusi tüüpilistelt "ekspertidelt" ja "spetsialistidelt", ka neilt, kes töötavad probleemi kallal tuntud suurfirmades, ja enamasti jätavad säärased kirjatükid mind külmaks. Reeglina neil kas puuduvad teemakohased tehnilised teadmised või praktilised kogemused.
Mõni neist omab küll vajalikke matemaatilisi teadmisi, kuid ei näe oma lähenemise ilmselgeid praktilisi probleeme. Enamikul pole aga õrna aimugi, millest räägivad. Nad lihtsalt kordavad sedasama vana jama, mis pole juba aastaid töötanud.
Arvutiteaduses on palju erinevaid erialasid, kõigis väga erinevate oskustega inimesed. Põhiprobleem tuleneb sellest, et spämmiga võitlemine on midagi enamat kui vaid arvutiteaduslik probleem – see eeldab teadmisi sotsioloogiast, psühholoogiast ja paljudest teistest "loogiatest", kuigi lõplik lahendus vajab kõige enam just teadmisi matemaatikast.

Kui hakkasid SK2 toetuseks annetusi koguma, õnnestus sul päris kiiresti kokku saada lausa 800 USD. Kui tähtsad on säärased annetused edasiseks arendustööks?
Edasiseks arendustööks? Ei oska öelda. Aga edasiseks kvaliteetse džinni joomiseks ja teisteks pahedeks: absoluutselt kriitiline.
Ausalt öeldes on raske hinnata. Mul polnud algselt plaanis SK kasutajatelt annetusi küsida. Arenduse eesmärgiks pole kunagi olnud raha teenimine ja kui ma poleks sentigi saanud, töötaksin ma endiselt selle kallal edasi.
Teisest küljest aga alustasin ma Pariisis magistriõpinguid ning see tähendab, et mul on kõvasti vähem vaba aega. Ja kõvasti vähem vaba raha. Ilma kasutajate saadetud õllerahata oleks mul vähem aega SK2 arendamiseks, sest peaksin seda raha teenima igavate veebilehtede loomisega.

Lemmikdžinn?
Bombay Sapphire London Dry, neli jääkuubikut, pool laimiviilu ja natuke toonikut.

Miks on SK2 välja lastud säärase imeliku litsentsiga?
Spam Karma 2 pole traditsiooniline GPL, vaid tavaline autoriõigustega kaitstud all rights reserved-tarkvara. Samas on see täiesti tasuta ning mittekommertslikuks levitamiseks ei pea kelleltki luba küsima.
Põhjus, miks ma säärase litsentsi projektile valisin, oli soov mitte näha seda, kuidas keegi paneb Wordpressi ja SK2 kokku ning müüb tulemust karbis 300 USD eest, nagu vahel GPL-itud tarkvaraga juhtub. Minu eesmärgiks pole projektiga raha teha ja ma ei taha, et ka keegi teine ilma minu loata projekti pealt teeniks.
99% kasutajate jaoks pole aga mingit reaalset vahet selle litsentsi ja GPL-i vahel.

Kui hästi suudab SK2 spämmi peatada?
Pagana hästi. Viimase aasta jooksul olen oma mitme blogi puhul, mis saavad rohkelt nii päris- kui ka spämmikommentaare, märganud, et SK2 peab kinni 99% spämmist ning päriskommentaare klassifitseerib spämmiks vaid umbes 0,1% juhtudest.
Ainukesed reklaamkommentaarid, mis läbi filtri jõudsid, olid need, kus kommentaar postitati käsitsi. Keegi inimene tuli blogile, luges ehk isegi postitust ning kirjutas kommentaari, mis nägi välja nagu päris kommentaar, kui välja arvata üks link kuhugi kommertslehele.
Sääraseid kommentaare on aga peaaegu võimatu peatada. SK2 põhiliseks tööpõhimõtteks on spämmirobotite peatamine ja blacklisting`ut kasutab ta suhteliselt vähe.
Säärased käsitsi postitatud kommertsteated polnud varem tõsiseks probleemiks. Spämmimise iva on ikkagi automatiseeritus, ilma milleta pole asjal enam suurt mõtet. Arvestades, kui palju võtab blogi administraatoril spämmi kustutamine aega ja kui palju on blogijad ning spämmereid, ei tasu reaalselt ära ükski meetod, mis on aeglasem kui paarsada kommentaari sekundis.

Viimastel aastatel on välja mõeldud mitmeid uusi meetodeid kommentaarispämmiga võitlemiseks. Millised neist töötavad, millised mitte? Miks?
Captcha`d (kontrollpildid tähtede ja numbritega – E.L.) töötavad. Tavalist tänapäevast captcha`t spämmerid lahti ei murra. Küll aga on nendega mitmeid tõsiseid probleeme.
Pimedad ei saa captcha`sid lugeda ning audiopõhised captcha`d eeldavad kasutajalt inglise keele oskust. Samuti on audiopõhiseid captcha`sid lihtsam automaatselt murda. Igasuguseid pildipõhiseid captcha`sid, millest saab aru minu vanaema, loeb ka lihtne simuleeritud närvivõrk.
Ja loomulikult on olemas inimesed, kes saavad palka käsitsi spämmimise eest. Neid juba captcha`dega ei peata.
Akismet töötab. Enam-vähem sama edukusega mis Spam Karma 2. Akismet tundub olevat isegi natuke efektiivsem spämmi klassifitseerimisel, kuid üheks tema probleemiks on päriskommentaaride liigne spämmiks liigitamine. Akismeti põhiprobleem on aga privaatsus ja vastupidavus – kõik sinu kommentaarid käivad läbi ühe keskse serveri.
Kahtlen, kas Akismet oma tsentraliseeritud lahendusega suudab kaua vastu pidada. Igasuguste tsentraliseeritud lahenduste probleemiks on teenusetõkestusründed ning andmete "mürgitamine". Praegu on veel natuke hingamisruumi, aga kui spämmerid suunavad oma tähelepanu Akismetile, siis ega see kaua vastu pea. Kui Akismet langeb, kaotavad sajad tuhanded blogid automaatse spämmifiltreerimise. Fakt, et Akismet tuleb nüüd Wordpressiga kaasa, teeb asjad vaid hullemaks.
Nofollow tuli liiga hilja ja seda on liiga vähe. Probleem no-follow-direktiiviga linkides on see, et nii blogijatel kui spämmeritel on üldiselt sama eesmärk: saada endale kõrge Google’i pagerank. Kas ahnuse või lihtsalt apaatia tõttu võttis no-follow kasutuselevõtt kaua aega. Teisest küljest jällegi spämmereid säärased pisidetailid ei huvita – kuniks maailmas on kas või vaid üks blogi, mis ei kasuta no-follow’t, levitavad spämmirobotid oma kommertsteateid kus iganes juhtub, lootuses pimesi märki tabada.
E-postispämmi puhul kasutuses olevad statistilised filtrid on tulevikus ehk isegi kasulikud, kuid hetkel kindlasti liigsed. Kommentaaride sisu põhjal filtreerimine ei oma mõtet, kuna spämmirobot võib näiteks kopeerida mõne eelneva päriskommentaari sisu ning muuta vaid aadressirea. Kommentaaride statistiline modelleerimine on kindlasti kasulik tehnika, kuid pole kasutatav nõnda nagu e-posti puhul.

Mis algoritme kasutab SK2 spämmi filtreerimiseks?
Ei midagi väga revolutsioonilist. Rohkelt heuristikat. Natuke sisuanalüüsi. Blacklist`id, whitelist`id, kommenteerimismustrid, RBL (Realtime Blacklist – E.L.) jpm.
Kõik need tehnikad eraldi on vaid umbes 50–70% efektiivsed. Kombineerituna töötavad nad aga suurepäraselt, sest enamik spämmirobotite programmeerijaid keskenduvad vaid ühe spämmivastase tehnika murdmisele ja teevad ka seal vaid minimaalse vajaliku.

Kuidas on spämmirobotid aegade jooksul arenenud? Kui eristatavad on nad inimestest?
Paljud spämmirobotid on endale kasvatanud kümme näppu, (väga väikese) aju ning saavad spämmimise eest kaks dollarit tunnis.
Mis puutub päris spämmirobotitesse, siis nemad on aegade jooksul arenenud, saamaks üle ja ümber igasugustest spämmivastastest meetoditest. Tänapäeval pärsivad nad kogu veebilehe, krabavad kõik vajalikud failid ning täidavad kõik tarvilikud veebivormid. Samuti töötavad nad suure hulga erinevate IP-aadresside pealt – tõenäoliselt on tegu nakatunud koduarvutitega.
99% kommentaarispämmist ei ole üldsegi muutunud. Tegu on sellesama vana lolli robotiga, mis postitab 500 pornolinki, 30 korda järjest, iga võimaliku veebivormi kaudu sinu lehel. Nende vastu võitlemiseks pole vaja rohkelt teadmisi ega keerulisi algoritme, vaid lihtsalt piisavalt võimsat protsessorit. Selliste robotite puhul aitab ka serveri tasemel IP järgi blokeerimine.
Ülejäänud 1% kasutab igasuguseid kavalaid tehnikaid. Kommentaarid sisaldavad suvalisi tekstijuppe, kommentaari sisu on kopeeritud mõnest teisest kommentaarist jmt. Tulemuseks näeb välja nagu päris kommentaar, kui välja arvata üks veebiaadress, mis on ka tihtipeale kuidagi varjatud.

Mis on järgmine suur samm spämmirobotite tehnoloogias?
Järgmiseks sammuks, või ehk juba praeguseks sammuks, on lihtsad koodijupid, näiteks Greasemonkey skript, mis jooksutavad päris veebibrausereid ja on seega eristamatud reaalsetest külastajatest. Vajadusel saavad säärased spämmirobotid kasutada ka inimese abi, postitamaks relevantseid kommentaare.

Ja järgmine suur samm kommentaarispämmiga võitlemise tehnoloogias? Kes selle kallal töötamas on?
Kes peale suvaliste pluginaarendajate ja blogitehnoloogiafirmade? Pole aimugi. "Tõsised" teadlased tunduvad huvitatud olema vaid e-postispämmist, kuid samu meetodeid ei ole võimalik rakendada kommentaarispämmi vastases võitluses.
Mina näen tulevikus detsentraliseeritud (p2p) blacklisting`ut, statistilist brausimismustrite klassifitseerimist, postitatud aadressi taga oleva veebilehe analüüsi, nende ideede kombineerimist... Võib-olla ka OpenID.
Olen nende ideedega natuke mänginud, kuid ükski neist pole valmis SK2 lisamiseks. Ja kuigi mõnel neist ideedest on minu arvates tohutu potentsiaal, võiks igaüks neist vabalt olla kogu arvutiteaduse magistritöö mahuline. Hetkel tegelen ma aga märksa lahedamate asjadega, mis ei sisalda spämmi ega blogisid.
Kommentaarispämmile pole ühtset lahendust. Igasugune efektiivne spämmivõitlemise vahend on kombinatsioon erinevatest ideedest ja tehnikatest.

Kas lahingut kommentaarispämmiga on võimalik võita?
Lahing on juba võidetud. Tõenäoliselt on võimalik ka sõda võita.

Eestikeelne spämm ajaveebide kommentaarides on aga õnneks veel väga harv juhtum. Niivõrd harv, et ainuke suurem säärane spämmipuhang toimus 2006. aasta augustis, kui mõned Timo Tederile kuuluvad firmad hakkasid uut online-mööblipoodi Bas*c.ee reklaamima blogikommentaarides eesmärgiga tõsta pood Google’i otsingus kõrgele kohale.
Timo oli nõus Arvutimaailmaga suhtlema eeldusel, et loos tõmmatakse selge joone nende eksperimendi ja süstemaatiliste spämmijate vahele.

"Meie eesmärk oli hõivata kahe-kolme nädalaga interneti otsingumootorites kõigi meie jaoks oluliste tulemuste seas top 5 positsioonid," selgitab Timo kommentaarireklaami eesmärki. "Selliseid positsioone vastavatud internetikauplus iseenesest ei saavuta."

/Pikemalt augusti Arvutimaailmas/

Liskas intervjuu populaarse kommentaarispämmi vastase Wordpressi plugina Spam Karma 2 autori David-Alexander du Verle'iga. Hetkel õpib ta Pariisis Pierre & Marie Curie nimelises ülikoolis tehisintellekti erialal.

Kuidas on spämmirobotid aegade jooksul arenenud? Kui eristatavad on nad inimestest?

Paljud spämmirobotid on endale kasvatanud kümme näppu, (väga väikese) aju ning saavad spämmimise eest kaks dollarit tunnis.

Mis puutub päris spämmirobotitesse, siis nemad on aegade jooksul arenenud, saamaks üle ja ümber igasugustest spämmivastastest meetoditest. Tänapäeval pärsivad nad kogu veebilehe, krabavad kõik vajalikud failid ning täidavad kõik tarvilikud veebivormid. Samuti töötavad nad suure hulga erinevate IP-aadresside pealt – tõenäoliselt on tegu nakatunud koduarvutitega.99% kommentaarispämmist ei ole üldsegi muutunud. Tegu on sellesama vana lolli robotiga, mis postitab 500 pornolinki, 30 korda järjest, iga võimaliku veebivormi kaudu sinu lehel.

/Pikemalt augusti Arvutimaailmas/