Skrapning – en ful metod att slå undan prismekanismen
Ett problem som säkert många företag i konkurrensutsatta segment har märkt i sin omsättning men kanske inte uppmärksammat är konkurrenter som som slår undan prismekanismen. Hur kan de presentera ett bättre i pris och uppdatera sina prisuppgifter 2 minuter efter det att du själv har ökat priset?
Hur gör konkurrenterna för att skrapa dina priser?
Hemligheten heter skrapare och det är små program som läser av delar av en annan webbplats. Skrapare och anti-skrapare har förekommit under ett tag i resebranschen men det finns även andra branscher som är utsatta i Sverige.
Det finns olika typer av skrapare exempelvis Nagios som tar företagets priser i realtid och presenterar priserna på en annan sida exempelvis konkurrent sida eller ”objektiv” prisjämförelsesajt. Det finns också onda tillämpningar som inte nöjer sig med att skrapa priset utan även ser till att alltid ligga bättre än konkurrenterna oavsett vilket pris som konkurrenten lägger sig på. För en sajt vars syfte är att köpa in varor går det att ha en regel att ligga några kronor högre i pris. För ett företag som säljer varor kan man se till att alltid ligga några kronor lägre i pris än konkurrenterna vilket uppdateras automatiskt.
Ett annat stort problem med skraparna är att de körs mot sajter och gör anrop många gånger per dygn (sk. cron-jobb) vilket slöar ner sajten – vilket i sin tur får följdproblem för konkurrenterna exempelvis att Google rankar sajten sämre på sökmotorsfaktorer som snabbhet. Högre belastning kan även innebära driftsavbrott med stora kostnader.
Vad är det juridiska läget kring skrapare?
Själv är jag rätt oklar kring det juridiska läget som jag tror att läget är just det rätt oklart och lagstiftarna är troligtvis inte medvetna om problemet. Naturligtvis borde affärsmässiga skrapare inte vara tillåtet eftersom skrapning kan ge stora affärsfördelar som inte går att skydda sig mot på ett enkelt sätt. I segment med stor priskonkurrens och där man dessutom kopplar prismekanismen till sina egna prisjämförelesesajter kan man slå ut prismekanismen och presentera sina egna erbjudanden på ett fördelaktigare sätt än vad konkurrenterna gör. Med Adwords annonsering kan du ge sken av att vara en oberoende sajt och driva traffik till din kontrollerade prisjämförelsesajt. Det finns exempel på prisjämförelsesajter som visar priserna för de egna företaget och andra webbplatser som företaget konkurrerar med och betydligt lägre ner placerar konkurrenter – ofta med tvivelaktiga kommentarer.
På sikt kan det här vara förödande för all näringsverksamhet där priset överhuvudtaget spelar någon roll. Lagstiftaren borde se över lagen och se till att det blir förbjudet med stränga viten annars är det rätt meningslöst med priskonkurrens. Om man skulle få ”onda skrapare” att klassificeras som en DDOS-attack skulle man kanske kunna peka på att det är ett dataintrång vilket kan leda till fängelse.
Vilka drabbas av skrapare?
Slutsatsen är att många småföretag kommer att ha svårt att konkurrera ifall det här blir ett utbrett fenomen. Det skapar naturligtvis möjligheter för teknikgeekar som kan sätta upp en sajt och sedan ta rygg på något företag som spenderar en stor del av sin marknadsbudget på traditionell media. Att ligga på Googles sökresultat utan några tunga personalkostnader och priskonkurrera kan vara en mycket stor risk för mer marknadsföringsintensiva företag.
På sikt är det dock konsumenten som drabbas eftersom det slår undan prismekanismen och psykologin bakom att ändra priset. Företaget som använder sig av skraparen kan använda andra metoder där extra avgifter läggs til vilket innebär att kunden inte får det pris som ursprungligen presenteras. I resebranschen där denna utveckling hållt på längst har man sett priser och avgifter lagts till för att kunna avboka resan, för att kunna ha telefonkontakt med bolaget, för extra försäkringar, för att få mat på flygplanet etc. Priset är helt enkelt inte det du ursprungligen presenteras för.
Skrapning – gör Google något?
Enligt Googles policy är skrapning något som går emot deras Googles Search Quality Rating Guidelines. Min erfarenhet är att de gör väldigt lite kring just ifall någon skrapar ett pris utan skrapning handlar i deras fall oftast om att texter kopieras. Teoretiskt kan man skrapa priser och lägga upp priserna i Google Adwords vilket i allafall Google Sverige verkar ha få synpunkter kring. Kan du presentera ett högre pris än konkurrenterna så innebär det med stor sannolikhet att konverteringsgraden är hög och att du också kan vinna affären.
Berätta mer – vilka skydd finns?
Ja du kan tex istället för att ha pris ha bilder så blir det lite svårare att skrapa priset. Men det hjälper inte för en sofistikerad skrapare som kan använda OCR-programvara som läser bilderna vilket gör att det inte heller är något egentligt skydd. En annan lösning är att använda javascript som läses av browsern – men javaskript går alltid att läsa i klartext – så det är inte heller något skydd mot en sofistikerad skrapare. Att modifiera texten till bilder kan även få konsekvenser i Google resultatet eftersom användarnas upplevelse ändras. Jag tror du börjar förstå min poäng?
Företaget som blir drabbad kan naturligtvis kolla igenom loggarna på sin webbserver och då märker man att vissa IP-adresser går till sajten och att vissa user-request anropar sajten och då kan man se vilka som övervakar sajten rätt tydligt. Det går även att manuellt eller programmässigt blocka IP-adresser. Tyvärr finns det sofistikerade skrapare som byter IP mer dynamiskt vilket innebär att stänga av IP-adresser inte slår ut skraparen och att blocka user-requesten är inte heller någon lösning eftersom den lätt kan bytas.
Att blockera IP-adresser har också risken att du blockerar någon IP som inte ska blockeras exempelvis Googles sökspindel eller routern i Skåneläns lansting för att ge två tydliga exempel.
Naturligtvis finns det lösningar. Det finns en företag som specialiserat sig för att plocka bort skrapare och som har produkter för det som fungerar med varierande resultat. Produkterna fungerar ungefär som datavirusprogram men tyvärr är lösningarna väldigt dyra och specialanpassade – och det krävs en hel del konsultation för att i bästa fall lösa problemet.
Protect IP – ett nytt kontroversiellt amerikanskt lagförslag som medför censur
Googles frontman Matt Cutts twittrar att han läser en artikel om en ny lag där man föreslår att skapa en firewall runt hela USA. Protect IP har släppts och nu kommer stark kritik från teknikföretag och innehållsleverantörer. Kritiker säger att lagförslaget skulle kräva att Internet Service Providers tar bort innehåll som inkräktar på upphovsrätten, utan bevis eller rättegång krävs och inkluderar tekniker som filtrering av domännamn.
Förslaget i sin nuvarande form kommer innebära att olika ISP:s kommer tvingas blockera webbplatser och ta bort innehåll på webbplatser som inkräktar på upphovsrätten. Det har och kommer att debatteras ifall förslaget står i strid med första tillägget i konstitutionen.
Propositionen, HR 3216, Stoppa piratkopierings lagen, som infördes av representantshusets juridiska kommitté ordförande Republikanen Lamar Smith (Republikan från Texas) den 26:e oktober, syftar till att skydda mot växande piratkopiering och verkar vara en utvidning av Protect IP-lagen. Protect IP-lagen (S. 968) som introducerades av senatorn Pat Leahy (Demokrat från Vermont) i maj i år. Lobbyorganisationer som välkomnar den här typen av lagförslag är National Association of Manufacturers (NAM), Business Software Alliance (BSA)
Vad som gör det här riktigt obehagligt för oss i Sverige är molntjänster som vi använder kan omfattas av dessa typer av lagar….
Andra källor: http://www.gsnmagazine.com/node/24842?c=cyber_security
Europa VS Facebook
De senaste uppdateringarna på Facebook har inneburit en protest form på fejjan. Det verkar som Facebook lanserat de senaste tjänsterna utan att tänka igenom alla konsekvenser. Företaget har väl varit pressade från konkurrensen kring lanseringen av Google plus.
Vi är nog rätt många som är kritiska hur informationen på Facebook används och det är rimligt att anta att underrättelsetjänster har egna API:er till de sociala tjänsterna.
På en blogg varnar man kring hur FB kan användas för social manipulation:
”This is great. Now I can view your entire life timeline quick and easy and find out where you were born, which schools you went to, where you have lived, where you have worked and family members’ names. I can learn everything about you, then take that information and get myself a birth certificate in your name, open a bank account, take out a mortgage all in your name HeHe – if I were a criminal!!!!!!. OR I could just follow your Timeline, look at your pics and see what days/times you like going out at and go rob your house OR wait until your Facebook updates and tells me when you start watching a movie so I can sneak in the bathroom window while your distracted – awesome!”
Nu verkar det som om Facebook kommer granskas av Irlands motsvarighet till datainspektionen. Det kan nog ses som ett första steg mot den sociala media jätten i Europa och hur de handskas med privata uppgifter.
Förutsättningarna för objektivitet vid granskningen är kanske inte de bästa. Irland är känt för att ha varit extremt generös kring de IT-bolag som har etablerat sig på den gröna ön i form av skatter och nyetableringsstöd. Facebook har valt att placera sitt Europeiska huvudkontor på Irland och det är nog rätt välkänt att det är ett företag som man vill ha kvar på ön. Europeiska bolag som anlitar deras tjänster för annonsering undviker i hög grad momsen vid annonseringen vilket är ett problem som allt fler börjar uppmärksammas.
På senare tid har det börjat dyka upp sajter som Europa Vs Facebook där missnöjet med nätverksgiganten blir mer och mer tydligt. I sammanhanget är det kanske inte en slump att just Tyskland är ett av de länder som är mest kritisk mot att använda personuppgifter och värna integriteten på nätet och driver den här typen av frågor. Framgångarna för tyska Piratpartiet för några veckor sedan är något som ligger i tiden i tiden. Tysklarna använder inte personnummer vilket det naturligtvis finns historiska orsaker kring. Tyskarna fick lära sig den hårda vägen vilka konsekvenser det kan innebära om man inte värnar den personliga integriteten.
Kommentarer