Internetimperiet

Botar är inte bra så länge de inte kommer från Google. Botar som försöker se ut som vanliga surfare med en generisk useragent är ännu värre. Driver Database råkar ut för några sådana då och då. Botar som man inte riktigt vet vad de gör, men som av någon anledning laddar ner / samlar info från min webbsajt. Givetvis kan man ju lägga till deras IP i .htaccess och på så vis blockera dem, men det upptäcker de ju snabbt och kommer snart tillbaka från ett nytt ställe.

Varför inte jävlas lite? Det gör jag nu. Dessa botar hamnar i en egen liten tabell i databasen och om de dyker upp på sidan visas inte originalsidan utan en annan sida med lite information om att jag inte vill ha dem där. Där finns även uppgifter om hur de gör för att få fortsätta använda sajten (om de faktiskt inte är botar, eller har en jävligt bra anledning till att köra sin bot). Dessutom genereras en slumpvist stor lorem ipsum-text i HTML-koden. Varför? Jo, på så vis kommer varje fil boten laddar ner vara olika stor och de kommer antagligen inte märka att något är snett. De fortsätter antagligen ladda ner hela sajten tills de är färdiga (vilket nog tar några dagar). När de då senare ska använda all min data upptäcker de att de bara laddat ner skit. Oj då.

Dagens elaka bot har nu laddat ner 286 skräpfiler. Den här gånger har de försökt gömma sig lite genom att skruva ner tempot på boten, men det sket sig lite ändå för dem.

Helst av allt skulle jag bara vilja modifiera all nuvarande information på sidan de försöker hämta så att den är helt galen, kanske översätta allt till egenpåhittade språk, byta ut alla jämna tal till små bilder på apor och sånt, men då skulle jag inte komma ifrån problemet att de använder för mycket resurser och att servern segar ihop.

Man kan inte få allt.

För någon månad sedan samlar Quantcast information om besökarna till Driver Database. Tanken är att potentiella annonsörer lite lätt ska kunna få relevant information. Döm om min förvåning när jag upptäckte att min målgrupp tydligen är ”somewhat male”. Det hade jag ingen aning om, nu måste jag nog tänka om i min strategi lite för att casha in på detta faktum.

”The site is popular among a more educated, somewhat male crowd.”

Här finns Quantcasts trafik- och målgruppsinfo:
driverdb.com – Quantcast Audience Profile

Har haft en intressant vecka. I måndags gick Driver Database segt som sirap. Jag upptäckte en skum bot i loggarna som verkade gå igenom hela sajten. Vet inte riktigt vad den pysslade med, men det kunde ju troligtvis inte vara något bra. Jag satte en liten deny på botens user-agent i htaccess och problemet var löst för stunden. Servern återgick till sin normala hastighet. Dagen efter var boten tillbaka, med modifierad user-agent. Jag lade då en deny på subdomänen hosten, som var en proxy till en domän ägd av Symantec. Dagen efter detta var boten tillbaka på en ny subdomän på samma domän. Då var det ju dags att ta till med hårdhanskarna och hela domänen förbjöds.

Fem timmar senare får jag epost. Det är en ”strategy analyst” på McLaren F1 som undrar om jag har gått och portat dem och de ber så hemskt mycket om ursäkt till om deras användade av sajten varit felaktigt. De bönar och ber om att få komma tillbaka eftesom de tycker sajten är ett mycket bra verktyg för att hålla koll på unga lovande förartalanger.

Jag lät dem komma tillbaka, om de kör sin bot (som jag inte riktigt vet vad den gör, men något skoj lär de ju göra med all data iaf) på nätterna och om de skruvar ner hastigheten på boten.

Så kan det gå.

Driver Database figurerar i lite reklam. Så kan det gå.

Det är snart april, en månad så god som någon. Jag tänker sätta upp ett mål för april. Inte ett fotbollsmål utan ett annat sorts mål. Ett internetmål.

Aprils internetmål är att få 60 000 besök på Driver Database. Det skulle innebära en ökning från mars månad med ungefär 15 000 besök. En rätt rejäl ökning med andra ord, men det är ganska långt från rekordmånaderna i slutet av förra året ändå. Dessa månader var ju dock lite speciella.

Jag har ännu inga konkreta planer för hur denna ökning ska gå till, så det kan gå lite hur som helst.

Matematiksnillen förstår genast att detta innebär ett snitt på 2000 besök om dagen.

Sikta högt. Typ.

Uppdateringar kommer även om de blir pinsamma.

Så här glad och stolt blir en arabisk prins när han har ett fint klistermärke på sin bil.

Jag lämnade buggen åt sitt öde i några dagar. I dag började jag kika lite igen och det var fortfarande helt osannolikt att det inträffade. Men så plötsligt kom jag på något, problemet ligger inte i koden utan i webbläsaren. Efter att ha testat lite upptäcker jag att Firefox laddar sidan två gånger; först som en POST (eftersom scriptet får data från ett formulär), men sedan hämtas det en gång till via GET. Tydligen har detta något med CSS-filerna att göra och det kan mycket väl ligga något syntaxfel där som skräpar och som gör att Firefox tycker det är nödvändigt att hämta en sida två gånger.

Gjorde lite ändringar så att raden (där jag förut trodde att buggen fanns) numera bara körs om sidan hämtas med hjälp av POST.

Nu känns det lite bättre.

Ska kika igenom CSS-filerna när jag orkar.

Tänkte lite snabbt och smidigt integrera PayPal för betalning med kort (och med PayPal då, givetvis) på Driver Database i morgon. Upptäckte dock att dokumentationen på PayPals API var på 124 sidor. Lite elakt att det skulle komma och slå mig i ansiktet så här precis innan läggdags.

Blir nog till att skumma rätt rejält, det är ju bara pengar och kreditkort det rör sig om. Inte hela världen, helt enkelt.

Jag och Google är precis hur tajta som helst. När andra är glada över att Google indexerar deras nya material på bara några minuter har Google minsann indexerat mitt nya material innan det ens fanns.

Så här såg det ut nyss i Googles index:

Inget konstigt kan man tycka. Men lite konstigt är det. För 26 minuter sedan fanns nämligen det inlägget bara i mitt huvud.