“Non importa quale sia il tuo business su Internet – mi ha detto di recente Richard Jalichandra, Amministratore Delegato di Technorati, motore di ricerca blog – in ogni caso sei destinato a competere in un modo o nell’altro con Google, non ci sono alternative…[Google non è] un gorilla qualunque, è King Kong”.
Ma a differenza di altri concorrenti di Google, Technorati sembra avere dalla sua una marcia in più. Se è vero che il motore di ricerca principale di Google ha mantenuto finora una posizione di dominio, il suo Google Blog Search, lanciato nel 2005, non è arrivato a tanto. E se è vero che alcuni siti che si occupano di analizzare il traffico degli accessi hanno rilevato che Google Blog Search sorpassa Technorati in termini di traffico, hanno indicato anche che più di metà viene da link derivati da Google News.
Jalichandra sostiene che, in termini di visite alla front page, Technorati sorpassa ancora il suo concorrente Google. Secondo Compete.com, Technorati ha avuto 2.5 milioni di visitatori unici, mentre Google Blog Search soltanto 1 milione.
Forse il motivo per cui la contesa è ancora aperta è il fatto che il settore dei motori di ricerca blog continua a presentare una serie di questioni irrisolte. Quando, alla fine degli anni 90, Larry Page e Sergey Brin hanno fondato Google, hanno scoperto il modo di far risultare le risposte più rilevanti a una ricerca, basandosi perlopiù sul numero di link in entrata di ogni sito. Ma quando le persone utilizzano un motore di ricerca blog, effettuano un tipo di ricerca completamente diverso, in cui la pertinenza ha un’importanza relativa; capita a volte che stiano cercando invece il contenuto più recente.
“Una delle cose che abbiamo imparato è che il 99% di tutte le ricerche relative ai blog cercano cose mai più vecchie di sei mesi”, dice Jalichandra. “Il 92% non più vecchie di un mese, e più del 70% di circa una settimana”.
Essendo io per primo un maniaco dei motori di ricerca blog, mi capita di frequente di effettuare una ricerca su contenuti del giorno prima, o in alcuni casi – soprattutto se riguardano qualche news improvvisa o eventi sui cui si blogga in diretta – addirittura nel giro di cinque minuti. Ma quando succede che un motore di ricerca inizia a preferire la pertinenza alla velocità, ecco comparire la solita esplosione di pop up di spam. A causa del fatto che è relativamente facile aprire un blog, gli spammer sono in grado di produrne migliaia in un weekend, e programmarli per intrufolarsi e rubare contenuti da milioni di siti. I motori di ricerca blog vengono quindi bombardati da rumorosi pop up che inevitabilmente finiscono per comparire nei risultati delle ricerche.
Ma forse a prevalere su tutta la faccenda c’è la crescente richiesta di monetizzazione da parte dei motori di ricerca blog. Le persone li utilizzano con criteri molto diversi da quelli normali; è difficile che troviate qualcuno che utilizza Technorati per cercare un elettricista o una casa in affitto. Il motivo di ciò è il fatto che il keyword search advertising – enorme fonte di guadagno per il motore di ricerca principale di Google – non ha avuto successo su Technorati.
“La ricerca relativa ai blog è molto diversa – dice Jalichandra – Gli utenti vogliono contenuti, non trovare un idraulico…quello che le persone sono davvero interessate a trovare con la ricerca blog sono conversazioni fatte o a cui partecipare, ed è un motivo molto diverso”.
La “crisi di identità” di Technorati
Aver capito che il keyword advertising non era una fonte di guadagno ha portato Technorati a ciò che Dorion Carroll, il vicepresidente della società, ha definito una “crisi di identità”. Il sito ha già avuto una mezza dozzina di restyling dal suo lancio nel novembre del 2002, alcuni dei quali hanno radicalmente ridefinito che tipo di contenuti dovevano comparire sulla front page.
E a seguito di questi cambiamenti, il sito si è attirato l’accusa da parte di alcuni tech bloggers di aver perso negli anni quello che era il punto focale di Technorati: la ricerca. Per lungo tempo la barra di ricerca, che per alcuni è lo strumento più importante, è stato spostato nella parte sinistra della pagina, uno spostamento che per qualche cinico potrebbe aver rappresentato da parte di Technorati il tentativo di porre la ricerca in secondo piano. L’azienda è così diventata un aggregatore di contenuti, che mostra il video più popolare, news e post discussi nella blogosfera. In seguito è stato sviluppato un algoritmo in stile Techmeme che sottolinea i post e articoli importanti che hanno infiammato la rete.
“All’inizio del 2007 o alla fine del 2006 abbiamo spostato molta della nostra attenzione – e davvero, col senno di poi, lo abbiamo fatto in modo errato – verso le persone che neanche sapevano necessariamente cosa fossero i blog, o a cui non importava”, dice Carroll. “Ed è in quel momento lì che un sacco di funzioni orientate alla ricerca sono state sottovalutate. E probabilmente è stato un altre errore, quando il nostro servizio doveva essere una risorsa per blogger e persone che leggono i blog e per gli addetti al marketing che vogliono raggiungere o avere un’influenza su quei blogger per arrivare ai loro lettori. Quello che dobbiamo fare è stare al centro della blogosfera”.

Problemi di affidabilità
Forse però il problema più grosso di Technorati si è manifestato un anno fa, quando ci furono cotanti interruzioni e i blogger spesso non riuscivano ad accedere al sito per diverse ore. E anche quando il sito si caricava, qualche volta ci voleva più di un minuto per completare una ricerca oppure per un termine popolare non usciva nessun risultato.
Il Technorati Monster è la figura che il motore di ricerca utilizza nei casi di blocco per un guasto, come la Fail Whale di Twitter. Ma alla fine il mostro è fuggito così tante volte che la porta della sua gabbia sembra aperta.
“Storicamente lo spam è stato un grosso problema”, mi dice Carroll. “Durante l’estate abbiamo avuto interruzioni, segnalate dall’apparizione del messaggio del mostro, provocate direttamente dal significativo aumento sia dello spam che tentava di entrare nel sistema che probabilmente anche di più – ed ecco perché usciva fuori il mostro – dagli spammer che in realtà facevano la coda per utilizzare il nostro motore di ricerca”.
Dato che gli “spam blog” (noti anche come splog) beneficiano dei risultati nelle ricerche sui blog grazie a contenuti costantemente aggiornati, passano il tempo a procurarsi materiale da altri siti web e poi inviano migliaia e migliaia di “ping” ai crawler dei motori di ricerca (quei software che analizzano i contenuti di una rete in modo metodico e automatizzato). Quei ping hanno invaso i server di Technorati e hanno disabilitato in pratica le funzioni di ricerca dei crawler sui blog “legittimi”. Carroll dice che a un certo punto avevano a che fare con un traffico cinque volte maggiore del normale, tutto a causa degli spammer, un fenomeno che ha messo praticamente in ginocchio il sito.
Nicholas Carr, che scive di tecnologia ed è autore di un saggio pubblicato dalla rivista Atlantic che ha ampiamente circolato (“Google ci rende stupidi?“), si è recentemente espresso sui problemi di affidabilità di Technorati sul proprio blog.
In un post intitolato “Il web centripeto”, ha rilevato che un certo numero di aziende del web 2.0 con poco personale – Technorati e il lettore RSS Bloglines, per esempio – vengono superati dai prodotti di Google proprio perché disponde dell’infrastruttura, di un vasto staff e di grossi “server farm” necessari a gestire milioni di utenti. Così, anche se i prodotti di Google non sono necessariamente meglio, gli utenti finiscono per migrare verso il primo motore di ricerca del mondo per superare la frustrazione provocata dai suoi concorrenti meno affidabili.
“[Technorati] aveva una buona copertura e aveva qualche funzione specifica per I blog”, mi dice Carr. “Dunque se stavi facendo una ricerca su te stesso o su qualcosa, era l’unica possibilità. Google ha lanciato la sua ricerca blog e l’ho provato, ma per un po’ sono rimasto con Technorati solo perché Google non sembrava abbastanza esauriente; non aveva così tanto strumenti di ricerca”.
“Ma quello che ho scoperto è che nel corso del tempo – credo un anno fa – ho capito che stavo usando Google Blog Search e che era molto migliorato rispetto a Technorati. Penso che le ragioni siano due. Una è che Google Blog Search non ha il tipo di problemi tecnici che affliggono Technorati. Come è il caso di molti motori di ricerca Googgle, è davvero veloce. E ha anche cominciato ad essere esauriente nello stesso modo, e anche molto rapido a trovare i nuovi post sui blog”.
Carr ha scoperto anche che è più conveniente poter cliccare facilmente avanti e indietro tra i diversi motori di ricerca di Google. Per esempio, si può digitare un termine sul principale motore di Google e poi provare lo stesso termine per la ricerca di immagini, notizie, blog e (“mi sento molto ambizioso”) libri .
“Credo che quel vantaggio, che dipende molto dalle dimensioni di Google, indichi come è difficile per un attore piccolo e specializzato – certamente nel mondo della ricerche sul web ma anche per quanto riguarda altri strumenti e funzioni Internet – competere contro il ‘big guy’, il tizio grande e grosso”.
Risultati irrilevanti
Questo non significa che anche Google non abbia i suoi problemi. Non è raro che i suoi risultati di ricerca possano essere infestati dagli splog, e qualche volta occorre scorrere parecchie pagine di risultati sono per trovare un pugno di post di blog veri e rilevanti.
Ma recentemente il motore di ricerca ha ricevuto altre critiche per il nuovo metodo che ha applicato per indicizzare i post dei blog: piuttosto che utilizzare i feed RSS e indicizzare gli stessi post, ha cominciato a indicizzare intere pagine, includendo i contenuti nelle barre laterali. Ciò ha provocato immediatamente proteste, perché è fortemente aumentato il numero di risultati non rilevanti che compaiono nelle ricerche.
“Questo significa, per esempio, che ogni volta che JD Lasica aggiunge una nuova foto al suo blog, nel cui blogroll compare Wordyard, ottengo una nuova lista di Google Blog Search relativa a Wordyard, anche se il post non ha nulla a che fare con Wordyard”, ha scritto recentemente Scott Rosenberg, autore del blog Wordyard. “Questo per me ha completamente incasinato l’utilità della ricerca Google; e da quello che vedo scrivere da altri blogger seri, la pensano così anche molti altri utenti”
Ho chiesto a Jeremy Hylton, ingegnere del software di Google, di questo importante problema. Gli ho chiesto qual è il ragionamento di Google dietro il cambiamento e da quanto è stato attuato. Ha detto che Google ha varato la novità a ottobre.
“Ci sono un sacco di blog interessanti che nel feed forniscono solo un breve sommario dei loro post”, dice Hylton. “Stiamo facendo un lavoro migliore per quanto riguarda la classifica dei risultati, perché vediamo una struttura di link più ricca e più testo. La modifica rende il lavoro di ricerca sui blog molto più vicina a una ricerca web, cosa che sarà la base di numerosi miglioramenti nel 2009″.
“Quando gli ho parlato delle proteste sul fatto che questo cambiamento ha aumentato il numero dei risultati non rilevanti, Hylton ha ammesso il problema ma al tempo stesso ne ha sminuito l’importanza, affermando che riguarda solo un piccolo numero di blog.
“Abbiamo visto che poche ricerche erano interessate da questo problema quando abbiamo valutato la modifica, ma abbiamo sottovalutato il numero di utenti colpiti,” dice Hylton. “Se un blog è molto famoso, allora questi link sono molto comuni. Stiamo lavorando in diversi modo per risolvere questo problema. Abbiamo introdotto una modifica per le ricerche (di link), la settimana scorsa, che ha ampiamente ridotto il numero di risultati legati ai blogroll, ma non li ha eliminati tutti. L’idea di base è di cercare il testo e il il markup comune a tutti i post di un blog. Non otteniamo ancora quello giusto per ogni pagina, ma stiamo continuando a migliorare l’algoritmo”.
Ho chiesto a Hylton dati su Google Blog Search e su quanti utenti transitano per la pagina principale del motore di ricerca blog, ma ha risposto che la politica dell’azienda gli impone di non fare dichiarazioni su questi temi. Ma anche se la maggior parte delle richieste per la ricerca di blog provenissero da Google News, il sito rappresenta comunque una minaccia significativa alla fetta di mercato di Technorati.
Un modello emergente di business
Nonostante i problemi di difficoltà d’uso di Technorati in passato, il motore di ricerca recentemente ha presentato una serie di modifiche, tra cui una difesa più stringente contro gli spam blog, attraverso la quale diminuire fortemente il peso sul server. E dal cambiamento nel modo in cui Technorati utilizza i tags, Carroll afferma che anche la qualità della ricerca è migliorata, che le interruzioni quasi non si verificano più e che i risultati delle ricerche arrivano a una velocità maggiore di almeno tre volte (la mia analisi non scientifica conclude che in questo c’è qualche verità).
Forse la cosa più importante è che il team di Technorati – che dopo tutti questi anni conta ancora meno di 50 persone – pensa di essere riuscito a trovare un modo per far guadagnare il sito:attraverso una rete di pubblicità sui blog.
“Circa un anno fa, con l’arrivo di Richard (Jalichandra come amministratore delegato), abbiamo capito che disponevamo di una quantità incredibile di dati che non hanno valore solo per i blogger e i loro lettori, ma che hanno anche aiutato chi vende a raggiungere molti dei suoi obiettivi”, dice Carroll. “E da un anno stiamo cercando di rifinire la puntellatura delle nostre funzioni di ricerca e del crawling per renderlo più efficiente e, si spera, per avere una migliore qualità nei risultati. Ma allo stesso tempo stiamo vedendo come si può utilizzare lo stesso flusso di dati per usarlo nell’advertising”.
“Se ci si pensa, Google ha cominciato come motore di ricerca, ma non si è guadagnato la sua fetta di mercato multimilionario per il suo motore di ricerca; ci è riuscito grazie a AdSense e AdWords, perché ha la capacità di prendere i dati che ottiene dall’intero web e trasformarli e in criteri di target”, dice ancora Carroll. “Noi non stiamo cercando di competere testa a testa con Google, ma in un modo simile, nella blogosfera, possiamo prendere l’incredibile quantità di dati che abbiamo e produrre funzioni significative per i blogger, per i loro lettori, per consentirgli di cercare e scoprire, ma anche per aiutare i venditori a identificare i posti giusti dove vendere, non solo su Technorati.com, ma in tutta la blogosfera”.
In questo senso, spiega, la “crisi d’identità” del sito è finalmente terminata e i suoi dipendenti sentono di avere una visione molto più chiara di come andare avanti.
[...]
E’ troppo presto per dire se Technorati riuscirà a metter a segno un colpo decisivo nella guerra sulla ricerca blog, o se la sua rete di blog riuscirà a competere con attori già forti nel settore, ma la perseveranza dell’azienda dovrebbe essere studiata da altre start-up che devono evolvere per sopravvivere all’ombra – l’enorme ombra – di Google.

Simon Owens è un ex giornalista di quotidiani e un direttore assoiato di MediaShift. attualmente lavora come analista online per New Media Strategies. Si possono leggere altri suoi interventi sul suo blog o lo si può contattare all’indirizzo di posta elettronica simon[.]bloggasm [at] gmail.com.
Questo reportage è stato pubblicato il 22 dicembre sulla rivista online MediaShift.

(traduzione di Claudia Montanari)