Creare una mappa personalizzata da OSM: lo script

Come prometto a vuoto da mesi, finalmente mi voglio mettere a scrivere un articolo per spiegare un sistema completamente automatico mediante script bash per generare una mappa a partire dai dati di OpenStreetMap. Lo script è un allegro guazzabuglio di utility da riga di comando destinate a scaricare i dati dal server OSM sotto forma di xml, “compilarli” per generare un file SVG, convertire tale file in un PNG e aggiungerci qualche particolare utile: un header, un footer con il copyright, un frame di contorno e una scala kilometrica. Questo articolo, come i miei fedeli lettori avranno già intuito, nasce da una fusione di precedenti post: questo, questo, questo, questo.

Per iniziare i requisiti:

• Avremo bisogno di un computer linux connesso alla rete (e fin qui…); io uso Ubuntu, non posso garantire il funzionamento di tutte le utility richiamate da questo script su altre piattaforme, anche se probabilmente su Mac si può fare (se qualcuno ci prova mi faccia sapere che aggiornerò l’articolo). Ovviamente Windows non è neanche preso in considerazione.
• Avremo bisogno di queste utility, scaricabili dal repository: xsltproc (nell’installazione di default, a quanto mi risulta), wget (idem), convert+composite (nella suite ImageMagick), bc.
• Avremo bisogno del programma per calcolare la distanza in chilometri tra due punti espressi in coordinate GPS, di cui ho parlato in precedenza (in questo post, nella sezione “un programma in C”). Copiarlo in un editor di testo, compilarlo seguendo le istruzioni nel post e avere cura che l’eseguibile si chiami “calcola” (senza alcuna estensione), non “converti” come nell’esempio.
• Per finire, avremo bisogno di una serie di files da scaricare dai repository di openstreetmap, che ci serviranno per compilare la mappa vera e propria.

In riferimento all’ultimo punto dell’elenco, avremo bisogno di un ambiente di lavoro costituito dalla seguente struttura di cartelle:

data
|– osm-map-features-z17.xml
|– calcola
|– renderizza (così chiameremo lo script che andremo a utilizzare)
|– osmarenderer.xsl

stylesheets
|– symbols
|– il contenuto di questa cartella

Uhm.. dovremmo avere tutto, spero di non aver dimenticato nulla.. Per semplificarvi la vita, ho provveduto a uppare su una condivisione box.net uno zip con tutto il necessario per cominciare a renderizzare (sempre se non mi sono dimenticato nulla); scaricate pure qui. A questo punto manca solo lo script, che come ho detto prima si chiamerà, con molta fantasia, “renderizza” (beh, potete anche cambiargli il nome).

Ecco dunque l’agognato script, pezzo per pezzo:

Impostiamo un pò di variabili che ci verranno buone per dopo. Le uniche da modificare sono ovviamente le coordinate GPS (latitudine e longitune) della zona che vogliamo inserire nella mappa

# coordinate gps zona
# nb: max 0.25 gradi sia latitudine che longitudine

MAXLAT=45.8239
MINLAT=45.8045
MAXLON=10.0841
MINLON=10.0584

# nomi file
OSM=”data.osm”     # nome del file dati OSM
SVG=”map.svg”    # nome dell’output in formato svg
PNG=”map.png”    # nome dell’output in formato png

Recuperiamo i dati aggiornati:

echo “recupero dati dal server OSM…”
wget -O ${OSM} http://api.openstreetmap.org/api/0.5/map?bbox=$MINLON,$MINLAT,$MAXLON,$MAXLAT

Eseguiamo il rendering:

# livello del rendering
livello=17

# identifica il livello di dettaglio del rendering;
# per aree piccole conviene usare il livello 17;
# per eseguire il rendering sarà richiesto il
# file osm-map-features-zXX.xml (XX = livello).

echo “rendering mappa..”
xsltproc osmarender.xsl osm-map-features-z${livello}.xml > ${SVG}

Convertiamo la mappa (in formato SVG) in un file grafico PNG, più facilmente utilizzabile:

# —- conversione mappa in png

density=600     # risoluzione del file grafico.
scale=1000         # dimensione in px del file grafico

echo “conversione in PNG…”
convert -density ${density} -scale ${scale} ${SVG} ${PNG}

Aggiungiamo un header con un testo a scelta. In questo caso inserisco il mio nome e la data dell’aggiornamento (ovvero la data corrispondente al file dati).

# —- aggiunta header

echo “aggiunta della data alla cartina..”
convert xc:white -resize 1×15! blank.ppm
convert -append blank.ppm ${PNG} intermediate.ppm
convert intermediate.ppm -gravity “North” -draw “text 0,3 ‘Updated on: $(date -r ${OSM}) by PicciMario’” ${PNG}
rm blank.ppm intermediate.ppm

Aggiungo un footer con un copyright OSM.

# —- aggiunta footer

echo “aggiunta copyright alla cartina..”
convert xc:white -resize 1×20! blank.ppm
convert -append  ${PNG} blank.ppm intermediate.ppm
convert intermediate.ppm -gravity “South”
(continua) -draw “text 0,3 ‘Copyright 2008 OpenStreetMap (openstreetmap.org)’” ${PNG}
rm blank.ppm intermediate.ppm

La parte più incasinata: creo il simbolo della scala e lo inserisco nella mappa

# —- aggiunta scala

echo “aggiunta scala 1km”

# calcola larghezza in km della mappa
larghezza=$(./calcola $MINLON, $MAXLON, $MINLAT, $MINLAT )
# misura la larghezza in px della mappa
larghezzapixel=$(identify -format %w $PNG)
# calcola l’equivalenza px/km
pixel1km=$(echo “$larghezzapixel/$larghezza” | bc)

# creazione simbolo scala
framewidth=1
scalesymbol=scale.png
scaleheight=10
scalecolor1=xc:blue
scalecolor2=xc:white

pixel100m=$(echo “($pixel1km-(2*framewidth))/10″ | bc)
convert ${scalecolor1} -resize ${pixel100m}x${scaleheight}! block1.ppm
convert ${scalecolor2} -resize ${pixel100m}x${scaleheight}! block2.ppm
convert +append block1.ppm block2.ppm block1.ppm block2.ppm block1.ppm block2.ppm block1.ppm block2.ppm block1.ppm block2.ppm ${scalesymbol}
convert -mattecolor blue -frame ${framewidth}x${framewidth} ${scalesymbol} ${scalesymbol}
rm block1.ppm block2.ppm

# aggiunta del simbolo alla cartina
composite -geometry +10+30 -gravity southwest ${scalesymbol} ${PNG} ${PNG}

rm ${scalesymbol}

E per finire l’aggiunta di un bordino blu di rifinitura.

# —- aggiunta frame di contorno al file completo

echo “aggiunta frame…”
convert -mattecolor blue -frame 1×1 ${PNG} ${PNG}

echo “operazione completata.”

Facile, no? Si, lo so, è abbastanza contorto.. Ma ha l’innegabile vantaggio che, una volta pronto, non devo fare altro che andare nella cartella, scrivere ./renderizza e lui fa tutto e mi presenta la bellissima cartina completa.

Ad esempio, mi piacerebbe metterlo nel cron del mio server per mostrare su una pagina web la cartina del mio paese con aggiornamenti giornalieri (peccato che il mio server è un computer di 10 anni fa e per fare il rendering ci mette 20 minuti). Se poi pensiamo alla possibilità di modificare il file xml (osm-map-features ecc..), che descrive il modo in cui la mappa è creata, possiamo ottenere infinite potenzialità di personalizzazione della mappa da noi creata (modificare i simboli, le dimensioni e i colori delle strade, scegliere cosa inserire e cosa no, …).

Beh, per oggi mi accontento di questo.. Fatemi sapere se il sistema vi piace e in caso mandatemi un link delle vostre opere d’arte

Ciao a tutti!

Confronto tra OpenStreetMap e Google Maps

Il passante di Mestre è stato inaugurato ieri.. ieri sera era già di OpenStreetMap, mentre su Google Maps non c’è ancora.. Un’altra dimostrazione della potenza della comunità, e delle potenzialità di uno strumento aperto e di tutti…

Ps: vi consiglio un’interessante pagina in cui si possono mettere a confronto i dati di Google Maps e OSM.

Mica male, considerando il fatto che i primi sono pagati fior di quattrini e realizzati da società specializzatissime, mentre i secondi sono raccolti da appassionati e sostenitori che lo fanno per passione e nel tempo libero..

Ps: come nota personale, questo è il permalink per il confronto tra le mappe del mio paesello (quelle di OSM le ho fatte tutte io ); si, non ho ancora concluso, però quello che c’è non è male, no?

OpenStreetMap: la mappatura della Striscia di Gaza

In questi giorni di guerra la comunità OpenStreetMap internazionale ha dato il via a un progetto tanto affascinante quanto ambizioso: la mappatura completa della Striscia di Gaza. L’obiettivo è quello di creare una mappa il più possibile dettagliata di questa infelice area in mano ai terroristi, per offrire alle associazioni umanitarie la cartografia (che ricordiamo essere completamente libera e gratuita) per potersi muovere in quelle zone.

E’ però evidente che la consueta modalità di mappatura (gente che passeggia allegramente con un’antenna gps in tasca) non è realizzabile, da cui la necessità di utilizzare come fonte di dati delle foto aeree; tali foto devono dunque essere acquistate dalle società che le realizzano, cose per la quale è già iniziata una raccolta fondi. Se volete partecipare alla raccolta o alla successiva elaborazione delle informazioni troverete ogni dettaglio alla pagina del progetto. Sono inoltre già attive altre modalità di mappatura: per esempio delle foto aeree delle mappe di Yahoo, che già da tempo ha autorizzato l’inserimento dei propri dati su OpenStreetMap, o altre cartografie libere.

La mappatura sta proseguendo bene, come potete verificare nell’apposita pagina; zoomando vedrete che moltissime strade, sentieri ed edifici sono stati indicati correttamente; il lavoro da fare è però ancora molto.

Si tratta di un progetto importantissimo su diversi fronti: oltre all’indiscutibile utilità umanitaria è anche un banco di prova per la comunità OpenStreetMap e un modo per far conoscerla al mondo intero. Se potete, tenete d’occhio la situazione e contribuite.

Creare mappe personalizzate con i dati di OpenStreetMap

Una delle cose più interessanti del progetto OpenStreetMap, a mio avviso, è il fatto che tale progetto mantiene un archivio non di semplici mappe bensì dei dati necessari a realizzarle; parliamo di descrizioni vettoriali di strade con relativi tag descrittivi, descrizioni di aree, ma anche infinite tipologie di punti di interesse (si va dai negozi fino alle strisce pedonali, passando per i parcheggi e le fontanelle d’acqua potabile).

Questa mole di dati non può entrare tutta in un’unica mappa, sarebbe inutile. Esiste però la possibilità di utilizzare questi dati per generare una mappa personalizzata, scegliendo ad esempio che tipo di POI (Point Of Interest) inserire; se voglio fare una passeggiata in bici, vorrò una mappa con le fontanelle dell’acqua potabile e i sentieri di montagna, e non avrò certo bisogno di conoscere la posizione di parcheggi o delle autostrade nella zona.

Oppure voglio solo renderizzare la mappa con gli ultimi dati disponibili, che magari ho inserito io: la mappa disponibile sul sito viene aggiornata solo una volta alla settimana, mentre i dati disponibili come vedremo in seguito sono sempre alla verione più recente.

Come posso fare a procurarmi i dati aggiornati da osm, selezionare la posizione che mi occorre, generare la mappa ed esportarla in un file grafico? Procediamo con ordine.

Recupero dei dati OSM

Il modo più semplice per recuperare i dati OSM è dalla mappa principale del progetto, su www.openstreetmap.org. Clicchiamo sulla tab “Export” in alto sulla pagina, scegliamo la zona desiderata sulla mappa e il livello di zoom richiesto. Sotto la voce “Format to Export” scegliamo “OpenStreetMap XML Data” (dimenticavo, l’opzione è disponibile solo per aree relativamente modeste (una cittadina al massimo, non una provincia) altrimenti i dati diventerebbero troppi). Volendo possiamo utilizzare l’opzione “Manually select a different area”, per selezionare un rettangolo particolare della mappa. A questo punto clicchiamo su “Export”, e rinominiamo il file scaricato in “data.osm” (vedremo poi il perchè).

Compilazione della mappa

Il prossimo passo è sfruttare il file osm appena scaricato per creare la mappa, per ora ancora in formato vettoriale. Per questa fase avremo bisogno dell’utility “xsltproc”, disponibile di default in Linux e Mac Os (gli utenti Winzoz si arrangino ). Questa utility altro non è che una sorta di compilatore per file xml: gli diamo in pasto un file xml (i dati scaricati), un file di comandi, un foglio di stile e lui in cambio creerà un file grafico vettoriale che rappresenta la mappa. Procediamo con ordine.

• Il file di comandi è l’”OsmRenderer”, il sistema di rendering utilizzato per le mappe complete del progetto OSM. Possiamo scaricarne l’ultima versione qui dall’svn di openstreetmap, nella cartella xslt/osmarender.xsl.

• Il file di stile è quello che, appunto, descrive cosa rappresentare sulla mappa e come rappresentarlo. Per iniziare scarichiamo il file utilizzato dal sistema di rendering di OSM per il livello di zoom 17 (quello più dettagliato). Lo possiamo trovare in stilesheets/osm-map-features-z17.xml. Non vale la pena perdere troppo tempo nel descriverne la sintassi, è tanto semplice e ben commentato che la cosa migliore è fare prove e confrontare i risultati finali, alla ricerca della soluzione migliore per le nostre esigenze. Basti sapere che è questo che dobbiamo modificare per decidere come sarà la nostra mappa personalizzata.

• Per finire, dobbiamo procurarci i files corrispondenti ai simboli speciali che saranno inseriti sui POI sulla mappa: la troviamo sempre nell’svn, nella cartella symbols/, che dovrà essere copiata (sempre con questo nome) all’interno della cartella in cui già si trovano i files procurati in precedenza. E’ possibile saltare questo passaggio, verranno mostrati dei warning in fase di compilazione ma la mappa verrà creata comunque.

A questo punto abbiamo il tutto, non ci resta che mescolare bene gli ingredienti:

xsltproc osmarender.xsl osm-map-features-z17.xml > map.svg

A questo punto abbiamo creato un file in formato svg contenente la rappresentazione della nostra bella mappa.

Ultimi ritocchi

C’è un problema solo da sistemare: il formato SVG non è certo un formato amichevole. E’ un formato vettoriale, il che significa che può essere ridimensionato a piacere senza perdere qualità, ma non è gestito da tutti i programmi di grafica in giro. Tanto vale trasformarlo in un comodo PNG, no?

Per la semplice visualizzazione (giusto per vedere se ci piace) possiamo aprirlo con Firefox3. Safari lo apre ma ho notato che lo visualizza male (non so perchè). Idem GIMP, almeno sul mio mac.

Per esportarlo in png ci conviene usare l’utility “convert”, della suite “ImageMagick”. Se non l’abbiamo sul sistema, possiamo installarla così:

su mac: con MacPorts installato è sufficiente un “sudo port install imagemagick”, altrimenti possiamo scaricare i binari precompilati dal sito.

su Ubuntu: basta un semplice “sudo apt-get install imagemagick”

Una volta installata possiamo utilizzarla per trasformare la nostra immagine svg in un comodo png. Il comando seguente, ad esempio, ci permette di creare un png di altezza 500px e qualità medio-alta:

convert -density 300 -scale 500 map.svg map.png

Ecco gli ultimi aggiornamenti che ho apportato alla mappa del mio paesello, in questa bellissima mappa fresca fresca di rendering:

Per un qualche motivo che non ho ben capito (e potrebbe benissimo essere dovuto all’accumularsi di esperimenti software dolorosi sul mio computer) il convert sul mac non mi funziona a dovere, quindi ho dovuto scavare alla ricerca di un’alternativa. L’utility migliore che sono stato capace di individuare è Squiggle. Con questo programma è possibile aprire l’svg, zoomarlo, spostarmi dove voglio e alla fine esportare comodamente l’inquadratura come file PNG.

Unica nota: spesso durante l’apertura del file svg Squiggle dà qualche problema, legato alla non perfetta aderenza del file creato con lo standard svg; basta dargli l’OK a qualunque indicazione di errore e poi ridimensionare la finestra aperta: la mappa verrà visualizzata correttamente lo stesso.

Il mio primo contributo a OpenStreetMap.org

OpenStreetMap è un progetto internazionale con l’obiettivo di realizzare una mappa stradale (e non solo) di tutto il mondo; la particolarità di tale mappa è che sarà realizzata dalla comunità e sarà completamente libera. “Realizzata dalla comunità” significa che chiunque desideri può intervenire sulla mappa e modificarla, contribuendo così alla sua crescita; “libera” significa che sarà per sempre disponibile gratuitamente per qualunque utilizzo.

Molti mi chiedono: ma perchè non usi semplicemente la mappa di google? E’ completa e bellissima! Beh, in effetti è vero: la mappa di Google è praticamente perfetta, ma c’è un problema: non è libera. Si, posso guardarla liberamente perchè Google mi permette di farlo, ma non posso ad esempio stamparla su un volantino pubblicitario (almeno, non legalmente), non posso inserirla in un navigatore satellitare progettato da me, non posso inserirla nel mio sito (se non seguendo le modalità pur ottime previste da Google), non posso modificarla per renderla conforme a mie particolari esigenza, insomma non posso farci nulla a parte quello che il detentore del copyright mi permette. Questo potrà non essere un problema per l’utente comune, ma per uno sviluppatore è un grosso, grossissimo limite. Un limite che con le mappe di OpenStreetMap non esiste.

Purtroppo però le mappe di OpenStreetMap non sono complete, anzi. Mentre molti paesi Europei e non sono già molto ben mappati, in Italia c’è ancora molto da fare: le grandi città sono ormai coperte tutte, ma per i paeselli siamo ancora indietro. E qui entra in gioco la comunità, che detto per inciso siamo tutti noi! Si può contribuire in qualunque modo, anche semplicemente intervenendo sulle strade già tracciate controllandone la correttezza, inserendo i nomi delle vie o i punti d’interesse (negozi, distributori di benzina, ma volendo anche strisce pedonali o cassette della posta); oppure è possibile tracciare nuove strade, percorrendole con un ricevitore gps in tasca e poi riportando i punti registrati sulla mappa mediante uno dei numerosi e semplicissimi sistemi di sviluppo.

Io ho deciso di seguire quest’ultima strada. In un articolo successivo spiegherò come ho fatto. Per ora vi dico solo che ho deciso di mappare il paesello di Lovere, che al momento nemmeno figura sulla mappa globale (come pure tutta la Valle Camonica, anche se le cose si stanno muovendo). Ho percorso (giusto per provare) un paio di strade tracciando la posizione gps con gpstrack e ho riportato il risultato su openstreetmap con JOSM. Nulla di che (ho avuto poco tempo), ma un buon punto di partenza.

Ecco la mappa di Lovere prima:

Desolante, eh? Ecco invece com’è dopo che ho fatto il mio primo esperimento di mappatura:

Ancora desolante, eh? Però meno di prima Con calma mi metterò d’impegno, passeggerò in lungo e in largo per il paese e man mano riporterò le tracce, fino a salvare tutte le strade! E mi aspetto che qualcuno mi dia una mano, ovviamente, mica posso mappare tutta la Valle Camonica da solo!