DrazziB Website

Java Security Policy

Damien Raude-Morvan — 2011-10-01T13:38:18+02:00

Debug

Pour obtenir de l'aide :

java -Djava.security.debug=help ...

Exemple :

java -Djava.security.debug=access:failure ...

Java

Damien Raude-Morvan — 2011-10-01T13:28:49+02:00

J2EE

Tomcat

Tomcat est un serveur d'applications Java (Servlet et JSP) :

JNDI

Utilisation de JNDI pour manipuler des annuaires

JBoss

Clustering :
- http://docs.jboss.org/jbossclustering/cluster_guide/5.1/html/jgroups.chapt.html#d0e5598
- server/all/deploy/cluster/jgroups-channelfactory.sar/META-INF/jgroups-channelfactory-stacks.xml
- server/all/deploy/cluster/hajndi-jboss-beans.xml
- http://docs.jboss.org/jbossclustering/cluster_guide/5.1/html/clustering-jndi.html#d0e1811
- http://xebee.xebia.in/2009/12/03/jboss-clustering-in-5-minutes/
Securisation :

Maven

Maven Repository : rechercher et explorer les artifacts Maven
Plugin Maven2 pour Eclipse
Q4E : Intégration de Maven2 dans Eclipse devient un projet de la fondation Eclipse

Debian GNU/kFreeBSD

Damien Raude-Morvan — 2011-08-11T23:23:10+02:00

Debian GNU/kFreeBSD est une nouvelle saveur de Debian qui permet d'utiliser un noyau FreeBSD et un espace utilisateur avec les outils GNU (et non BSD). La version 6.0 de Debian ce portage en temps qu'aperçu technologique mais la prochaine version de Debian Wheezy pourrait proposer ce portage officiellement cette fois, toujours en plus du traditionnel noyeau Linux.

Utilisation de ktrace

ktrace est un programme qui permet d'activer le tracage des appels système pour un utilisateur ou pour un programme.

Exemple :

ktrace -- /usr/lib/jvm/java-gcj-4.6/bin/java -Dgnu.gcj.precompiled.db.path= Test

On obtient un fichier binaire ktrace.out que l'on peut lire avec l'outil kdump

kdump -f ktrace.out

Debian

Damien Raude-Morvan — 2011-08-11T23:17:41+02:00

Documentation

My Debian Work

http://wiki.debian.org/DamienRaudeMorvan

Git

Damien Raude-Morvan — 2011-05-08T19:38:39+02:00

Migration SVN-2-Git

Stratégie de migration :

La source est un repository SVN avec une structure classique trunk/branches/tags
La conversion sera effectuée via “git clone” (sans vraiment plus de nettoyage)
Le repository Git sera hébergée (“push”) sur une machine distante
Visible depuis une interface Gitweb

Conversion du projet

PROJECT=metacomp
cd ~/incoming/git-migration
git svn clone http://svn.drazzib.com/$PROJECT --no-metadata -T trunk -b branches -t tags $PROJECT
cd $PROJECT

Préparation du repository distant

PROJECT=metacomp
mkdir -p $HOME/git/$PROJECT.git
cd $HOME/git/$PROJECT.git
git --bare init
touch git-daemon-export-ok
git --bare update-server-info
mv hooks/post-update.sample hooks/post-update

ln -s /home/drazzib/git/$PROJECT.git /data/git/

Publication vers un repository distant

PROJECT=metacomp
cd ~/incoming/git-migration/$PROJECT
git remote add origin git+ssh://git.drazzib.com/home/drazzib/git/$PROJECT.git
git push origin master
git push origin master --tags

Références

Astuces

Modifier le dernier commit

Méthode “manuelle” :

git reset --soft HEAD^
[...MODIFS...]
git commit -a -c ORIG_HEAD

Méthode automatique :

[...MODIFS...]
git commit --amend

Installation de PostGIS/Osmosis/Mapnik pour rendu de tiles

Damien Raude-Morvan — 2011-05-07T16:35:43+02:00

Mis à jour le 07/05/2011: utilisation de Debian Squeeze (ie. beaucoup moins de composants à compiler)

Pré-requis

Debian Squeeze (6.0)
Apache2
Postgresql-8.3
OpenJDK 6
Subversion
20 Gb de libre sur le disque (pour une petite zone !)
Un répertoire de travail ~/osm/

aptitude -R install subversion bzip2 unzip python build-essential
aptitude -R install apache2 apache2-mpm-prefork
aptitude -R install postgresql-8.4
aptitude -R install openjdk-6-jdk

Base PostGIS

Installation du module PostGIS

#> aptitude -R install postgresql-8.4-postgis

Tuning de la base de données

/etc/postgresql/8.4/main/postgresql.conf

shared_buffers = 128MB
checkpoint_segments = 10
maintenance_work_mem = 256MB

#> /etc/init.d/postgresql restart

Erreurs et solutions

Après ces changement de paramètres de PostgreSQL, vous risquez d'avoir avez un message d'erreur signalant qu'il n'est pas possible d'allouer autant de mémoire partagé sur votre système. Vous pouvez corriger cela avec la commande suivante (valable jusqu'au prochain redémarrage de la machine)

#> sysctl -w kernel.shmmax=268435456

Si vous souhaitez que le réglage soit persistant, il faut l'ajouter dans le fichier /etc/sysctl.conf

/etc/sysctl.conf

kernel.shmmax=268435456

Création d'une base PostGIS

Nous allons créer une base de données de type PostGIS :

Utilisateur : tilegen
Password : tilegen
Base de données : gis

#> su - postgres
$> createuser -P tilegen
$> createdb -E UTF8 -O tilegen gis
$> createlang plpgsql gis
$> psql -d gis -f /usr/share/postgresql/8.4/contrib/postgis-1.5/postgis.sql
$> psql -d gis -f /usr/share/postgresql/8.4/contrib/postgis-1.5/spatial_ref_sys.sql
$> echo "ALTER TABLE geometry_columns OWNER TO tilegen; ALTER TABLE spatial_ref_sys OWNER TO tilegen;" | psql -d gis

OSM2Pgsql

#> aptitude -R install osm2pgsql

Osmosis

Osmosis est un outil en ligne de commande qui permet de traiter les données d'OpenStreetMap :

Génération de dumps depuis la base
Chargement de dumps dans une base locale
Création de “diff” en utilisant l'historique de la base
Application de “diff” à une base lcoale
Comparaison de fichiers .osm
Réorganisation des données présentes dans un fichier .osm
Extraction des données d'unz zone ou d'un polygone

Pour installer la dernière version :

#> aptitude -R install osmosis
$> osmosis -v
6 mars 2009 23:07:39 com.bretth.osmosis.core.Osmosis run
INFO: Osmosis Version 0.34
[...]

Import des données

Import initial

Récupérer un fichier depuis http://download.geofabrik.de/osm/

$> cd ~/osm/
$> mkdir data-import
$> cd data-import
$> wget http://download.geofabrik.de/osm/europe/france/pays-de-la-loire.osm.bz2

Création (filtrage ?) d'un fichier .osm pour la zone qui nous intéresse (ici, Nantes)

$> osmosis --read-xml pays-de-la-loire.osm.bz2 --bounding-box left=-2.30 top=46.90 right=-0.90 top=47.70 --write-xml nantes.osm

Import de la structure et des données initiales :

$> osm2pgsql -m -d gis -H localhost -U tilegen -W nantes.osm

Tenir sa base à jour

Créer une configuration initiale pour la mise à jour via les “diff” par Osmosis : (le paramètre initialDate dépend évidemment de leur de votre dump initial - heure fournie par Geofabrik dans notre cas)

$> cd ~/osm/
$> cd data-import
$> osmosis --read-change-interval-init initialDate=2011-05-06_07:00:00

Nous allons créer un script replicate_osm_file.sh. Il sera déclenché toutes les heures par crontab. Son rôles : déclencher Osmosis afin appliquer les “diff” au fichier .osm

replicate_osm_file.sh

#!/bin/sh
# This script automates the replication of changes into an offline osm file for a specific area of interest.
# This allows an up-to-date local snapshot of an area to be maintained.
 
OSM_FILE=nantes.osm
TEMP_OSM_FILE=tmp.osm
WORKING_DIRECTORY=./
 
# The bounding box to maintain.
LEFT=-2.30
BOTTOM=46.90
RIGHT=-0.90
TOP=47.70
 
osmosis --read-change-interval $WORKING_DIRECTORY --read-xml $OSM_FILE --apply-change --bounding-box left=$LEFT bottom=$BOTTOM right=$RIGHT top=$TOP --write-xml $TEMP_OSM_FILE
if [ "$?" -ne "0" ]; then
        echo "Osmosis failed, aborting."
        exit -1
fi
 
mv $TEMP_OSM_FILE $OSM_FILE

Il suffit ensuite de relancer un import de la base avec ce fichier mis à jour :

$> cd ~/osm/
$> osm2pgsql -m -d gis -H localhost -U tilegen -W nantes.osm

Coastlines Shapefiles

$> cd ~/osm/
$> wget http://tile.openstreetmap.org/world_boundaries-spherical.tgz # (50M)
$> wget http://tile.openstreetmap.org/processed_p.tar.bz2 # (358M)
$> wget http://tile.openstreetmap.org/shoreline_300.tar.bz2 # (46M)
$> wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/10m/cultural/10m-populated-places.zip # (1.5 MB)
$> wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/110m/cultural/110m-admin-0-boundary-lines.zip # (38 KB)

$> tar xzf world_boundaries-spherical.tgz
$> tar xjf processed_p.tar.bz2 -C world_boundaries
$> tar xjf shoreline_300.tar.bz2 -C world_boundaries
$> unzip -q 10m-populated-places.zip -d world_boundaries
$> unzip -q 110m-admin-0-boundary-lines.zip -d world_boundaries

Mapnik

#> aptitude -R install mapnik-utils python-mapnik

Récupération des outils et fichiers de configuration Mapnik d'OpenStreetMap

$> cd ~/osm/
$> svn co http://svn.openstreetmap.org/applications/rendering/mapnik osm-mapnik
$> cd osm-mapnik

On définit nos options de configurations et on génère notre fichier osm.xml :

$> ./generate_xml.py osm.xml my_osm.xml --host localhost --user 'tilegen' --dbname gis --symbols ./symbols/ --world_boundaries ~/osm/world_boundaries --port 5432 --password 'tilegen'

Génération d'un fichier “image.png” d'exemple (centrée sur UK par défaut) :

$> MAPNIK_MAP_FILE=my_osm.xml ./generate_image.py

Mod_Tile et Renderd

Installation des headers pour la compilation du module Apache

#> aptitude -R install apache2-prefork-dev libmapnik-dev

Récupération de mod_tile depuis le SVN

$> cd ~/osm/
$> svn co http://svn.openstreetmap.org/applications/utils/mod_tile
$> cd mod_tile

Edition de la configuration :

renderd.conf

[renderd]
num_threads=4
tile_dir=/home/drazzib/osm/www/tiles/
stats_file=/tmp/renderd.stats
 
[mapnik]
plugins_dir=/usr/lib/mapnik/0.7/input
font_dir=/usr/share/fonts/truetype/ttf-dejavu/
font_dir_recurse=1
 
[default]
URI=/tiles/
XML=/home/drazzib/osm/osm-mapnik/my_osm.xml

Voir la configuration détaillée de renderd

Compilation et installation

$> make
#> make install

Le module mod_tile est copié dans le répertoire des modules d'Apache.

Il faut ensuite lancer le daemon qui sera en charge de recevoir les requetes de ce module. C'est ce daemon qui va dialoguer avec le système de rendu Mapnik. Pour le lancer :

$> cd ~/osm/mod_tile
$> ./renderd -f

Apache

/etc/apache2/sites-available/osm-tiles

LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so
 
<VirtualHost *:80>
    ServerName localhost
    DocumentRoot "/home/drazzib/osm/www/tiles"
 
    LoadTileConfigFile /etc/renderd.conf
 
    <Directory "/home/drazzib/osm/www/tiles">
        AllowOverride All
        Allow from All
    </Directory>
</VirtualHost>

Voir la configuration détaillée de mod_tile

Création des répertoires :

$> mkdir -p ~/osm/www/tiles
$> chmod -R 777 ~/osm/www

Activation du site :

#> a2ensite osm-tiles
#> /etc/init.d/apache2 reload

Création d'une page HTML utilisant les tuiles générées :

~/osm/www/tiles/index.html

<html>
<head>
    <title>OpenStreetMap</title>
    <script src="http://www.openlayers.org/api/OpenLayers.js"></script>
    <script src="http://www.openstreetmap.org/openlayers/OpenStreetMap.js"></script>
 
    <script type="text/javascript">
        var epsg4326 = new OpenLayers.Projection("EPSG:4326");
        var epgs900913 = new OpenLayers.Projection("EPSG:900913");
        var lat = 47.2169;
        var lon = -1.5495;
        var zoom = 11;
        var map;
 
        function init() {
            map = new OpenLayers.Map ("map", {
                controls:[
                    new OpenLayers.Control.Navigation(),
                    new OpenLayers.Control.PanZoomBar(),
                    new OpenLayers.Control.Attribution()],
                maxExtent: new OpenLayers.Bounds(-20037508.34,-20037508.34,20037508.34,20037508.34),
                maxResolution: 156543.0399,
                numZoomLevels: 19,
                units: 'm',
                projection: epgs900913,
                displayProjection: epsg4326
            } );
 
            var newLayer = new OpenLayers.Layer.OSM("local", "/tiles/${z}/${x}/${y}.png", {numZoomLevels: 19});
            map.addLayer(newLayer);
 
            var lonLat = new OpenLayers.LonLat(lon, lat).transform(epsg4326, map.getProjectionObject());
            map.setCenter(lonLat, zoom);
        }
    </script>
</head>
 
<body onload="init();">
    <div style="width:100%; height:100%" id="map"></div>
</body>
 
</html>