Some of them even run their own e-mail server. Those people would probably prefer to have their address book(s) and calendar(s) stored on their own server as well, which Android cannot do out of the box.

This blog post aims to give a brief overview over my current solution to this problem. It’s not 100% perfect yet, but I am quite satisfied with it already. I have been using this setup for a couple of months now, and did not encounter any problems of relevance. (*)

Software components involved

On your server:

• DAViCal – a free (GPL licensed) CalDAV/CardDAV server written in PHP; needs PostgreSQL as database server
  
• Optional: Roundcube Webmail with the CardDAV plugin – to manage your contacts from within any web browser (Roundcube is of course also a decent mail client)
  

On your desktop:

• Optional: Mozilla Thunderbird with the Lightning extension – to manage your calendar(s) from your Linux/Windows/Mac desktop
  

On your Android device:

• CalDAV-Sync app from Market or AndroidPIT for a bit more than 2€
  
  (Since CalDAV-Sync is just a backend app that facilitates syncing, this is a screenshot of the Android calendar, with the event that can be seen in the Thunderbird-Lightning screenshot above)
• CardDAV-Sync app from Market or AndroidPIT for a bit less than 1.50€ or free
  (Since CardDAV-Sync is just a backend app that facilitates syncing, this is a screenshot of the Android contact viewer, with the contact that can be seen in the Roundcube CardDAV screenshot above)
• Contact Editor or Contact Editor Pro app from Market or AndroidPIT (Pro costs a bit more than 2€, the free version lacks a few features)
  

A few notes regarding the components:

• Contact Editor is necessary because the default Android contact editor somehow does not work with custom contact sources. It integrates seamlessly once you have set it as default action upon adding/editing a contact for the first time after installation.
• There is currently no way to get Mozilla Thunderbird to sync contacts via CardDAV (there was an extension, but it seems to no longer be maintained, and I did not get it to work), which is a pity. I hope that will change soon – the current state of contact management in Thunderbird is really bad – but there is hope.
• There seems to be a calendar plugin for Roundcube as well (as part of the MyRoundcube plugin collection), and it seems to support CalDAV, but I couldn’t get it to work so far (and did not try hard, since I always have a Thunderbird with Lightning around, which is great for calendaring).

I’m planning to write more on how to get everything set up, but I currently don’t have time for that. The hardest part is getting DAViCal and PostgreSQL to work, in my opinion, all the other components basically just need a URL (to the previously set up DAViCal collection – e.g. https://your.server/davical/caldav.php/YOUR_USER/YOUR_COLLECTION), username and password to work.

Update (2012-01-28): Added some screenshots.
Update (2012-01-29): (*) Typical, I write about something, and then it breaks. It seems there is an incompatibility between the newly released DAViCal 1.0.2 and CalDAV-Sync. The CalDAV-Sync developer has confirmed the issue and is working on it.
Update (2012-01-30): The incompatibility – resulting in logged error messages – does not affect functionality (it was just me having set the account to “One-Way-Sync”)

By the way, what must be a very recent change in Gentoo’s packaging of PHP causes CalDAV-Sync to fail syncing, and the apache error log contains “[Sat Jan 28 08:30:48 2012] [error] [client x.x.x.x] PHP Fatal error: Call to undefined function cal_days_in_month() in /…/davical/inc/RRule-v2.php on line 906″ if you do not enable the ‘calendar’ USE flag for dev-lang/php (which is disabled by default).

The English Wikipedia will be taken offline for as long as 24 hours as a form of protest against the U.S. “SOPA” law, which is considered a threat for Internet Free Speech by the Wikipedia community and many others.

So… no ‘lemme look that up on Wikipedia’ from Wednesday 5:00 UTC to Thursday 5:00 UTC.

In this context I’d like to recommend watching Cory Doctorow’s speech on what he calls The Coming War on General Purpose Computation – the content mafia trying to shape the Internet may just be the beginning… For those who have a preview of what’s to come already (i.e. those living in China, for example): here is a direct link to download the video in MP4, and here is a torrent through which you can get the same MP4.

myworldtime.net/cool_timestamp/11-11-11_11:11:11_-11

So I added a ‘daemon’ USE flag, which makes it easy for Gentoo users to get TT-RSS to update the RSS feeds. When you emerge www-apps/tt-rss with USE=daemon, it will now install an init script to start the ‘ttrssd’ daemon (or multiple, if you have multiple TT-RSS instances on your host). This is the preferred way to keep the feeds updated, according to TT-RSS’s documentation.

So, if you need a great, centralised (i.e. synchronised state amongst your computers, phones, etc.) news aggregator that runs on your own server / web host, give tt-rss a try! And if you’re a Gentoo user, I’d appreciate if you could test the new ebuild’s features (USE=daemon), and give feedback here or open a bug report if there is anything that could be improved further.

There is a caveat though – quoting Wikipedia:

In SSDs, a write operation can be done on the page-level, but due to hardware limitations, erase commands always affect entire blocks. As a result, writing data to SSD media is very fast as long as empty pages can be used, but slows down considerably once previously written pages need to be overwritten. Since an erase of the cells in the page is needed before it can be written again, but only entire blocks can be erased, an overwrite will initiate a read-erase-modify-write cycle: the contents of the entire block have to be stored in cache before it is effectively erased on the flash medium, then the overwritten page is modified in the cache so the cached block is up to date, and only then is the entire block (with updated page) written to the flash medium. This phenomenon is known as write amplification.

So, SSDs are fast at writing, but only when their free space is neatly trimmed. The only component in your software stack that knows which parts of your SSD should be trimmed, is your file system. That is why there is a file system option in ext4 (my current file system of choice), called “discard”. When this option is active, space that is freed up in the file system is reported to the SSD immediately, and then the SSD does the trimming right away. This will make the next write to that part of the SSD as fast as expected. Obviously, trimming takes time – but how much time exactly? I wanted to find out, and did the following: I measured the time to unpack and then delete the kernel sources (36706 files amounting to 493 MB, which is what I call a big bunch of small files). I did it three times with and three times without the “discard” option, and then took the average of those three tries:

Without “discard” option:

• Unpack: 1.21s
• Sync: 1.66s (= 172 MB/s)
• Delete: 0.47s
• Sync: 0.17s

With “discard” option:

• Unpack: 1.18s
• Sync: 1.62s (= 176 MB/s)
• Delete: 0.48s
• Sync: 40.41s

So, with “discard” on, deleting a big bunch of small files is 64 times slower on my SSD. For those ~40 seconds any I/O is really slow, so that’s pretty much the time when you get a fresh cup of coffee, or waste time watching the mass storage activity LED.

Conclusion
Don’t enable the “discard” option if you have a similar SSD. A much better way to keep your free space neatly trimmed for good write speeds is, to trigger a complete walk over the file system’s free space, and tell the SSD to trim that all at once. And of course you would do that at times when you don’t actually want to use the system (e.g. in a nightly cron job, or with a script that gets launched during system shutdown). This can be done with the ‘fstrim’ command (that comes with util-linux), which takes around six minutes for my currently 60% filled 95 GB file system.

Update (2011-07-08): I forgot some details that may be interesting:

• Kernel version: 2.6.39.2
• SSD firmware version: 1.32
• CPU: AMD Phenom II X4 965

Recently I discovered the Android App TT-RSS Reader which solves exactly that problem. It connects to your TT-RSS instance via an API, and brings all your feeds, with all their states just as on the web interface, to your Android device. The interface is specifically designed for touch screens, so it’s much easier to navigate through your feeds and articles than via the web interface. Furthermore, it can cache articles and images, which you can trigger while on WiFi before leaving the house, and then read everything on the way in Offline mode, to save mobile traffic, which is expensive and/or slow for some. When you’re back on WiFi, you switch back to Online mode, and TT-RSS Reader synchronises your state to your TT-RSS instance. Absolutely awesome

A couple of quick screenshots from the web interface (TT-RSS):

… and the Android App (TT-RSS Reader):

Update (2011-07-03): Shortly after posting this, hwoarang offered to take TT-RSS from the Sunrise Overlay into Gentoo’s main repository (Portage), with me proxy-maintaining it. So now it’s even easier to get TT-RSS onto your Gentoo-powered server.

(*) For this to work, the ‘post login automation’ entry of the ConnectBot “Local” profile needs to have
bash --rcfile /sdcard/bash.profile
in it.

Here is what I have in there:

alias bb="busybox"
alias top="bb top"
alias df="bb df"

clear
uptime
echo

The first couple of aliases should be self-explanatory.
backupdata is, as the name suggests, to get my SD card’s content to my home server.
postflash is for after flashing a new ROM (usually a CyanogenMod nightly build). It gets my modified keyboard layout into place, and deletes the terrible sound file that gets played when I take a photo with the phone’s camera.

But there was one problem that bothered me for months already: It involved my check_updates.sh script, which basically just calls /usr/bin/emerge -upvDN --nospinner world for the host and all virtual servers, and then sends the output to me.

The problem: emerge’s output always ended up as ‘attachment.bin’, attached to the (otherwise empty) mail, although I piped it into mail -s "Updates for $DATE" root where it should come out as the mail body. I knew that Heirloom mailx does that, as soon as it doesn’t “like” one of the characters in the input, but I couldn’t think of a reason why it would do that with emerge’s supposedly plain-ASCII output.

Today I had enough of it, and fired up hexdump to investigate said ‘attachment.bin’, using the following command:
hexdump -e '1/1 "%03d \n"' attachment.bin | sort -u
It outputs the unique decimal values of any byte occurring in ‘attachment.bin’ as a sorted list. I expected to find something above 127 – but the highest occurring value was 122 (“z”). I then checked the top part of the list, and to my surprise, found 008 (backspace) there. After removing those by piping the output through tr -d '\010' (8_dec = 10_oct, and tr needs octal values), Heirloom mailx no longer put the text into ‘attachment.bin’. It now appears in the mail’s body, where it belongs.

By the way, those backspaces (when interpreted) change
Calculating dependencies ... done!
to
Calculating dependencies... done!
… so removing them is not a big loss. I’d like to know though, why they are there in the first place, even though the output doesn’t go to a TTY.

Auf der Tastatur des G2 (auch HTC Desire Z oder HTC Vision genannt) lässt es sich sehr gut tippen, doch leider fehlen essentielle Symbole, die jeder der irgendwas in eine Shell eintippen will, oder irgend etwas programmieren will, unbedingt braucht – beispielsweise geschweifte Klammern ({}), eckige Klammern ([]) und spitze Klammern (<>). Sogar die Pipe (|) fehlt. Ich fasse diese Symbole im Folgenden unter dem Begriff “Geek-Symbole” zusammen. Das war auf dem G1 übrigens anders – es gab dort alle Geek-Symbole, aber da hatte die Tastatur auch eine zusätzliche Tastenreihe.

Weiterhin hat mein G2 eine QWERTY-Tastatur, QWERTZ war hier nicht verfügbar – damit kann ich zwar über Taste-lang-drücken Umlaute schreiben, jedoch geht das z.B. im Terminal (ConnectBot) nicht, davon abgesehen dass es umständlicher ist als eine direkte Tastenkombination.

Um Problem 1 (fehlende Geek-Symbole) zu beheben, hat teferi das QWERTY-Layout modifiziert (Thanks, teferi!), und dabei auch die Tools und den Prozess den er verwendet hat, zur Verfügung gestellt / beschrieben. Sehr schön, so sollte das immer sein
Damit habe ich nun ein Layout gebastelt, das auch Problem 2 (fehlende Möglichkeit Umlaute einzugeben) löst. Nach Installation der Keymap-Datei hat man zusätzlich folgende Symbol-Tastenkombinationen:

(Bekommt man Tabellen in WordPress irgendwie besser hin als mit good old HTML?)

(*) Hier ist mir nichts besseres eingefallen, als einfach bei den ersten Buchstaben der Tastatur (Q, W, E) anzufangen – falls jemandem etwas besseres einfällt – bin für Vorschläge offen

Kurze Anleitung, wie man das Layout auf’s Telefon bekommt:

1. g2-keymap-0.3-ger.zip herunterladen
2. g2-keymap-0.3.zip auf das Telefon unter /sdcard entpacken
3. Über ‘adb shell’ oder direkt im Terminal auf dem Telefon folgende Kommandos eingeben:

   mount -o remount,rw /system
cp /sdcard/vision-keypad-wwe.kl /system/usr/keylayout/
cp /sdcard/vision-keypad-wwe.kcm.bin /system/usr/keychars/
sync
reboot

Update (2011-05-23): Seit ca. CyanogenMod Nightly Build 80 funktionierte mein Keymapping nicht mehr. Ich habe nun herausgefunden, dass Android seit neuestem ein ‘-wwe’ im Dateinamen erwartet, also nun vision-keypad-wwe.kl und vision-keypad-wwe.kcm.bin anstatt wie bisher vision-keypad.kl und vision-keypad.kcm.bin. Ich habe die Dateien im obigen ZIP-Archiv umbenannt, und nun selbst eine leicht modifizierte Anleitung in den Artikel übernommen, sodass sie für aktuelle Builds funktioniert. Ich habe nicht getestet, ob ältere Builds mit dem ‘-wwe’ klarkommen, oder ob man das aus den Dateinamen dann wieder entfernen muss.

Über Twitter hat mich ein Link auf einen kurzen Aufsatz von Douglas Rushkoff erreicht, in dem er interessante Gedanken zum Sinn des Lebens in den Raum stellt. Mir hat der Aufsatz sehr gut gefallen, weshalb ich ihn nach bestem Wissen ins Deutsche übersetzt habe:

Ich kann es lediglich anekdotenhaft belegen, aber ich glaube, dass die Evolution ein Ziel und eine Richtung hat. Es erscheint offensichtlich, ist jedoch absolut nicht nachweisbar: Materie entwickelt sich in Richtung höherer Komplexität. Obwohl Naturgesetze – und Zeit an sich – erfordern, dass Objekte und Lebewesen Langlebigkeit und Nachhaltigkeit zum Überleben erlangen, kommt es mir so vor, als ob das eher ein Mittel zum Zweck, als ein Zweck an sich ist.

Die Theologie kommt recht weit damit, der Materie und Vorgängen eine Bedeutung zuzurechnen, indem sie Leben als “Materie die in Richtung Gottheit strebt” beschreibt – oder als Prozess durch den die Gottheit Materie zu sich zurückholt – aber Theologen machen immer den Fehler, diese Vorstellung vom Sinn des Lebens an der Vergangenheit festzumachen, anstatt an der Zukunft. Das ist ganz natürlich, da die gedanklichen Strukturen, die wir verwenden um die Welt zu verstehen, dazu neigen, Anfänge, Mittelteile und Enden zu haben. Um den Ausgang der Geschichte erleben zu können, müssen wir ihn eingebaut in den ursprünglichen Plan der Geschehnisse sehen.

Weiterhin ist es für Menschen schwierig damit fertigzuwerden, dass wir mit großer Wahrscheinlichkeit einfach nur überentwickelte Pilze und Bakterien sind, die sich durch eine Galaxie im kalten und bedeutungslosen Weltall bewegen; unsere Existenz könnte unabsichtlich, bedeutungslos und zwecklos sein. Das schließt aber Bedeutung oder Zweck nicht als Ergebnis unserer Interaktion und Zusammenarbeit aus. Bedeutung ist möglicherweise keine Voraussetzung für die Menscheit, sondern vielmehr ein Nebenprodukt dieser.

Deshalb ist es so wichtig, zu erkennen, dass die Evolution in ihrer höchsten Form ein Mannschaftsspiel ist. Darwin behauptet in seinen späteren, weniger bekannteren aber bedeutenderen Werken, dass das Gesetz des Überlebens der bestangepassten Individuen eigentlich nicht auf Individuen anzuwenden ist, sondern auf Gruppen. Genau wie heute postuliert wird, dass Mücken beim Stechen Juckreiz verursachen um bei ihren Opfern schweißtreibende Nervosität auszulösen und somit anderen Stechmücken die Ortung erleichtern, so sind größere Sprünge in der Entwicklung der Menschheit – von Clanbildung bis zum Städtebau – Erträge der Zusammenarbeit. Eine größere Überlebenschance ist genauso ein glücklicher Nebeneffekt guter Zusammenarbeit, wie sie ein Zweck ist.

Könnten wir aufhören, Sinn und Zweck als Schöpfungen irgendwelcher Gottheiten aufzufassen, und stattdessen als Ergebnis unserer eigenen kreativen Zukunft zu sehen, würden sie zu Zielen, Absichten und Vorgängen werden, die tatsächlich erreichbar sind – an Stelle von Schatten einer kindlichen, abergläubischen Mythologie.

Ein Beweis ist unmöglich, da er selbst zur Entwicklung beiträgt. So wie der Versuch den Horizont zu erreichen lediglich Weiterreisen erforderlich macht.

(falls jemand Verbesserungsvorschläge zur Übersetzung hat, nur her damit )