The nine month now work for Symagon GmBH (subsidiary of Nagler & Company) has its fruit. Or even a few. The first and what took the most effort is a Flex GUI for investment strategy backtesting and market data review. This was done with Rafał Sytek from Symagon. Backend is kdb+, a vector-oriented, fast database which I know little about ;) and a little Java/Blaze DS middleware. The second is a 3D visualisation tool for order book series. The 3D tool is only a little ‘Flexish’. The main 3D component is a pure Actionscript thing, with layers, 3D-2D and back transformations, etc. And here is what I find cool enough to show off.

This type of visualisation is simpler and closer to the common chart.

The plane beneath the chosen order book helps you compare bid and ask sides.

Clicking on a order book strip gets you to the details of single orders.

Almost a hundred of order books in a row

An order book is a snapshot of a market, with (almost) all buy and sell offers for a single financial instrument. I pictured a series of order books as a sloped river bank, with the transaction at water’s level. The ground above is a cumulated size of ask orders beginning from the transaction. The green part is going deeper as the bid orders cumulate. Time axis is horizontal, and Y-axis shows price levels. I believe this visualisation gives a lot more information in a simple manner. Now looking forward to the expert opinion… see what is coming.

Backtesting GUI

This was a good lesson. Series renderers, chart extensions, live scrolling, zooming, syncing between the charts show the real flex guts. Sometimes I felt like writing it from the scratch myself… It was not anything about Flex itself, rather my understanding the complexity of its components. As it turned out, it was usually better to study a bit more the originals rather than implementing one’s own solutions. Some of the comps developed at the beginning look completely naive and weird now. The motto of future Flex chart works is:

ChartElement class is essential to almost all you.

And the big application for testing investment strategies looks like this:

Adobe AIR/Flex frontend of an application for testing investment strategies

• ślady, czyli strona pomazana jak dworcowa ściana,
• kliknięcia, czyli dropsy w kolorowej polewie
• mapy uwagi (heatmapy), czyli tęcza w kałuży

Całość dostępna w wersji demo za darmo, wersja płatna w drodze, podobnie jak rozbudowa. Próbujemy na swój sposób, a jeśli się da to lepiej, zrobić to co np. robi np. clicktale.com.

kei.pl

• Ma opcję dodania subdomeny przekierowanej na dowolne publiczne IP. Mnie przydało się to do postawienia hostów deweloperskich pod domeną główną (hosting Kei), ale na innej maszynie (Internet DSL TP SA).
• Dziwny limit liczby plików. Nie pamiętam dokładnie jaki, ale konto, niezależnie od pojemności w GB, transferu, mieści tylko określoną liczbę plików. Potem przestaje przyjmować je na FTP, sygnalizując błędy. Ograniczenie to nie jest nigdzie opisane, można dowiedzieć się o nim z infolinii, albo ? co bardziej bolesne ? kopiując serwis bogaty w obrazki…
• Fajna rzecz: możliwość bezpośredniego połączenia się przez port 3306 z serwerem MySQL, bez pośrednictwa PhpMyAdmin (jest również).

home.pl

• Nazwy skrzynek pocztowych dotyczą wszystkich domen w ramach konta. Np. mając domenę sklep.pl i biuro.com na jednym koncie home.pl, pocztę nadaną na info@sklep.pl mogę odebrać równie dobrze pod info@biuro.com. To nie musi być problem, ale może.
• Limit liczby plików również się pojawia, a wynosi 500 000. Jednak tu wcześniej otrzymujemy maila z ostrzeżeniem i prośbą o ‘uporządkowanie’. Jest też oferta serwera dedykowanego, co wydaje się na miejscu. Jedno, co mi się nie podoba, to powołanie się na ogólny punkt regulaminu zamiast określenie tego jasno w umowie: “Zwracamy uwagę, że regulamin home.pl w punkcie 16 określa, iż
  korzystanie z serwera współdzielonego nie może naruszać integralności
  systemu informatycznego home.pl, co w tym przypadku może mieć miejsce.” cytat z maila od home.pl, 2010-03-25

Następnym razem wyślijcie maila, będzie taniej.

Dla jednej ze stron potrzebowaliśmy połączenia bezpośredniego dla MySQL, na porcie 3306, do synchronizacji bazy z lokalną w biurze. Działało. Aż pewnego dnia admin home.pl stwierdził duży ruch na tym porcie z naszego adresu. Zablokował więc ten ruch “ze względów bezpieczeństwa”. Co ciekawe, nadal można się połączyć z dowolnego innego IP. Z mojego punktu widzenia zablokowany został adres najbardziej uprawniony do generowania ruchu, a pozostawiono otwarte połączenie z resztą świata, pełną złoczyńców i pedofilów… ;-) Teraz więc synchronizacja odbywa się z laptopa przez neostradę, a sens operacji pozostaje dla mnie tajemnicą.

Skrypt napisany na podstawie MySQL Database Diff Script, ale znacznie rozszerzony i zmodyfikowany. Enjoy! :)

<html>
<head>
<style>
.deleted{
	text-decoration:line-through;
	color:red;
}
.added{
	color:green;
}
</style>
</head>
<body>
< ?php
/**
 * original by Adam Young http://adamyoung.net/
 * modified and extended 2009-09-26 by ptrk http://nobigwords.ntxt.net/ 
 * 
 */
$src_host = '';
$src_user = 'root';
$src_pass = '';
$src_db = 'baza32_superskl_emisja';
 
$dst_host = '';
$dst_user = 'root';
$dst_pass = '';
$dst_db = 'baza32_superskl';
 
$src = mysql_connect($src_host, $src_user, $src_pass);
if (!mysql_select_db($src_db, $src)) die("Could not find/USE source database: {$src_db}\n");
 
$src_tables = getTables($src);
 
 
$dst = mysql_connect($dst_host, $dst_user, $dst_pass);
if (!mysql_select_db($dst_db, $dst)) die("Could not find/USE destination database: {$dst_db}\n");
 
$dst_tables = getTables($dst);
 
 
foreach ($src_tables as $t => $table) {
	$i = 0;
	$found = false;
 
	if(isset($dst_tables[$t])){
		$dst_table = $dst_tables[$t];
		if ($dst_table->name == $table->name) {
			$diff = compareDefinitions($table->definition, $dst_table->definition);
			if (count($diff) == 0){
				echo "{$table->name}<br />";
			}else{
				echo "<b>{$table->name} is different</b><br /><ul>";
				$alters = '';
				foreach($diff as $col => $info){
					echo "<li>$col : " . $info['info'] . "</li>";
					$alters .= "alter table `" . $dst_table->name . "` " . $info['alter'] . ";\n";
				}
				echo '</ul>';
				echo "&gt;pre&lt;" . $alters . " &gt;/pre&lt;";
			}
			unset($dst_tables[$i]);
			$found = true;
		}
	}else{
		echo "<span class='deleted'>{$table->name} </span><br />";
		echo "&gt;pre&lt;{$table->create}&gt;/pre&lt;<br />";
	}
}
 
function getTables($link) {
	$rsrc = mysql_query('SHOW TABLES', $link);
	$tables = array();
	while ($row = mysql_fetch_row($rsrc)) {
		$table = new table(
			$row[0],
			getTableDef($link, $row[0]),
			getTableCreate($link, $row[0])
		);
		$tables[$row[0]] = $table;
	}
	return $tables;
}
 
function getTableDef($link, $table) {
	$rsrc = mysql_query("DESCRIBE `{$table}`");
	$result = array();
	while($row = mysql_fetch_row($rsrc)){
		list($name, $type, $null, $key, $default, $extra) = $row;
		$result[$name] = array($type, $null, $key, $default, $extra);
	}
	return $result;
}
 
function getTableCreate($link, $table) {
	$rsrc = mysql_query("SHOW CREATE TABLE `{$table}`");
	$row = mysql_fetch_row($rsrc);
	$result = $row[1];
	return $result;
}
 
class table {
	var $name;
	var $definition;
	var $create;
	function table($name, $def, $create) {
		$this->name = $name;
		$this->definition = $def;
		$this->create = $create;
	}
}
 
function compareDefinitions($defA, $defB){
	$result = array();
	foreach($defA as $col => $colDefA){
		if(!isset($defB[$col])){
			$result[$col]['info'] = "<span class='deleted'>deleted </span>";
			$result[$col]['alter'] = "drop column `" . $col . "`";
		}else{
			if(implode(',',$colDefA) != implode(',',$defB[$col])){
 
				list($typeA, $nullA, $keyA, $defaultA, $extraA) = $colDefA;
				list($typeB, $nullB, $keyB, $defaultB, $extraB) = $defB[$col];
				$info = '';
				if($typeA != $typeB) $info .= "different type $typeA/$typeB, ";
				if($nullA != $nullB) $info .= "null $nullA/$nullB, ";
				if($keyA != $keyB) $info .= "key: $keyA/$keyB, ";
				if($defaultA != $defaultB) $info .= "default: $defaultA/$defaultB, ";
				if($extraA != $extraB) $info .= "extra: $extraA/$extraB, ";
				$result[$col]['info'] = trim($info,', ');
				$result[$col]['alter'] =	"change `$col` `$col` $typeA ";
				$result[$col]['alter'] .=	($defaultA == '') ? '' : "default '$defaultA' ";
				$result[$col]['alter'] .=	($nullA == 'NO') ? 'NOT NULL ' : '';
				$result[$col]['alter'] .=	"$extraA ";
 
			}
			unset($defB[$col]);
		}
	}
	foreach($defB as $colB => $colDefB){
		list($typeB, $nullB, $keyB, $defaultB, $extraB) = $colDefB;
		$result[$colB]['info'] = "<span class='added'>added</span>";
		$result[$colB]['alter'] = "add `$colB` $typeB ";
 
	}
	return $result;
}
 
 
function errors($link){
	return mysql_errno($link) . ": " . mysql_error($link) . "\n";
}
?>
</body>
</html>

Numer referencyjny zamówienia: #....
Data złożenia 2009-09-03 11:57:06
Razem do zapłaty 1 377,20 zł
Adres dostawy:...
Status zamówienia: kompletowane
Ostatnia zmiana statusu: 2009-09-04 08:03:15
Opis statusu zamówienia:

Jak ja lubię te marketingowe okrągłe zdania: W bankujesz-kupujesz produkty dostępne są łatwo, szybko i bezpiecznie [tutaj].

Już pisałem o tym programie i dalej uważam, że pomysł jest fajny, ale komunikacja szwankuje. Dużo gorsze zdanie mają uczestnicy biznesforum.pl bankujesz-kupujesz.

[2009-09-17] Laptop dotarł. Jest fajny, ale ze strony banku ani słowa przeprosin czy wyjaśnienia. Kilka dni wcześniej dzwoniliśmy z pytaniem, co się dzieje. Uzyskaliśmy trafną, jak się okazało, przepowiednię, ale bez zażenowania związanego ze zwłoką. Na e-mail dotarł list potwierdzający realizację zamówienia. Wydaje mi się, że ważniejsze są e-maile ostrzegające i wyjaśniające PRZED pojawieniem się faktów, niż te stwierdzające status quo. Od banku wymagam więcej niż od sklepu założonego przez pana Wiesia.

costam &

uruchamia proces w tle, potem fajnie mogę sobie zarządzać

jobs

. Ale ja chcę w Windows. Windows Vista, żeby nie było niedomówień. Wywołanie komendy przez exec działa, ale czeka na zakończenie, a nie o to chodzi. Proces ma działać długo, a ja tylko chcę monitorować jego stan, a nie zamulać Firefoksa.

exec("start /b c:/sciezka_do_php/php.exe C:/sciezka_do_skryptu_procesu/bgproces.php > test.txt");

Próbowałem też uruchomić jakiś batch (costam.bat), który z kolei miałby uruchomić skrypt PHP, ale to też nie zadziałało – cały czas przeglądarka czekała na zakończenie całego procesu. Rozwiązanie jest takie, że w PHP na Windows trzeba użyć klasy COM, czyli windowsowych mechanizmów OLE (Object Linking and Embedding). Wygląda to tak:

< ?php
/*
 * skrypt do uruchomienia w tle skryptTla.php
 */
$fname = 'c:/log.html'; 
for($i=0; $i&lt;10; $i++){
	sleep(1);
	file_put_contents($fname, date('H:i:s') . '<br/>', FILE_APPEND);
}
file_put_contents($fname, '<hr />', FILE_APPEND);
?>

< ?php
/**
 * skrypt widziany przez przeglądarkę
 */
echo "uruchamiam " . date('H:i:s ');
 
  if(isset($_SERVER['PWD']))
  {
  	// $cmd = '....';
    $nullResult = "php $cmd > /dev/null &";
  }else{
    $cmd = 'sciezka_do_php/php.exe sciezkaSkryptuDoUruchomieniaWTle/skryptTla.php';
    $ws = new COM("WScript.Shell");
    $oExec = $ws->Run($cmd, 0, false);
  }
 
echo " koniec " . date('H:i:s ');
echo " OK ";
 
 
?>