Jak najlepiej dopasować wyniki wyszukania do zapytania,
w sytuacji gdy nie mamy elementów pasujących idealnie?

W życiu pytanie to pojawia się na wszelkich stronach z wyszukiwarką produktów, czy to mieszkań, czy aut, czy komputerów. Gdy produkty te są opisane wyłącznie za pomocą liczb, sprawa jest prosta. Np.: auto o przebiegu 200 000 km, rok produkcji – 2006, średnie spalanie 8 l/100 km. Wiadomo, że auta o mniejszym przebiegu są lepsze, niż te spalające więcej, że im dawniej wyprodukowano auto, tym gorzej, że lepiej żeby paliło mniej niż więcej. Czy dzięki temu wiemy, jakie auta będą na pewno lepsze, a jakie gorsze od tego z przykładu? Prawie tak. Prawie, ponieważ nie wiemy, jak przeliczyć jeden rok wieku auta na kilometry przebiegu i litry paliwa.

Zacznijmy więc od sprawy najprostszej, czyli od bazy aut o tylko jednej cesze, czyli opisane rokiem produkcji. Powiedzmy, że w bazie znajdą się dwa auta:

1. A, rok prod. 2001
2. B, rok prod 2009

Gdy dla szukającego auta do zaakceptowania jest pojazd maksymalnie z 2004 roku, sprawa jest jasna nawet intuicyjnie: wybieramy to z 2009, czyli B.

Jednak jeśli szukający postawi sprawę nieco inaczej, czyli zamiast «chcę auto maksymalnie z 2004 roku» powie: «chcę auto wyprodukowane mniej-więcej w 2004 roku», to najbliżej jego ideału jest samochód A, z 2001.

Można mieć wątpliwości, czy wyszukiwarka powinna pokazać auto bliższe zadanym kryteriom, czy też o korzystniejszych parametrach. Rok produkcji to cecha, której wartość wprost przekłada się na jakość auta, zmieńmy ją na taką, która jest neutralna, np. długość pojazdu. Nasza baza zmienia się na taką:

1. A, długość 390 cm
2. B, długość 450 cm

Jeśli teraz poszukiwane auto ma mieć 400 cm długości, bardzo blisko tej wartości znajdzie się długość pojazdu A. Gdyby ułożyć samochody z bazy wg dopasowania do zadanych parametrów, A byłoby przed B. To właśnie najprostszy przykład wektorowego opisu wyniku wyszukiwania. Wektor dopasowania to odległość między punktem zadanym przez zapytanie (Z:400 cm) a punktami opisującymi rekordy bazy (A:390 cm i B:450 cm). Wektory dopasowania dla obu aut mają odpowiednio:

1. Z – A: abs(390 – 400) = 10 cm
2. Z – B: abs(450 – 400) = 50 cm

funkcja abs(x), czyli wartość bezwzględna ;-)

Dla A długość wektora dopasowania jest 5-krotnie mniejsza niż dla B, więc A jest dużo lepiej dopasowany do zadanych parametrów od B. Kiedy do długości dodamy szerokość, sprawa skomplikuje się o drugi wymiar. Wektor dopasowania będziemy wtedy obliczać jako złożenie składowych, 1-wymiarowych wektorów długości i szerokości. To znana zależność, kojarzona z Pitagorasem. ;) Długość wektora dopasowania to pierwiastek kwadratowy z sumy kwadratów obu wektorów składowych.

Przekład na SQL

Przekładając problem na SQL, zaczynamy od takiego pytania:

SELECT * FROM samochody
WHERE dlugosc = 400;

W naszej bazie nie daje ono oczywiście żadnych elementów, czyli zwraca zbiór pusty. Dla naszego poszukiwacza aut to dość frustrująca odpowiedź.
Możemy to nieco poprawić, dodając tolerancję:

SELECT * FROM samochody
WHERE dlugosc > 400 - tolerancja AND
dlugosc < 400 + tolerancja;

To zwiększa szanse na dobry wynik, ale tylko czasem. Tolerancja może być za mała albo za duża, a zawsze jest kolejnym utrudnieniem dla użytkownika.
Moim zdaniem lepiej będzie tak:

SELECT * FROM samochody
ORDER BY abs(400 - dlugosc) ASC;

Wydajnościowo to nienajlepsze rozwiązanie, ale pokazuję tu tylko zasadę. Nienajlepsze, bo spowoduje posortowanie całej bazy aut, w dodatku wg obliczanego, a nie przechowywanego, parametru. W realnych zastosowaniach można uniknąć sortowania wprowdzając nieco więcej logiki przed wykonaniem zapytania.

w roli pojazdu A udział wziął Citroen 1968 Dyane Luxe, w roli pojazdu B - Honda CR-V

hm.

The nine month now work for Symagon GmBH (subsidiary of Nagler & Company) has its fruit. Or even a few. The first and what took the most effort is a Flex GUI for investment strategy backtesting and market data review. This was done with Rafał Sytek from Symagon. Backend is kdb+, a vector-oriented, fast database which I know little about ;) and a little Java/Blaze DS middleware. The second is a 3D visualisation tool for order book series. The 3D tool is only a little ‘Flexish’. The main 3D component is a pure Actionscript thing, with layers, 3D-2D and back transformations, etc. And here is what I find cool enough to show off.

An order book is a snapshot of a market, with (almost) all buy and sell offers for a single financial instrument. I pictured a series of order books as a sloped river bank, with the transaction at water’s level. The ground above is a cumulated size of ask orders beginning from the transaction. The green part is going deeper as the bid orders cumulate. Time axis is horizontal, and Y-axis shows price levels. I believe this visualisation gives a lot more information in a simple manner. Now looking forward to the expert opinion… see what is coming.

Backtesting GUI

This was a good lesson. Series renderers, chart extensions, live scrolling, zooming, syncing between the charts show the real flex guts. Sometimes I felt like writing it from the scratch myself… It was not anything about Flex itself, rather my understanding the complexity of its components. As it turned out, it was usually better to study a bit more the originals rather than implementing one’s own solutions. Some of the comps developed at the beginning look completely naive and weird now. The motto of future Flex chart works is:

ChartElement class is essential to almost all you.

And the big application for testing investment strategies looks like this:

• ślady, czyli strona pomazana jak dworcowa ściana,
• kliknięcia, czyli dropsy w kolorowej polewie
• mapy uwagi (heatmapy), czyli tęcza w kałuży

Całość dostępna w wersji demo za darmo, wersja płatna w drodze, podobnie jak rozbudowa. Próbujemy na swój sposób, a jeśli się da to lepiej, zrobić to co np. robi np. clicktale.com.

kei.pl

• Ma opcję dodania subdomeny przekierowanej na dowolne publiczne IP. Mnie przydało się to do postawienia hostów deweloperskich pod domeną główną (hosting Kei), ale na innej maszynie (Internet DSL TP SA).
• Dziwny limit liczby plików. Nie pamiętam dokładnie jaki, ale konto, niezależnie od pojemności w GB, transferu, mieści tylko określoną liczbę plików. Potem przestaje przyjmować je na FTP, sygnalizując błędy. Ograniczenie to nie jest nigdzie opisane, można dowiedzieć się o nim z infolinii, albo ? co bardziej bolesne ? kopiując serwis bogaty w obrazki…
• Fajna rzecz: możliwość bezpośredniego połączenia się przez port 3306 z serwerem MySQL, bez pośrednictwa PhpMyAdmin (jest również).

home.pl

• Nazwy skrzynek pocztowych dotyczą wszystkich domen w ramach konta. Np. mając domenę sklep.pl i biuro.com na jednym koncie home.pl, pocztę nadaną na info@sklep.pl mogę odebrać równie dobrze pod info@biuro.com. To nie musi być problem, ale może.
• Limit liczby plików również się pojawia, a wynosi 500 000. Jednak tu wcześniej otrzymujemy maila z ostrzeżeniem i prośbą o ‘uporządkowanie’. Jest też oferta serwera dedykowanego, co wydaje się na miejscu. Jedno, co mi się nie podoba, to powołanie się na ogólny punkt regulaminu zamiast określenie tego jasno w umowie: “Zwracamy uwagę, że regulamin home.pl w punkcie 16 określa, iż
  korzystanie z serwera współdzielonego nie może naruszać integralności
  systemu informatycznego home.pl, co w tym przypadku może mieć miejsce.” cytat z maila od home.pl, 2010-03-25

Numer referencyjny zamówienia: #....
Data złożenia 2009-09-03 11:57:06
Razem do zapłaty 1 377,20 zł
Adres dostawy:...
Status zamówienia: kompletowane
Ostatnia zmiana statusu: 2009-09-04 08:03:15
Opis statusu zamówienia:

Jak ja lubię te marketingowe okrągłe zdania: W bankujesz-kupujesz produkty dostępne są łatwo, szybko i bezpiecznie [tutaj].

Już pisałem o tym programie i dalej uważam, że pomysł jest fajny, ale komunikacja szwankuje. Dużo gorsze zdanie mają uczestnicy biznesforum.pl bankujesz-kupujesz.

[2009-09-17] Laptop dotarł. Jest fajny, ale ze strony banku ani słowa przeprosin czy wyjaśnienia. Kilka dni wcześniej dzwoniliśmy z pytaniem, co się dzieje. Uzyskaliśmy trafną, jak się okazało, przepowiednię, ale bez zażenowania związanego ze zwłoką. Na e-mail dotarł list potwierdzający realizację zamówienia. Wydaje mi się, że ważniejsze są e-maile ostrzegające i wyjaśniające PRZED pojawieniem się faktów, niż te stwierdzające status quo. Od banku wymagam więcej niż od sklepu założonego przez pana Wiesia.

Ostatnio w tym samym chórze znalazłem (dzięki Irenie) głos mniej delikatny, choć zawodowy i czysty: Marta Kagan. Nie do końca rozumiem tylko ten wkurzony ton. Ale jeśli przejmować się buractwem i niekomunikatywnością marketingową wielu firm, no to OK ;)

Ładnie zrobione, z dobrymi fotkami, typografią no i zdaje się dla tzw. społecznego dobra. Szacun.

• Kajakiem spływ potemsportowe
• Wytrzyj kurze! ornitologiczne
• Piwo Strzelec jest bardzo dobre z billboardów piwa Strzelec
• Świerzbionka własne
• Boeuf Ostrogonow własne
• Kotlet De Voilaj z dworca PKP we Wrocławiu
• Insert monet z boksów na bagaż na dworcu PKP we Wrocławiu
• Powiększ penisa, opóźnij wytrysk Upominki za 5 groszy Kup Teraz! z Google Adwords

W tej chwili sklep bazuje na opensourcowym oscGold, czyli polskiej adaptacji osCommerce. Jednak pomimo że to ogromny projekt i faktycznie pozwala dość prostymi środkami uruchomić i prowadzić sprzedaż, to czytelność kodu i jego styl przypominają mi własne produkty… sprzed pięciu lat. Domyślam się, że refaktoryzacja tak dużego przedsięwzięcia to niełatwa rzecz i pewnie dlatego pełno tu stałych i zmiennych globalnych, dziesiątek ‘includowanych’ plików, mieszania layoutu i logiki. Kusi, żeby zrobić wszystko od nowa…