2008年3月16日日曜日

Ubuntuのpolipoでデイスクキャッシュサイズを制限する

えー、なんか polipo が大人気なようで。紹介した身としてとてもうれしい。
でもなんかpolipo入れればネットが速くなる魔法のソフトのような理解をしている方もいるみたい。polipoはあくまでもproxyサーバーなので。そこのとこをひとつよろしくね。

さて、MacユーザやWindowsユーザの苦労を尻目に快適に動いている我等が ubuntu でのpolipoなのですが、先日ニコニコ動画を連続視聴していましたら、急にストリームが受信できなくなって、なんでかなーと調べたら、polipoのキャッシュを保存してあるHDDのパーティションの使用率が100%になっていました。(^_^;)
 いやあ、あせったあせった。
 polipo にはディスクキャッシュのサイズを指定する設定がないみたい。そんなわけでディスクキャッシュを切り詰める、polipo_trimcache というツールがあるので、さくっと落として利用。

インストール

wget http://ely.ath.cx/~piranha/software/polipo_trimcache/polipo_trimcache-0.2.py
sudo mv polipo_trimcache-0.2.py /usr/local/bin
cd /usr/local/bin
sudo ln -s polipo_trimcache-0.2.py polipo_trimcache
polipo_trimcache は/usr/local/bin に放り込みました。~/bin に入れてそこからリンクを貼ってもいいかもしれません。

使い方

sudo polipo_trimcache /var/cache/polipo 1000M
のように使います。上の例は、サイズを1Gに指定しています。

 それで、後は上のコマンドを定期的にシェルスクリプトで動かせばいいわけですが、今回のように動画連続視聴でキャッシュいっぱいとか、いつハードディスクが満杯になるかわかりません。
 いろいろ考えたんですが、 quota 使うとか、dfを10秒ごとに回して使用量をチェックするとか。

 んでまあ、ファイルのイベントを通知する inotify を利用することにしました。
 キャッシュディレクトリを監視し、新規にファイルが作られたら、HDDの空き容量をチェックして、指定した閾値以上になったら polipo_trimcache を実行します。
 事前に polipo_trimcache と inotify が必要なので入れておきます。
sudo apt-get install inotify-tools
入れたら以下のスクリプトを polipo-diskcache-check.sh として保存します。実行属性を付けてね。

#!/bin/sh
# last updated : 2008/03/19 02:44:25 JST
# $Id: polipo-diskcache-check.sh,v 1.2 2008/03/18 18:04:30 yama Exp $
# polipo のキャッシュのあるパーティションの使用率が指定した
# パーセントを越えるとキャッシュを指定したサイズまで削除する。
#

# 設定
# キャッシュのあるディレクトリを指定する。
CacheDir="/var/cache/polipo"
# キャッシュのあるパーティションの使用割合(パーセントで指定する)
LimitDiskSize=84
# 指定サイズまで切り詰める。
CacheSize="1200M"
# polipo_trimcach の指定。
polipo_trimcache='/usr/local/bin/polipo_trimcache'
#---------------------------------------------------

#echo "初期値は、" $LimitDiskSize "%です。"
while inotifywait -q -q -r -e create $CacheDir ; do
AB=`df --sync /var | awk '/^\/dev/{sub(/\%/,"", $5);print $5}'`
if [ $AB -gt $LimitDiskSize ]; then
nice -n 15 $polipo_trimcache $CacheDir $CacheSize &> /dev/null
fi
done


 あとはこいつを実行すれば、キャッシュがHDDを圧迫しそうになったら自動的にお掃除してくれます。
 /etc/init.d/polipo を修正して同時に起動するようにしておくと楽でしょう。

2008/03/19 追記:

 具体的には、/etc/init.d/polipo の40行目あたり、

case "$1" in
start)
echo -n "Starting $DESC: "
$PPCTL start

の下に
polipo-diskcache-check.sh &
と追記。
45行目あたり、

stop)
echo -n "Stopping $DESC: "
$PPCTL stop
の下に
killall polipo-diskcache-check.sh inotifywait
を追記します。
 後は、
sudo /etc/init.d/polipo restart
としてpolipoを再起動し、
ps aux | grep polipo
と、psコマンドでちゃんと動いているか確認してみてください。

 いやあ便利べんり。ubuntu 最高。

2008年3月12日水曜日

Emacsから印刷する

前回を踏まえてEmacsから印刷してみます。
~/.emacsに以下を追記します。
;;;====================================
;;;; print - 印刷設定
;;;====================================
;;; Postscript で印刷
(setq my-print-command-format "nkf -e | e2ps -a4 -p | lpr")
(defun my-print-region (begin end)
(interactive "r")
(shell-command-on-region begin end my-print-command-format))
(defun my-print-buffer ()
(interactive)
(my-print-region (point-min) (point-max)))
これだけ。

あとは、M-x my-print-buffer でカレントバッファがプリントアウトされます。印刷範囲を指定したい時は、範囲選択をしてから、 M-x my-print-region です。

2008年3月11日火曜日

ubuntuでコマンドラインから印刷する

 GUI環境がこれだけ整っている今に、わざわざCLI環境から印刷を積極的に行なう、少くともデスクトップユーザー的にはあまりない話なのですが、ちょっと気になったので調べてみました。

 まず、印刷は lpr コマンドを通して行なわれます。例えば、hoge.txt を印刷したいときは、
cat hoge.txt | lpr
などとするわけですね。
 それでまあ日本語の場合、lprに渡す前に postscript に変換して渡さないといけないんですが、この変換ツールがいろいろあり、なかなか大変でした。
 ちなみに以下のコマンドを試すにあたっていろいろいじった環境でテストしたので他の方でうまくいかないかもしれません。プリンタは、 cups-PDF を入れてPDFに出力されたものをadobeの acrobatreader で確認しました。また事前に、
sudo apt-get install gs-cjk-resource cmap-adobe-japan1
して、
sudo dpkg-reconfigure cmap-adobe-japan1
を実行し、全てにチェックを入れてあります。

試した変換コマンド

  • a2ps
  • a2psj
  • u2ps
  • paps
  • e2ps
 ざっと試してみただけでこれだけありました。
 まず、 a2ps ですが、定番です。がこいつは日本語には対応していません。少くても ubuntu では。機能は豊富なんですが。
 次に a2psj は perl で書かれたスクリプトですが、UTF-8には対応していません。euc-jpならOKで綺麗に印刷できましたが、枠線が出ます。
 u2ps は、GNOME のライブラリを用いるタイプで、こいつはとっても綺麗に変換してくれました。名前の通りUTF-8対応です。ですが機能が貧弱で余計な枠線が表示され、消す方法がわかりませんでした。
 paps は画像データとして変換してしまうので、ファイルサイズも大きくなり、またPDFで文字選択ができないなど、お話にもなりませんでした。
 最後に e2ps ですが、名前の通りeuc-jp対応の変換ツールですが、こいつはばっちりでした。そして機能も申し分なく、u2psのような余計な枠線も出ませんでした。

 いろいろ試した結果、どれも帯に短かし、襷に長しでした。u2psは唯一utf-8対応ですが、機能は貧弱すぎでしたし、a2psjは枠線出るし、a2psは日本語無理だし・・・

 最終的には、
nkf -e hoge.txt | e2ps | lpr
のような形になりました。
 これでコマンドラインから綺麗な日本語文書を印刷する環境が整いました。
 コマンドラインから印刷できると、自動でPDFファイルを生成し、メールで送信するとか、いろいろ自動処理するのに都合がいいので、お試しあれ。

2008年3月4日火曜日

Emacsからrubyのドキュメントを閲覧する

疲れた。そもそもrubyのリファレンスをEmacsから見たいだけなのに、なぜにどうしてこうも苦労しないといけないのか。

とりあえず、いろいろごちゃごちゃやってしまったんだけど、忘れないようにメモ。

インストールメモ


手順1

ここから基本セット+リファレンスを落とす。
wget http://i.loveruby.net/archive/refe/refe-0.8.0-withdoc.tar.gz
tar zxvf refe-0.8.0-withdoc.tar.gz
cd refe-0.8.0-withdoc/refe-0.8.0
ruby setup.rb config
ruby setup.rb setup
sudo ruby setup.rb install


これでrubyのリファレンスを閲覧するためのrefeとリファレンスがインストールされる。

手順2

次にEmacsで見るための rrse.el を入れる。
rrseはここから落としてくる。
wget http://www.kmc.gr.jp/~ohai/rrse/rrse-0.3.tar.gz
tar zxvf rrse-0.3.tar.gz
cd rrse-0.3
sudo cp rrse-* /usr/local/bin
cp rrse.el ~/.lisp
rrse-refe-listdescs, rrse-ri-listdescs, rrse-merga-tables, rrse-make-table は/usr/local/bin にコピー。rrse.el は~/.lisp に放り込む。
そしてデータベースを作成する。
rrse-make-table --refe
~/.rrse/ 以下にデータベースが作成される。

手順3

後は~/.emacsに以下を追記する。
;;;====================================
;;;; rrse - ruby マニュアル
;;;====================================
;;; ruby マニュアルReFeをEmacsから閲覧する。
(load "rrse")
(rrse-setup)

(add-hook 'ruby-mode-hook
'(lambda ()
(define-key ruby-mode-map [f1] 'rrse-help)))


これで準備完了。
後は、Emacsでなにか適当にrubyファイルを開いてruby-modeで、メソッドの上にカーソルを持っていけば、ミニバッファに簡単なリファレンスが表示される。
 詳しい情報は、その状態で、M-x rrse-help あるいは、F1 キーを押せば詳しいリファレンスが表示される。

globメソッドの上にカーソルを持っていくと、ちゃんとミニバッファに簡易な要約と、rrse-helpで詳しい情報が表示されている。

2008年2月28日木曜日

Firefoxの拡張を見直して、軽量化。

 長いことFirefoxを使ってきていて、ふと気がつくと、いつのまにか拡張機能が増えてきて、えらいもっさりしたFirefoxになっていた・・・
 これはいかんでしょうということで必要な拡張だけを残し、あとは削除してみた。

 最低限必要な機能は、
  • Tab Mix Plus
     タブ周りの使い勝手を劇的に改善してくれる。これがないとはじまらない。

  • AdBlockPlus
     広告を除去してくれる。これがないとFirefoxを使う意味がない。

  • All-in-one gesture
     マウスジェスチャを実現する。なくても問題ないが、あると便利。

  • NoScript
     javaScriptを原則禁止にしてくれる。信用できるサイトだけ許可すればいいので安心。

  • Save Image Folder
     あらかじめ指定したフォルダにコンテキストメニューから選択するだけで画像を振り分けられる。

  • ScrapBook
     紙にスクラップする感覚でWebを保存できる。メモがわりに便利。

  • テキストリンク
     リンクされていないurlもダブルクリックするだけでリンクのように扱える。


 がんばって削ってみた。Userchrome.cssをいじったりとかもFirefoxを重くするので使用はやめたほうがいい。Stylishもだ。ユーザ側でCSSをいじるのはすごい便利なのだけれども、重さにダイレクトに関わるので使うのをやめた。

 削った結果。かなり軽くなったのが体感できた。httpで取得したあとにhtmlをごにゃごにゃいじくる系を外したのが効いたようだ。
 Firefoxを使う最大のメリットは拡張機能にあると思うので、かなり悩みどころではある。
あとブックマークが肥大化すると、これまたFirefoxは重くなる。うちのブックマークだけで720KByteもあるよw どうすべw

2008年2月20日水曜日

EmacsのWanderlustの設定をちょこっと修正

前回のWanderlustの導入から操作にも慣れてきて、普段日常でも使えるようになってきました。
以前よりまめにメール出すようになったしねw

ということで少し設定をいじったのでメモ。

メールヘッダ

前回のは冗長すぎたので以下のように修正。
~/.wl に以下を追記。
;; summary-mode ですべての header を一旦除去
(setq wl-message-ignored-field-list '("."))
;; 表示するヘッダ。
(setq wl-message-visible-field-list
'("Cc:" "^Subject:" "^From:" "^To:" "^Cc:"
"^X-Mailer:" "^X-Newsreader:" "^User-Agent:"
"^X-Face:" "^X-Mail-Count:" "^X-ML-COUNT:"
))
全てのメールヘッダを表示するには、H キー。元に戻すにはもう一度 H キーか、「.」ピリオドを押す。生のメールヘッダを見たいときは、M キー。

WanderlustをEmacs標準のメーラーに

C-x m で 新規メール作成画面になるのだけれども、これをWanderlustが立ち上がるように設定する。
~/.emacs に以下を追記。

;;;====================================
;;;; Wanderlust - メールソフト
;;;====================================
;;; wl の設定は~/.wl に。
;;; 標準のメーラーをWanderlustにする。
(autoload 'wl-user-agent-compose "wl-draft" nil t)
(if (boundp 'mail-user-agent)
(setq mail-user-agent 'wl-user-agent))
(if (fboundp 'define-mail-user-agent)
(define-mail-user-agent
'wl-user-agent
'wl-user-agent-compose
'wl-draft-send
'wl-draft-kill
'mail-send-hook))

メール作成モード(ドラフトモード)の初期設定

~/.wl に以下を追記。
;;; メール編集モードフック。
(add-hook 'wl-draft-mode-hook
'(lambda ()
(setq paragraph-start '"^\\([  ・○<\t\n\f]\\|(?[0-9a-zA-Z]+)\\)")
(auto-fill-mode t)
(set-fill-column 60)
))

シグネチャ(署名)挿入時のセパレータを削除する

~/.wl に以下を追記。
(setq signature-separator "")
(add-hook 'wl-mail-setup-hook
(lambda ()
(require 'signature)
(local-set-key "\C-c\C-w" 'insert-signature)))

アドレス帳を暗号化する

EasyPG などのEmacsからgpgを透過的に扱うパッケージを入れてあれば簡単に出来ます。
~/.addresses ファイルをgpgを使って暗号化し、出来た ~/.addresses.gpg ファイルを ~/.wl に、
;;; アドレス帳の指定。EasyPGで透過的に扱える。
(setq wl-address-file "~/.addresses.gpg")
などとして指定するだけ。
あとはWanderlust起動時に自動的にパスフレーズを聞かれるので入力すればOK。

2008年2月17日日曜日

Ubuntuで polipo を使ってニコニコ動画を快適にキャッシュしよう

ニコニコ動画 や youtube やら Stage6 などでたくさんの動画を観ていると、すぐにウェブブラウザのキャッシュから溢れて、決っして少なくないサイズの動画データを再びダウンするはめになり、あまり快適とは言えません。
うちの環境ではfirefoxでキャッシュを500Mぐらいに取ってあるんですが、どうもフラッシュはうまくキャッシングされないようで、複数の動画を行ったりきたりしていると再度ダウンするはめになり、非常にストレスを感じていました。

windowsだとnicocacheなるニコニコ動画専用のキャッシュツールがあるみたいでうらやましく思っていたり、かといって本格的な squid を立ち上げるのもなあ、と思いながら放置してたんですが、個人使用に特化したパーソナルなproxyサーバー、 polipo というのを知りました。

polipo はなんでも個人向けに特化したproxyサーバーらしく、特徴は、
  • 小型で軽快
  • HTTP1.0のアクセスをHTTP1.1に変えてくれる
  • 個人で使用することを考えられている
  • 設定項目が豊富
とのことで、さっそく導入してみました。

インストール

sudo apt-get install polipo
これだけです。インストールされると自動的にデーモンとして動きはじめます。

設定

  • polioの設定・動作確認
    polioの各種設定やステータスを確認したい場合は、http://localhost:8123 にウェブブラウザからアクセスすればOKです。とりあえず、特に設定することはないでしょう。
  • ブラウザでの設定
    Firefoxでの説明をします。メニューの編集→設定で、詳細をクリックし、ネットワークタブを選択します。その中の接続設定をクリックし、手動でプロキシを設定するにチェックを入れて、HTTPプロキシに、localhost、右のポートに、8123を設定します。
    すべてのプロトコルでこのプロキシを使用する、はお好みで。
    後は検証のためFirefoxのキャッシュを12MBぐらいに縮小して念のためFirefoxを再起動。



さっそく大きめの動画データを複数視聴。きちんとキャッシュされていて超快適w さらにFirefoxのキャッシュを12MBとしたことでFirefox自体の動作も軽くなりました。ん〜素晴しい。
ちなみにキャッシュ置き場はデフォルトでは、/var/cache/polipo/ になっているので、占有サイズを知りたければ、
sudo du -sh /var/cache/polipo/
とすれば分かります。
みなさんも快適なウェブブラウズ環境を構築して楽しんでください。

2008/02/18:追記:

 nicocacheはjavaで書かれているようで、linuxでも動きそうですね。でもproxyはやっぱりネイティブで動き、メモリ消費の少ないpolipoの方がいいですね。
 さらにLAN内のPCもpolipoを見るように設定しました。実際かなりレスポンスがよくなり、もっと早くにporoxy鯖立てておけばよかったと思います。
というかFfirefoxのキャッシュ、バカですよね。

2008/02/28:追記:

 polipo をLAN内で公開する場合は、/etc/polipo/config 内の、
# 公開するpolipoのIPアドレス。
proxyAddress = "0.0.0.0"
# 接続許可するIPアドレス。
allowedClients = 127.0.0.1, 192.168.0.22
あたりを有効にします。IPアドレス固定で運用しているなら、proxyAddress = を決め打ちでいいでしょう。