#osc14tk 聴講メモ みんなが使えるシェルスクリプト、ユニケージ<unicage>とは。


みんなが使えるシェルスクリプト、ユニケージ<unicage>とは。

▶ #osc14tk みんなが使えるシェルスクリプト、ユニケージ<unicage>とは。 – YouTube

紹介

Buyanjargal Shirnen (シルネン ブヤンさん) モンゴル出身

Universal Shell Programming Laboratory Ltd.

  • 通称:UPS研究所

ユニケージ実績

  • 無印良品

  • 東急ハンズ

Unicage開発手法とは?

プラットフォーム

  • Linux,FreeBSD

  • whoami のような、既存のUNIXシェルコマンド

  • Unicageオリジナルコマンド (open usptukubai)

  • テキストファイルデータ

ユニケージ開発手法

  • ソフトウェア構成

  • データ配置

  • チームワークにおける作法(UNIX哲学を継承)

デモ

セールスレポート

  • シェルコマンドを並べてつなげるだけでアプリ開発

特徴

  • デバッグが楽

  • コードが短い

  • 速い、安い

  • ミドルウェア、DBが要らない

オープンソース

  • Open usp tukubai コマンドセット

ファイルを整理する重要性

  • フラットなファイルのみを用いてデータ構造を実装

ファイル整理が大事

完全分散型

* 業務で分ける、組織で分ける。データもプログラムも全部分ける。

並列処理:Pipes

シェルスクリプトでBitData処理

  • シェルのみでビッグデータ処理ができる分散処理の実現

  • シンプルかつ安価な構成

こんなBigDataも解決

人ゲノムのDNA計測データ制度の確認

  • 数億件の35GBのデータを解析

  • 52行のプログラムで17.7秒で完了する

世界人口から検索

  • 1,7TB 、100億人から特定条件で検索

    • 50行のプログラムで0.26秒の計算時間

サーバのログ解析

  • 156万件 / 16.6GB

  • DBを使っていた頃の90分から2分に短縮された

まとめ

  • コードがシンプル

  • 余計なミドルウェアが無い

  • データとアプリケーションが分散されているため、柔軟

入手先

連絡先

Appendix

  • HTML,Excel,PDF出力のコマンドもあり

  • オープン版はソースが公開されている(python製)

  • オープン版は40、有料版は160のコマンドがある。オープン版でだいたいのことは出来る。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

コメントをどうぞ

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA