bash

Dockerで処理をまとめておく

やりたいこと 処理をまとめて簡単に動かせるようにしておきたい。 環境設定とか毎回するの面倒なので、コマンド一発で動かせるくらいにしておきたい。 解決策 Docker使う。 ソースコードを動かせる状態にしておいて、Dockerの仮想環境の中で稼働させる。 そ…

macでtreeコマンドを使う

やりたいこと macのコマンドラインでtreeコマンドを使う 解決策 まずはbrewでtreeをインストール % brew install tree 特定の階層数で制限をつけて表示するときは、--dirsfirstと-L 階層数のオプションをつけて実行する。 % tree -d --dirsfirst -L 2 試しに…

theanoライブラリを使えるようになるまでにがんばったこと

やろうとしたこと theanoライブラリを使って、deep learningの勉強してみようとした。 しかし、theanoのインストールがなかなかうまくいかず、いろいろ作業をしたので、その時のログを残しておく。 theanoのインストールがうまくいかなかった原因 pip instal…

ヘッダを維持したまんまファイルをunixコマンドで結合したい

やりたいこと headerがあるファイルを連結したい。 イメージ的には、ヘッダ付きのcsvとかtsvをcatコマンドで結合する感じ。 でも、catコマンドだと、結合したファイルのあっちこっちに ヘッダ行が出現してしまう。 これは困った。 どう解決するか? awkコマ…

gzで圧縮されたファイルから欲しい文字列の行数を数える

やりたいこと gzで圧縮されたファイルから特定の文字列を探し出して、行数を数えたい 条件がいくつかあり ファイルは当該ディレクトリの中に複数存在する ディレクトリの中には見たいファイルの他にもいろんなファイルが存在する ファイルはgzで圧縮されてい…

bashスクリプトの中でheaderファイルを挿入するには?

bashスクリプトを書いているときに、「ファイルにheaderを挿入するコマンド」を使いたいときがある。 例えば、SQLから取得してきたファイルをcsvとして整形して保存しておく時とか。 この時、ぼくはよくSQLから取得してきた文字列を変数に格納して、それから…

日付の名前がついたファイルを週ごとに連結する

ログファイルを扱っていると、タイトルのような需要がちょくちょく出てくる。 例えば、一週間でログインしたユーザーのみを知りたいときとか。 この場合、日付の名前がついたファイルを週ごとに連結して、sortしてuniq・・・ってことになるのだが、週ごとに…

xargsを使ってお手軽に分散処理をしよう!

複数のパラメータがあって、どのパラメータの組み合わせがいいのか?調べたい。でも多重for文を使うと大変なことに(ただでさえRのforはク・・) →bashコマンドのxargsを併用して、お手軽に分散処理をする。 参考にしたサイト:ここ 用意するもの 1 パラメ…

bashコマンドラインで複数のファイルに処理を実行

複数のファイルに同じ処理を実行したい時は,基本的にbashスクリプトを書けばいい. が,「複数ファイルの拡張子を一括変更」程度では,いちいちスクリプトを書くのは手間すぎる.で,コマンドライン上でその程度の変更ができるのを確かめてみた. buttercup…