Palmsonntagmorgen

NGSデータを使った解析と、その周辺。

記事一覧

Linux一般 文字列の検索・置換 リダイレクトとパイプ sortコマンドの使い方(ファイルのソート) shuf: テキストファイルの行をランダム抽出 2つのファイルの共通行を抽出する Linux ワンライナー覚書 解析環境構築 環境変数PATHの通し方 SSH公開鍵の生成・…

aria2を使ってENAから高速にfastq.gzを取得する

1論文あたりで用いられるデータが年々増加しており、論文の再実験をするためにFASTQをダウンロードするのもなかなか苦労しますよね。 以下の記事でENAからwgetを使ってfastqを取得する方法を紹介していますが、 rnakato.hatenablog.jp 今回はその高速版です…

Linux command Tips

qiita.com

フリー素材・イラストデザインなど

qiita.com

無料公開されている講義資料など

随時追加します。Tweetはクリックするとスレッドが読めます。 データ分析 機械学習 Deep learning 強化学習 Transformer/BERT 時系列分析 Bioinformatics データ分析 講義資料 – 九州大学 数理・データサイエンス教育研究センター 情報教育コンテンツリンク…

Analysis Tips

解析するうえで参考になる情報まとめ。Tweetはクリックするとスレッドが読めます。 Data Visualization Data analysis R analysis Python analysis 100本ノック Data Visualization Making a heatmap is an essential skill for a bioinformatician. But you…

口頭発表資料作成のポイントリンク集

随時追加します。Tweetはクリックするとスレッドが読めます。 そろそろ卒業研究発表の準備をされる方も多いことかと思います。発表の準備について何らかの参考になれば幸いです。https://t.co/tctTwZFl8K— Takayuki Itoh (@1t0ocha) 2021年1月12日 Knowing h…

進学先・就職先としてのラボ選びで大事なこと

随時追加します。Tweetはクリックするとスレッドが読めます。 選んではいけないラボ – 国立・東京医科歯科大学AIシステム医科学 【Shimizu Lab】

研究内容を高めて(深めて)いくために大事なこと

随時追加します。Tweetはクリックするとスレッドが読めます。 Here are my 12 guidelines for data exploration and analysis with the right attitude for discovery:1. You never really finish analyzing a dataset. You just decide to stop and move on…

Docker daemonが ルートディレクトリの容量を圧迫するのを回避する

Dockerのイメージを大量にビルドなどしていると、気づくとルート(/)の容量がいっぱいになっていることがあります。 $ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 udev 126G 0 126G 0% /dev tmpfs 26G 2.5M 26G 1% /run /dev/sda3 275G 273G 0 …

NGS解析のための共有サーバ環境構築を考える(2022年度版)(2022/9/12追記)

5年前にこんな記事を書きました。 この時はPython2系と3系の共存(というか、Anaconda環境構築のベストプラクティス)に苦労していました。 rnakato.hatenablog.jp 今はほとんどPython3系のみで事足りますが、依然としてdependenciesの問題は解決されていま…

chromapを試す(その2)

高速にマッピングできるchromap*1 の続きです。今回はHi-Cデータに対してマッピングし、BWAと比較します。 前回の記事はこちら rnakato.hatenablog.jp Hi-Cファイルの取得 今回はHaarhuisらのCell論文*2 のデータを使いました。ヒトHap1細胞でのHi-Cデータで…

Linux ワンライナー覚書

スクリプトなどを用いずにLinuxのCUIコマンドのみで一行で行う処理(またはその処理を行うコマンド)のことをワンライナーと呼びます。 ここではゲノム解析に使うワンライナーを順次追加していきます。 一般的なファイル操作 $ ls workdir/ # workdirに含ま…

chromapを試す(その1)

chromapは高速・高精度にリードをゲノムにマップするツールです*1。 既存ツールのbwaやbowtie2よりも遥かに高速だとのことなので、ここではChIP-seqデータを用いて使用法及び速度・精度面を確かめてみたいと思います。 chromapについて chromap は minimap2*…

Docker/Singularityでも環境の統一は難しいかもしれないという話

Docker, Singularityが何かということを以下の記事で過去に紹介しました。 rnakato.hatenablog.jp rnakato.hatenablog.jp その後実験医学増刊号でもDockerを用いた私のシングルセル解析プラットフォームを紹介させていただきました。ここでも「Dockerは環境…

SSHその3 ssh の設定を保存 (.ssh/config)

SSHの記事その3です。ここまでの流れは以下の記事を参照してください。 rnakato.hatenablog.jp rnakato.hatenablog.jp 「その2」の記事で、 .ssh/configに以下を記入することでサーバ間のssh, scpをする際に秘密鍵、パスワードの入力が不要になると述べま…

SSHその2 ssh のパスワード入力を省略 (ssh-agent)

諸事情によりまたしばらく基礎的な内容になります。 クラウドサービス含め、サーバに接続する時にはセキュリティ面を考えて公開鍵方式のSSHを利用するのが一般的です。 公開鍵については過去に記事にしています。 rnakato.hatenablog.jp しかしサーバに接続…

論文・グラント申請書作成のポイントリンク集

随時追加します。Tweetはクリックするとスレッドが読めます。 Academic writing Grant writing 英語論文作成ツール集 ジャーナルに論文を通すまで エピゲノム論文にありがちな間違いについて Conference abstract Recommendation letter Academic writing ア…

fetchChromSizes を使ってgenome tableファイルを作成

以前書いた以下のエントリでは、genome配列ファイルからgenome tableファイルを作成する方法を紹介しました。 rnakato.hatenablog.jp UCSCから提供されているfetchChromSizes を使うと、この作業をより簡便に行うことが可能です。 fetchChromSizesのインスト…

【DROMPAplus】Dockerを使ったparse2wig+

そういえばDROMPAplusの紹介記事を全然書いていないことに気づきました。 最近はDockerイメージからのDROMPAplusの使い方をたびたび質問いただくので、今日はDockerを使ったDROMPAplusの使い方を紹介します。 なお、旧バージョンのDROMPA3とDROMPAplusの違い…

2つのファイルの共通行を抽出する

前回に続き、今回も小ネタです。 2つの遺伝子リストファイルがあって、2ファイル間で共通する遺伝子名がいくつあるか調べたいとします。 $ ls genelist1.txt genelist2.txt $ cat genelist1.txt RNA5SP516 AC092299.1 EML3 ZNF492 AC093063.1 DDX17 SRIP1 …

shuf: テキストファイルの行をランダム抽出

shufは入力行をシャッフルして出力するコマンドです。 【 shuf 】コマンド――入力行をシャッフルして出力する:Linux基本コマンドTips(112) - @IT このshufに -nオプションを追加すると出力する行数を指定できます。これにより、たとえば「ピークファイル(…

sortコマンドの使い方(ファイルのソート)

以下の記事の中で、sortコマンドについて触れていました。 rnakato.hatenablog.jp 多くのコマンドはsorted BEDを要求しますので、事前に以下のコマンドで全てのBEDをソートしておくとストレスがないかと思います。 $ sort -k1,1 -k2,2n in.bed > in.sorted.b…

あけましておめでとうございます

本年も私とこのブログをよろしくお願いします。 と言いつつ、これからこのブログをどうしようかなあ、などと考えています。。 このブログを始めた当初はNGS解析のノウハウを記した日本語のWebサイトはRNA-seq関連くらいしかなく、ChIP-seqはMACSの使い方くら…

DROMPAplusを公開しました

少し前になりますが、DROMPA3のアップデートであるDROMPAplusを正式にリリースしました。 DROMPAplus: a pipeline tool for ChIP-seq analysis — DROMPAplus 1.4.0 documentation 今回はその記事です。 Reference 4月に以下の論文を公開しました。ChIP-seq解…

Monocle3をRstudioで起動できる dorowu/ubuntu Dockerイメージ

前回の記事↓では、ブラウザからアクセスできるLinux GUI のDockerイメージを紹介しました。 rnakato.hatenablog.jp このイメージを使って、Rstudio内でMonocle3をGUI起動できるイメージを作ったので紹介したいと思います。 イメージのダウンロード・起動 以…

docker-ubuntu-vnc-desktopを使ってDockerイメージ (ssp_drompa) をGUIで動かす

更新間隔があいてしまいすみません。 論文書いたり博論審査したり、色々大変です。 今日はDockerのお話です。 最近以下のようなツイートを見つけました。 確かに、このdocker image面白い。このdocker imageをrunすると、こんな感じでブラウザやVNCからdocke…

【Linux】リダイレクトとパイプ

リダイレクト > 記号を使うことで、ターミナルに出力される文字列をファイルに保存することができ、これをリダイレクトといいます。 $ echo aaa bbb aaa bbb $ echo aaa bbb > text.txt # echo aaa bbb の結果を text.txt に保存する $ cat text.txt aaa bbb…

DROMPA3: その11 複製解析(出芽酵母)

久しぶりのDROMPAのエントリです。今回は出芽酵母(S. cerevisiae)の複製解析を行います。複製開始後のDNAを複製前のDNAで割り算することで、ゲノム上のどこでどの程度複製フォークが進んでいるかを可視化することができます。 データは以下の論文のものを…

【Linux】【Ubuntu】パッケージ管理コマンドあれこれ(11/21追記)(2021/6/18追記)

今日はUbuntuのパッケージ管理についてです。 (11/21 alien について追記) apt / apt-get / aptitude 全て同じです。 最初にあったのは apt-get です。これはUbuntuの親にあたるDebianにおけるパッケージ管理システムです。 その後 aptitudeに移行しようと…