t_kahi’s blog

KNIMEやCellProfiler、創薬に関する記事と,日々のメモです

KNIME

【KNIME】KNIMEでクラスタリング(1):k-meansでクラスター分析

こんばんは,@PKです. クラスター分析といえば,階層型クラスタリングやk-meansなどが有名かと思いますが,KNIMEでもクラスター分析に関するノードがいくつか用意されています. 今回はクラスター分析に関するKNIMEノード紹介と,k-meansでクラスター分析を…

【KNIME】〈後編〉Support Vector Machine (SVM) のKNIME Workflowについて:RとPythonノードの実行

こんばんは,@PKです. 前回の記事では,Support Vector Machine (SVM) のKNIME Workflowについて紹介しました. www.t-kahi.com 今回はSVMのKNIME WorkflowをRやPythonのノードを使って行うWorkflowを紹介します. KNIME Workflow概要 「R Learner/Predictor…

【KNIME】〈前編〉Support Vector Machine (SVM) のKNIME Workflowについて

こんばんは,@PKです. 以前の記事では,Random Forestについて3回に分けてご紹介し,機械学習の基礎的な手法(テストデータ・学習データの分類,交差検証,パラメーター最適化)をKNIME Workflowで紹介しました. 【KNIME】〈前編〉KNIMEでRandom Forest:「…

【KNIME】〈後編〉KNIMEでRandom Forest:Rのcaretパッケージを使ってRandom Forest

こんばんは,@PKです. これまでRandom ForestをKNIMEで行うためのノード紹介やパラメーターの最適化などを紹介してきました. www.t-kahi.com www.t-kahi.com 今回は〈後編〉ということで,これまで〈前編〉〈中編〉でKNIMEの専用ノードで行った処理を,Rのc…

【KNIME】〈中編〉KNIMEでRandom Forest:「Parameter Optimization」と「Cross Validation」の実行

こんばんは,@PKです. 前回の記事では〈前編〉KNIMEでRandom Forestということで,「Random Forest Learner/Predictor」を使って学習モデルの作成やテストデータの予測などを紹介しました. www.t-kahi.com しかし,実際にRandom Forestを行う際は,学習デー…

【KNIME】〈前編〉KNIMEでRandom Forest:「Random Forest」ノードを使ったWorkflowの紹介

こんばんは,@PKです. 以前,ブログで「Bootstrap」と「Decision Tree」についてそれぞれ紹介しました. www.t-kahi.com www.t-kahi.com このBootstrap SamplingとDecision Treeを組み合わせた機械学習の手法が「Random Forest」です. 今日は機械学習の手法…

【KNIME】データ解析の妥当性を検証する交差検証(Cross Validation)のKNIME Workflow

こんばんは,@PKです. 前回,決定木(Decision Tree)をKNIME Workflowで行う手法についてご紹介しました. www.t-kahi.com 今回は,前回ご紹介した決定木のWorkflowを使って,モデルの検証手法である,交差検証(Cross Validation)ノードの紹介をしたいと…

【KNIME】決定木 (decision tree) をKNIME Workflowで行う

こんばんは,@PKです. 前回の記事では線形判別分析(LDA)のKNIME Workflowをご紹介しました. www.t-kahi.com LDAは複数のクラスのデータを最も良く判別できるように線を引く,というイメージでした. 異なる判別分析の手法として決定木(decision tree)によ…

【KNIME】線形判別分析 (Linear Discriminant Analysis) をKNIME Workflowで行う

こんにちは,@PKです. 今日は判別分析の一種である線形判別分析(Linear Discriminant Analysis)のKNIME Workflowについて紹介したいと思います. 線形判別分析(Linear Discriminant Analysis) とは KNIME Workflowの概要 「Linear Discrimination Analysis」…

【KNIME】KNIMEでBootstrap:母集団の統計量(中央値)のばらつきを考える

こんばんは,@PKです. 先日KNIMEで使用できるサンプリングノードに関する紹介をしました. www.t-kahi.com 今日はこの中でも,「Bootstrap sampling」を利用したBootstrap法を使って,母集団の統計量(今回は中央値)のばらつきを出すKNIME Worklowを紹介し…

【KNIME】KNIME Workflowのサンプリングノードについて

こんばんは,@PKです. KNIME Workflowでデータのサンプリングをする方法をいくつか調べていたのですが,主に3つのサンプリング手法のノードが提供されているようです. それぞれのノードを使った詳細なWorkflowは別の機会で紹介したいので,今回はそれぞれの…

【KNIME】複数のデータからそれぞれ最小・最大値を含む行を除くKNIME Workflow

こんばんは,@PKです. 同僚から相談があり,複数のデータからそれぞれ最小・最大値を含む行を除きたい,と相談があって調べていました. イメージとしては以下の通りで,それぞれの条件のデータから"Cell Count"が最小値・最大値のデータを除いて出力する,…

【KNIME】〈後編〉QuickFormが便利!PubMed APIで論文の要旨を取得する

こんばんは,@PKです. QuickFormノードを使ってPubMed検索ワード入力を行い,PubMed APIで論文アブストラクトを取得するKNIME Workflowの紹介です. Workflowの概要とQuickformについては前編で紹介しております. QuickForm素敵なので,ご覧になっていない…

【KNIME】〈前編〉QuickFormが便利!PubMed APIで論文の要旨を取得する

こんばんは,@PKです. PubMed APIを使って論文の情報をKNIME上で取得する,という内容について以前ブログで紹介しました. 【KNIME】PubMedの検索結果(タイトル・出版年月日・アブストラクト等)をKNIMEを使ってまとめて取得する - t_kahi’s blog 今日は少し…

【KNIME】Kolmogorov–Smirnov検定(KS-test)をKNIME Workflowで行う

こんばんは,@PKです. 今日はKNIMEでKolmogorov–Smirnov検定(KS-test)を行うWorkflowを紹介したいと思います. Kolmogorov–Smirnov検定(KS-test)とは KNIMEworkflow概要 まとめ(とおまけ) Kolmogorov–Smirnov検定(KS-test)とは Kolmogorov–Smirnov検定とは…

【KNIME】Transpose rows to multiple columns by category

Hi, I'm @PK. I tried to transpose rows to multiple columns by category. The example below showed the transpose of sample data. To solve this issue , I made KNIME workflow below. First, I read sample data which contains two columns, "compou…

【KNIME】重回帰分析をKNIME Workflowで行う

こんにちは,@PKです. 前回は単回帰分析でしたので,今回は重回帰分析編です. www.t-kahi.com 散布図・回帰直線の作成,回帰分析結果を出力し,KNIMEで重回帰分析を行う際はどのノードを使うのが良いかを考えてみます. また,交互作用を考慮した重回帰分析…

【KNIME】単回帰分析をKNIME Workflowで行う:「R snippet」&「Liner Regression Learner」

こんにちは,@PKです. 今回はKNIMEで単回帰分析を行うWorkflowについて紹介します. 散布図・回帰直線の作成,回帰分析結果を出力し,どのノードを使うのが良いかを考えてみます. KNIME Worlkflowの概要 「R view」で散布図と回帰直線の作成 単回帰分析の回…

【KNIME】全てのカラムの数値データをループで処理する

こんばんは,@PKです. 今回は,数値データを含む全てのカラムをループで処理するKNIME Workflowについて紹介します. はじめに Workflowの概要 サンプルデータ取得⇒前処理 ループ処理について まとめ はじめに 以前にKNIME Workflowによる実験データの数値処…

【KNIME】実験デザインに応じてKNIME Workflowのループ処理を使い分ける

こんにちは,@PKです. 今回は,実験デザインに応じてKNIMEのループ処理を使い分けることについて紹介したいと思います. 以前,KNIMEで実験データの解析をすることについて紹介をしました. www.t-kahi.com ここでは,データ読み込み時の注意点や,数値デー…

【KNIME】One-way ANOVA(対応なし/対応あり)の結果を出力する

こんにちは,@PKです. 一元配置分散分析(One-way ANOVA)は1つの要因によって影響を受ける3群間以上の平均の差を検定する統計的手法です. 一元配置分散分析 - Wikipedia One-way ANOVAで有意差有り⇒多重検定という流れで使用されます. このOne-way ANOVA…

【KNIME】箱ひげ図(box plot)を作成する:「Conditional box plot」 VS 「R view」

こんにちは,@PKです. KNIMEには様々な可視化用のノードがあることを紹介してきました. www.t-kahi.com 特にJava scriptで構築されているinteractive nodeは,デフォルトのノードと比べても非常に便利で,可視化したデータを選択して次のノードに流せるのは…

【KNIME】1標本・2標本t検定・カイ二乗検定をKNIMEで行う

こんばんは,@PKです. バイオ実験者にとってはt検定やカイ二乗検定は馴染みがあると思いますが,KNIMEでも統計に関する様々なノードを使って簡単な統計解析を実施することができます. 例えば実験結果のワークフローを作って実験結果の解析をするときに,こ…

【KNIME】主成分分析(PCA)ノードを使って,主成分スコア・固有ベクトル・累積寄与率を出す

こんばんは,@PKです. 今日はKNIMEの主成分分析(Principal Component Analysis : PCA)のノードを使って,主成分スコアや固有ベクトル,累積寄与率を算出してみます. 以前からKNIMEのPCAノードを使用していたのですが,累積寄与率などが直接出てこないので,…

KNIME Workflowによる実験データ処理について〈後編:数字データの処理について〉

こんばんは,@PKです. 前回のブログではKNIME Workflowによる実験データ処理について,「データの読み込み」部分のお話をしました. www.t-kahi.com データを読み込むためには,実験デザインの時から意識してデータを加工しやすい表記にしておくことを紹介し…

KNIME Workflowによる実験データ処理について〈前編:データの読み込みについて〉

こんばんは,@PKです. 今日はKNIMEを用いた実験データ処理について,紹介したいと思います. はじめに KNIME workflowの概要 データ読み込みについて 最後に はじめに 実はこれまで,自身もKNIMEを使ってデータ解析をすることは多くはありませんでした. ス…

【KNIME】遺伝子名からPDB IDをまとめて取得する

こんばんは,@PKです. 先日,複数のターゲット遺伝子に関連する構造情報をまとめて取得できないか,と同僚から相談されたので,KNIMEを使って遺伝子名からPDB IDを取得するKNIME Workflowを作成してみました. このWorkflowでは,構造情報が欲しいヒト遺伝子…

【KNIME】Tukeyの多重検定を「R node」で処理・可視化する

こんにちは,@PKです. 今日はTukeyの多重検定をKNIMEの「R node」で処理・可視化するワークフローを紹介したいと思います. はじめに KNIME R-Project nodesのインストール KNIME上でRを動かすときの注意点 KNIME Workflowの紹介 終わりに はじめに 以前,用…

【KNIME】異なるデータ構造のファイルをループする

こんばんは,@PKです. 以前,KNIMEのループについて紹介しました. t-kahi.hatenablog.com 最近,KNIMEを使って実験データの解析を自動化できるワークフローを作成しています. 出力されたデータをポチポチとEXCELに打ち込んで解析するのではなく,自動的に…

【CellProfiler】【KNIME】MeasureImageQualityでぼやけた画像を検出し,データセットから除去する

こんばんは,@PKです. 今回はハイコンテントアナリシスで撮影した画像に含まれているノイズやぼやけた画像を検出する手法について紹介したいと思います. はじめに CellProfilerの「MeasureImageQuality」モジュールについて KNIMEを使ってぼやけた画像をデ…