t_kahi’s blog

KNIMEやCellProfiler、創薬に関する記事と,日々のメモです

【CellProfiler】メタデータを扱う際にUTF-8のBOMでエラーが起きた

CellProfilerで解析をしているときに文字コードエラーで少し悩んだのでメモしておきます. CellProfilerで画像ファイルとメタデータ(画像ファイルとWell配置,処理条件などが記載されたファイル)を”Metadata”モジュールで紐つけて,実行したところ下記エラ…

【KNIME】KNIMEでクラスタリング(1):k-meansでクラスター分析

こんばんは,@PKです. クラスター分析といえば,階層型クラスタリングやk-meansなどが有名かと思いますが,KNIMEでもクラスター分析に関するノードがいくつか用意されています. 今回はクラスター分析に関するKNIMEノード紹介と,k-meansでクラスター分析を…

【CellProfiler】Transfluor Assayの画像データをCellProfilerで解析する

こんばんは,@PKです. 今回はTransfluor Assayの画像データセットを解析するCellProfilerのPipelineを紹介します. CellProfilerは,HCAの画像解析を行うフリーソフトウェアです. CellProfiler | Free open-source software for measuring and analyzing ce…

【CellProfiler】MeasureTextureの測定で出力される「Scale」について

以前CellProfilerのテクスチャ測定に関するモジュールについて紹介しました. www.t-kahi.com 「MeasureTexture」は質感が異なるようなオブジェクトを認識することができます. Measurement — CellProfiler 3.0.0 documentation このテクスチャーモジュール…

【KNIME】〈後編〉Support Vector Machine (SVM) のKNIME Workflowについて:RとPythonノードの実行

こんばんは,@PKです. 前回の記事では,Support Vector Machine (SVM) のKNIME Workflowについて紹介しました. www.t-kahi.com 今回はSVMのKNIME WorkflowをRやPythonのノードを使って行うWorkflowを紹介します. KNIME Workflow概要 「R Learner/Predictor…

【KNIME】〈前編〉Support Vector Machine (SVM) のKNIME Workflowについて

こんばんは,@PKです. 以前の記事では,Random Forestについて3回に分けてご紹介し,機械学習の基礎的な手法(テストデータ・学習データの分類,交差検証,パラメーター最適化)をKNIME Workflowで紹介しました. 【KNIME】〈前編〉KNIMEでRandom Forest:「…

Europe PMCを利用してbioRxivのkeyword-based RSS Feedを作成する

こんにちは,@PKです. bioRxivなどpreprint serverの文献は,生命科学分野でも増加しています. このようなpreprintはPubMed検索では引っかからないので,どのように情報を収集するかを考えていました. 今回はEurope PMCを利用してkeyword-based RSS Feedを…

「ウェブ進化論 本当の大変化はこれから始まる 」を読みました

こんばんは,@PKです. 解析待ちながらTwitterを見ていたら,@kzfmさんのブログが上がっていました. blog.kzfmix.com 梅田望夫さんの「ウェブ進化論」という名著かつ古典があります。既に13年以上も前に出版された本ですが未読であれば読んでおくことをおす…

【KNIME】〈後編〉KNIMEでRandom Forest:Rのcaretパッケージを使ってRandom Forest

こんばんは,@PKです. これまでRandom ForestをKNIMEで行うためのノード紹介やパラメーターの最適化などを紹介してきました. www.t-kahi.com www.t-kahi.com 今回は〈後編〉ということで,これまで〈前編〉〈中編〉でKNIMEの専用ノードで行った処理を,Rのc…

【KNIME】〈中編〉KNIMEでRandom Forest:「Parameter Optimization」と「Cross Validation」の実行

こんばんは,@PKです. 前回の記事では〈前編〉KNIMEでRandom Forestということで,「Random Forest Learner/Predictor」を使って学習モデルの作成やテストデータの予測などを紹介しました. www.t-kahi.com しかし,実際にRandom Forestを行う際は,学習デー…

【KNIME】〈前編〉KNIMEでRandom Forest:「Random Forest」ノードを使ったWorkflowの紹介

こんばんは,@PKです. 以前,ブログで「Bootstrap」と「Decision Tree」についてそれぞれ紹介しました. www.t-kahi.com www.t-kahi.com このBootstrap SamplingとDecision Treeを組み合わせた機械学習の手法が「Random Forest」です. 今日は機械学習の手法…

【KNIME】データ解析の妥当性を検証する交差検証(Cross Validation)のKNIME Workflow

こんばんは,@PKです. 前回,決定木(Decision Tree)をKNIME Workflowで行う手法についてご紹介しました. www.t-kahi.com 今回は,前回ご紹介した決定木のWorkflowを使って,モデルの検証手法である,交差検証(Cross Validation)ノードの紹介をしたいと…

【KNIME】決定木 (decision tree) をKNIME Workflowで行う

こんばんは,@PKです. 前回の記事では線形判別分析(LDA)のKNIME Workflowをご紹介しました. www.t-kahi.com LDAは複数のクラスのデータを最も良く判別できるように線を引く,というイメージでした. 異なる判別分析の手法として決定木(decision tree)によ…

【KNIME, CellProfiler...】t_kahi's blog 記事まとめ

記事が増えてきて自身で探すのが難しくなってきたのでKNIMEとCellProfilerを中心に記事まとめを作成しました. 今後はこちらにもアップデートしていきます. KNIME KNIMEとデータ分析 KNIMEとデータ処理 KNIMEとデータベース KNIMEその他 CellProfiler KNIME…

【KNIME】線形判別分析 (Linear Discriminant Analysis) をKNIME Workflowで行う

こんにちは,@PKです. 今日は判別分析の一種である線形判別分析(Linear Discriminant Analysis)のKNIME Workflowについて紹介したいと思います. 線形判別分析(Linear Discriminant Analysis) とは KNIME Workflowの概要 「Linear Discrimination Analysis」…

【KNIME】KNIMEでBootstrap:母集団の統計量(中央値)のばらつきを考える

こんばんは,@PKです. 先日KNIMEで使用できるサンプリングノードに関する紹介をしました. www.t-kahi.com 今日はこの中でも,「Bootstrap sampling」を利用したBootstrap法を使って,母集団の統計量(今回は中央値)のばらつきを出すKNIME Worklowを紹介し…

【KNIME】KNIME Workflowのサンプリングノードについて

こんばんは,@PKです. KNIME Workflowでデータのサンプリングをする方法をいくつか調べていたのですが,主に3つのサンプリング手法のノードが提供されているようです. それぞれのノードを使った詳細なWorkflowは別の機会で紹介したいので,今回はそれぞれの…

【KNIME】複数のデータからそれぞれ最小・最大値を含む行を除くKNIME Workflow

こんばんは,@PKです. 同僚から相談があり,複数のデータからそれぞれ最小・最大値を含む行を除きたい,と相談があって調べていました. イメージとしては以下の通りで,それぞれの条件のデータから"Cell Count"が最小値・最大値のデータを除いて出力する,…

【KNIME】〈後編〉QuickFormが便利!PubMed APIで論文の要旨を取得する

こんばんは,@PKです. QuickFormノードを使ってPubMed検索ワード入力を行い,PubMed APIで論文アブストラクトを取得するKNIME Workflowの紹介です. Workflowの概要とQuickformについては前編で紹介しております. QuickForm素敵なので,ご覧になっていない…

【KNIME】〈前編〉QuickFormが便利!PubMed APIで論文の要旨を取得する

こんばんは,@PKです. PubMed APIを使って論文の情報をKNIME上で取得する,という内容について以前ブログで紹介しました. 【KNIME】PubMedの検索結果(タイトル・出版年月日・アブストラクト等)をKNIMEを使ってまとめて取得する - t_kahi’s blog 今日は少し…

【KNIME】Kolmogorov–Smirnov検定(KS-test)をKNIME Workflowで行う

こんばんは,@PKです. 今日はKNIMEでKolmogorov–Smirnov検定(KS-test)を行うWorkflowを紹介したいと思います. Kolmogorov–Smirnov検定(KS-test)とは KNIMEworkflow概要 まとめ(とおまけ) Kolmogorov–Smirnov検定(KS-test)とは Kolmogorov–Smirnov検定とは…

【KNIME】Transpose rows to multiple columns by category

Hi, I'm @PK. I tried to transpose rows to multiple columns by category. The example below showed the transpose of sample data. To solve this issue , I made KNIME workflow below. First, I read sample data which contains two columns, "compou…

【KNIME】重回帰分析をKNIME Workflowで行う

こんにちは,@PKです. 前回は単回帰分析でしたので,今回は重回帰分析編です. www.t-kahi.com 散布図・回帰直線の作成,回帰分析結果を出力し,KNIMEで重回帰分析を行う際はどのノードを使うのが良いかを考えてみます. また,交互作用を考慮した重回帰分析…

【KNIME】単回帰分析をKNIME Workflowで行う:「R snippet」&「Liner Regression Learner」

こんにちは,@PKです. 今回はKNIMEで単回帰分析を行うWorkflowについて紹介します. 散布図・回帰直線の作成,回帰分析結果を出力し,どのノードを使うのが良いかを考えてみます. KNIME Worlkflowの概要 「R view」で散布図と回帰直線の作成 単回帰分析の回…

【KNIME】全てのカラムの数値データをループで処理する

こんばんは,@PKです. 今回は,数値データを含む全てのカラムをループで処理するKNIME Workflowについて紹介します. はじめに Workflowの概要 サンプルデータ取得⇒前処理 ループ処理について まとめ はじめに 以前にKNIME Workflowによる実験データの数値処…

【R】回帰診断図(Regression Diagnosis Plots)をggplot2で表示する

R

こんにちは,@PKです. 最近,統計の勉強をRでやり直しています. Rではlm関数を使うと,簡単に線形回帰分析を行うことができます. lm function | R Documentation このlm関数で回帰分析を行った際に,回帰モデルに加えて,残差を視覚的に評価するための回帰…

【KNIME】実験デザインに応じてKNIME Workflowのループ処理を使い分ける

こんにちは,@PKです. 今回は,実験デザインに応じてKNIMEのループ処理を使い分けることについて紹介したいと思います. 以前,KNIMEで実験データの解析をすることについて紹介をしました. www.t-kahi.com ここでは,データ読み込み時の注意点や,数値デー…

【KNIME】One-way ANOVA(対応なし/対応あり)の結果を出力する

こんにちは,@PKです. 一元配置分散分析(One-way ANOVA)は1つの要因によって影響を受ける3群間以上の平均の差を検定する統計的手法です. 一元配置分散分析 - Wikipedia One-way ANOVAで有意差有り⇒多重検定という流れで使用されます. このOne-way ANOVA…

【KNIME】箱ひげ図(box plot)を作成する:「Conditional box plot」 VS 「R view」

こんにちは,@PKです. KNIMEには様々な可視化用のノードがあることを紹介してきました. www.t-kahi.com 特にJava scriptで構築されているinteractive nodeは,デフォルトのノードと比べても非常に便利で,可視化したデータを選択して次のノードに流せるのは…

【KNIME】1標本・2標本t検定・カイ二乗検定をKNIMEで行う

こんばんは,@PKです. バイオ実験者にとってはt検定やカイ二乗検定は馴染みがあると思いますが,KNIMEでも統計に関する様々なノードを使って簡単な統計解析を実施することができます. 例えば実験結果のワークフローを作って実験結果の解析をするときに,こ…