在Linux系統(tǒng)中使用Shell實現(xiàn)多線程運行任務(wù)（多任務(wù)并發(fā)執(zhí)行） 2022-05-30

最近，有一批任務(wù)需要把兩批的fastq合并到一起并壓縮成一個fastq文件才能繼續(xù)往下做，由于存儲空間有限又不能直接全部跑上，只能按樣本逐個分批跑。眾所周知，一般fastq是成對存在的，所需要對read1和read2分別合并一次，然而這次任務(wù)的fastq文件比較大，合并然后壓縮一次需要1天左右，那對于一組fastq就要2-3天，這也太耗時間了，所以我在想能不能read1和read2 同時跑上，這就可以節(jié)省一半的時間了。

創(chuàng)新互聯(lián)公司專注于安徽企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城網(wǎng)站開發(fā)。安徽網(wǎng)站建設(shè)公司,為安徽等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站設(shè)計，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

平時也能遇到很多類似的任務(wù)，特別是在進程數(shù)有限的情況下，如果這些小任務(wù)單獨占用一個進程，而任務(wù)很多就很耗時間，如果能在一個進程下實現(xiàn)多個線程并行執(zhí)行，就能大大提高運行效率。關(guān)于進程和線程的知識可以參考知乎的這篇文章【 Shell“ 多線程”，提高工作效率 】，整理的也比較有條理，能比較容易讀懂。

當(dāng)然，某些博主也寫過類似的文章，例如這篇【 shell后臺限制多并發(fā)控制后臺任務(wù)強度進行文件拷貝 】但是實在是太高深莫測了，看不懂，一時半會兒也學(xué)不會。本文將示例Shell實現(xiàn)多線程的簡單版本，其實不用太復(fù)雜。

其實只需要兩個步驟， 第一步是給需要并行運行的命令行在結(jié)尾加上""，代表放到后臺運行，第二步是在在所有并行任務(wù)的后面加上一句“wait”，意思是等所有通過“”放到后臺運行的任務(wù)跑完后再繼續(xù)執(zhí)行后面的任務(wù) ，這些就能實現(xiàn)所有帶有“”的行并行執(zhí)行了。

看完腳本是不是覺得很簡單？

上面的腳本適合并行任務(wù)少的，可以手動加和wait，但是如果有幾十個甚至上百個的小任務(wù)就比較麻煩了。但不用擔(dān)心，可以寫個循環(huán)，批量運行。

循環(huán)的結(jié)果也是跟上面類似的，只是多了個循環(huán)結(jié)構(gòu)。

如果需要執(zhí)行的任務(wù)只有一行，可以把大括號去掉。

關(guān)于for和while的循環(huán)可以查看之前的文章【 Shell常用循環(huán)示例（for和while批量處理）2022-05-25 】

需要注意的是多線程并行還是需要有限制的，畢竟都是在一個進程里運行，如果線程太多了會卡頓的，建議控制在100個以內(nèi)，當(dāng)然還有畢竟高級和復(fù)雜的方法可以實現(xiàn)限制。因為上面的腳本已經(jīng)夠我用了，沒繼續(xù)往下學(xué)，以后可以再補充。

linux下并發(fā)連接數(shù)限制

并發(fā)socket連接數(shù)的多少決定于系統(tǒng)資源的多少，沒有一個常值的．在實際開發(fā)或者linux系統(tǒng)管理中也會根據(jù)需要進行相應(yīng)的設(shè)置．

1．一般來說每一個網(wǎng)絡(luò)連接，都會建立相應(yīng)的socket句柄，同時每個連接也會有標(biāo)準(zhǔn)輸入輸出等基本的文件文件句柄，而且每一個socket連接都是進行文件操作的，因此連接數(shù)決定于系統(tǒng)資源．

2．Linux上一般可以通過ulimit來進行相應(yīng)的資源限制，默認(rèn)能打開的文件描述符自己可以查看．如下圖所示：

3．ulimit的命令格式：ulimit [-acdfHlmnpsStvw] [size]

參數(shù)說明：

-H 設(shè)置硬資源限制.

-S 設(shè)置軟資源限制.

-a 顯示當(dāng)前所有的資源限制.

-c size:設(shè)置core文件的最大值.單位:blocks

-d size:設(shè)置數(shù)據(jù)段的最大值.單位:kbytes

-f size:設(shè)置創(chuàng)建文件的最大值.單位:blocks

-l size:設(shè)置在內(nèi)存中鎖定進程的最大值.單位:kbytes

-m size:設(shè)置可以使用的常駐內(nèi)存的最大值.單位:kbytes

-n size:設(shè)置內(nèi)核可以同時打開的文件描述符的最大值.單位:n

-p size:設(shè)置管道緩沖區(qū)的最大值.單位:kbytes

-s size:設(shè)置堆棧的最大值.單位:kbytes

-t size:設(shè)置CPU使用時間的最大上限.單位:seconds

-v size:設(shè)置虛擬內(nèi)存的最大值.單位:kbytes

-u 程序數(shù)目 　用戶最多可開啟的程序數(shù)目

Linux設(shè)備驅(qū)動中的并發(fā)

并發(fā)就是多個執(zhí)行單元或多個進程并行執(zhí)行，而這多個執(zhí)行單元對資源進行共享，比如訪問同一個變量或同一個硬件資源，這個時候就很容易出現(xiàn)競態(tài)(說簡單點就是競爭同一個”女朋友”)。

為了處理并發(fā)帶來的問題，Linux有幾種處理方法:

1. 中斷屏蔽

2. 原子操作

3. 自旋鎖

4. 信號量

5. 互斥體

6. 完成量

以上幾種處理并發(fā)的方式各有利弊，需要根據(jù)實際情況來選擇使用哪一種。

它的原理就是讓CPU不響應(yīng)中斷，一般使用這種方法的要求代碼段要比較少，不能占用大量的時間。一般在驅(qū)動中不推薦使用這種方式。

原子量保證對一個整形數(shù)據(jù)的操作是排他性的。就是該操作絕不會在執(zhí)行完畢前被任何其他任務(wù)或事件打斷。

自旋鎖是一種典型的對臨界資源進行互斥訪問的手段。當(dāng)一個自旋鎖已經(jīng)被其他線程持有，而另一個線程試圖去獲取自旋鎖，這時候就會一直在那里等待(原地自旋等待)。如果遞歸調(diào)用自旋鎖，就會導(dǎo)致系統(tǒng)死鎖。

與自旋鎖不同的是，當(dāng)獲取不到信號量時，進程不會原地打轉(zhuǎn)而是進入休眠等待狀態(tài)。新的Linux內(nèi)核傾向于直接使用mutex作為互斥手段，信號量用作互斥不再被推薦使用。

當(dāng)進程占用資源時間較長時，用互斥體會比較好。

使用方法：

完成量的機制是實現(xiàn)一個線程發(fā)送一個信號通知另一個線程完成某個任務(wù)。一個線程調(diào)用wait_for_completion后就進入休眠，另一個線程執(zhí)行完某個任務(wù)后就發(fā)送通知給進入休眠的線程，然后它就執(zhí)行wait_for_completion后面的代碼。

2021-01-10：linux中，我要看某一個進程的并發(fā)，通過什么命令去查？

ps -axjf ，這個命令會打印進程樹，不過看的是childID，類似的命令還有top -Hp pid,當(dāng)然我理解的并發(fā)包括但不限于子進程

最詳細(xì)的當(dāng)然還是sudo perf top -p PID -g ,直接通過采樣來看一個進程到底干了什么，期間有那些進程是active的，不止是子進程,還包括進程鎖等相關(guān)進程，這大概是最符合你所說的看一個進程的并發(fā)的命令，希望對你有用吧。

linux內(nèi)核中造成并發(fā)執(zhí)行的原因是什么

linux中內(nèi)核并發(fā)機制也就是同步機制產(chǎn)生的原因,總的來說可歸納為一下4點:

l 中斷——中斷幾乎可以在任何時刻異步發(fā)生，也就可能隨時打斷當(dāng)前正在執(zhí)行的代碼。

2 睡眠及與用戶空間的同步——在內(nèi)核執(zhí)行的進程可能會睡眠，這就會喚醒調(diào)度程序，從而導(dǎo)致調(diào)度一個新的用戶進程執(zhí)行。

3 對稱多處理——兩個或多個處理器可以同時執(zhí)行代碼。

4內(nèi)核搶占——因為內(nèi)核具有搶占性，所以內(nèi)核中的任務(wù)可能會被另一任務(wù)搶占（在2.6內(nèi)核引進的新能力）。

Linux如何查看服務(wù)器的并發(fā)數(shù)

linux查看連接數(shù)，并發(fā)數(shù)1、查看apache當(dāng)前并發(fā)訪問數(shù)：

netstat

-an

grep

ESTABLISHED

wc

-l對比httpd.conf中MaxClients的數(shù)字差距多少。2、查看有多少個進程數(shù)：ps

auxgrep

httpdwc

-l3、可以使用如下參數(shù)查看數(shù)據(jù)server-status?auto#ps

-efgrep

httpdwc

-l1388統(tǒng)計httpd進程數(shù)，連個請求會啟動一個進程，使用于Apache服務(wù)器。表示Apache能夠處理1388個并發(fā)請求，這個值A(chǔ)pache可根據(jù)負(fù)載情況自動調(diào)整。#netstat

-natgrep

-i

80wc

-l4341netstat

-an會打印系統(tǒng)當(dāng)前網(wǎng)絡(luò)鏈接狀態(tài)，而grep

-i

80是用來提取與80端口有關(guān)的連接的，wc

-l進行連接數(shù)統(tǒng)計。

最終返回的數(shù)字就是當(dāng)前所有80端口的請求總數(shù)。#netstat

-nagrep

ESTABLISHEDwc

-l376netstat

-an會打印系統(tǒng)當(dāng)前網(wǎng)絡(luò)鏈接狀態(tài)，而grep

ESTABLISHED

提取出已建立連接的信息。

然后wc

-l統(tǒng)計。最終返回的數(shù)字就是當(dāng)前所有80端口的已建立連接的總數(shù)。netstat

-natgrep

ESTABLISHEDwc

-

可查看所有建立連接的詳細(xì)記錄

查看Apache的并發(fā)請求數(shù)及其TCP連接狀態(tài)：linux命令：netstat

-n

awk

'/^tcp/

{++S[$NF]}

END

{for（a

in

S）

print

a,

S[a]}'返回結(jié)果示例：LAST_ACK

5SYN_RECV

30ESTABLISHED

1597FIN_WAIT1

51FIN_WAIT2

504TIME_WAIT

1057其中的SYN_RECV表示正在等待處理的請求數(shù)；ESTABLISHED表示正常數(shù)據(jù)傳輸狀態(tài)；TIME_WAIT表示處理完畢，等待超時結(jié)束的請求數(shù)。（這個參數(shù)還不太懂，為啥是等待超時結(jié)束，請大神指教）

網(wǎng)站標(biāo)題：linux命令行并發(fā) linux內(nèi)核中解決并發(fā)控制最常用的方法
文章來源：http://www.ekvhdxd.cn/article28/dodipjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、自適應(yīng)網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)站策劃、網(wǎng)站制作、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)