Если у меня есть сценарий, который мне нужно запустить на нескольких компьютерах или с несколькими разными аргументами, как я могу выполнить его параллельно, не неся накладные расходы на создание нового PS Работа с Start-Job?
Например, Я хочу повторно синхронизировать время на всех членах домена, вот так:
$computers = Get-ADComputer -filter * |Select-Object -ExpandProperty dnsHostName
$creds = Get-Credential domain\user
foreach($computer in $computers)
{
$session = New-PSSession -ComputerName $computer -Credential $creds
Invoke-Command -Session $session -ScriptBlock { w32tm /resync /nowait /rediscover }
}
Но я не хочу ждать, пока каждый сеанс PSSession подключится и вызовет команду. Как это можно делать параллельно, без Джобса?
Обновить - Хотя в этом ответе объясняется процесс и механика пространств выполнения PowerShell и то, как они могут помочь вам в многопоточных непоследовательных рабочих нагрузках, коллега-поклонник PowerShell Уоррен 'Cookie Monster' F приложил дополнительные усилия и включил эти концепции в единый инструмент под названием Invoke-Parallel - он делает то, что я описываю ниже, и с тех пор он расширил его дополнительными переключателями для ведения журнала и подготовленного состояния сеанса, включая импортированные модули, действительно классные вещи - я настоятельно рекомендую вам проверить это прежде чем строить собственное блестящее решение!
В исходном конкретном случае вызываемый исполняемый файл имеет /nowait опция, которая предотвращает блокировку вызывающего потока, пока задание (в данном случае повторная синхронизация времени) завершается само.
Это значительно сокращает общее время выполнения с точки зрения эмитентов, но подключение к каждой машине по-прежнему выполняется в последовательном порядке. Последовательное подключение к тысячам клиентов может занять много времени в зависимости от количества машин, которые по тем или иным причинам недоступны из-за накопления времени ожидания.
Чтобы избежать необходимости ставить в очередь все последующие соединения в случае одного или нескольких последовательных тайм-аутов, мы можем распределить задание по подключению и вызову команд в отдельные пространства выполнения PowerShell, выполняемые параллельно.
А Runspace - это виртуальный контейнер, в котором выполняется ваш код PowerShell, и он представляет / содержит среду с точки зрения оператора / команды PowerShell.
В общих чертах, 1 пространство выполнения = 1 поток выполнения, поэтому все, что нам нужно для «многопоточности» нашего сценария PowerShell, - это набор пространств выполнения, которые затем, в свою очередь, могут выполняться параллельно.
Как и в исходной проблеме, задание по вызову команд из нескольких пространств выполнения можно разбить на:
В PowerShell есть ускоритель типов, называемый [RunspaceFactory] который поможет нам в создании компонентов runspace - давайте приступим к работе
Open() Это:$RunspacePool = [runspacefactory]::CreateRunspacePool(1,8)
$RunspacePool.Open()
Два аргумента, переданные в CreateRunspacePool(), 1 и 8 это минимальное и максимальное количество пространств выполнения, разрешенных для выполнения в любой момент времени, что дает нам эффективный максимум степень параллелизма из 8.
Экземпляр PowerShell - это не то же самое, что powershell.exe процесс (который на самом деле является хост-приложением), но внутренний объект времени выполнения, представляющий исполняемый код PowerShell. Мы можем использовать [powershell] введите ускоритель для создания нового экземпляра PowerShell в PowerShell:
$Code = {
param($Credentials,$ComputerName)
$session = New-PSSession -ComputerName $ComputerName -Credential $Credentials
Invoke-Command -Session $session -ScriptBlock {w32tm /resync /nowait /rediscover}
}
$PSinstance = [powershell]::Create().AddScript($Code).AddArgument($creds).AddArgument("computer1.domain.tld")
$PSinstance.RunspacePool = $RunspacePool
Используя то, что в терминологии разработки .NET известно как Модель асинхронного программирования, мы можем разделить вызов команды на Begin метод, чтобы дать "зеленый свет" на выполнение кода, и End метод сбора результатов. Поскольку в данном случае нас не очень интересует обратная связь (мы не ждем вывода от w32tm в любом случае), мы можем исправить это, просто вызвав первый метод
$PSinstance.BeginInvoke()
Используя описанную выше технику, мы можем обернуть последовательные итерации создания новых соединений и вызова удаленной команды в потоке параллельного выполнения:
$ComputerNames = Get-ADComputer -filter * -Properties dnsHostName |select -Expand dnsHostName
$Code = {
param($Credentials,$ComputerName)
$session = New-PSSession -ComputerName $ComputerName -Credential $Credentials
Invoke-Command -Session $session -ScriptBlock {w32tm /resync /nowait /rediscover}
}
$creds = Get-Credential domain\user
$rsPool = [runspacefactory]::CreateRunspacePool(1,8)
$rsPool.Open()
foreach($ComputerName in $ComputerNames)
{
$PSinstance = [powershell]::Create().AddScript($Code).AddArgument($creds).AddArgument($ComputerName)
$PSinstance.RunspacePool = $rsPool
$PSinstance.BeginInvoke()
}
Предполагая, что ЦП способен выполнять все 8 пространств выполнения одновременно, мы должны увидеть, что время выполнения значительно сокращается, но за счет удобочитаемости сценария из-за использования довольно «продвинутых» методов.
Мы могли бы легко создать RunspacePool, который позволяет одновременно выполнять 100 рабочих пространств:
[runspacefactory]::CreateRunspacePool(1,100)
Но, в конце концов, все сводится к тому, сколько единиц выполнения может обработать наш локальный процессор. Другими словами, пока ваш код выполняется, не имеет смысла разрешать больше пространств выполнения, чем у вас есть логические процессоры, на которые отправляется выполнение кода.
Благодаря WMI этот порог довольно легко определить:
$NumberOfLogicalProcessor = (Get-WmiObject Win32_Processor).NumberOfLogicalProcessors
[runspacefactory]::CreateRunspacePool(1,$NumberOfLogicalProcessors)
Если, с другой стороны, код, который вы выполняете, сам требует много времени ожидания из-за внешних факторов, таких как задержка в сети, вы все равно можете получить выгоду от запуска большего количества одновременных пространств выполнения, чем у вас есть логических процессоров, поэтому вы, вероятно, захотите протестировать возможных максимальных пробелов для поиска точка безубыточности:
foreach($n in ($NumberOfLogicalProcessors..($NumberOfLogicalProcessors*3)))
{
Write-Host "$n: " -NoNewLine
(Measure-Command {
$Computers = Get-ADComputer -filter * -Properties dnsHostName |select -Expand dnsHostName -First 100
...
[runspacefactory]::CreateRunspacePool(1,$n)
...
}).TotalSeconds
}
В дополнение к этому обсуждению, чего не хватает, так это сборщика для хранения данных, созданных из пространства выполнения, и переменной для проверки состояния пространства выполнения, т.е. завершено оно или нет.
#Add an collector object that will store the data
$Object = New-Object 'System.Management.Automation.PSDataCollection[psobject]'
#Create a variable to check the status
$Handle = $PSinstance.BeginInvoke($Object,$Object)
#So if you want to check the status simply type:
$Handle
#If you want to see the data collected, type:
$Object
Проверять, выписываться PoshRSJob. Он предоставляет те же / аналогичные функции, что и собственные функции * -Job, но использует пространства выполнения, которые, как правило, намного быстрее и быстрее реагируют, чем стандартные задания Powershell.
@ mathias-r-jessen отлично ответ хотя есть детали, которые я хотел бы добавить.
Теоретически потоки должны быть ограничены количеством системных процессоров. Однако при тестировании AsyncTcpScan Я добился гораздо большей производительности, выбрав гораздо большее значение для MaxThreads. Итак, почему этот модуль имеет -MaxThreads входной параметр. Имейте в виду, что выделение слишком большого количества потоков снизит производительность.
Получение данных из ScriptBlock сложно. Я обновил код OP и интегрировал его в то, что использовалось для AsyncTcpScan.
ВНИМАНИЕ: мне не удалось протестировать следующий код. Я внес некоторые изменения в сценарий OP, основываясь на моем опыте работы с командлетами Active Directory.
# Script to run in each thread.
[System.Management.Automation.ScriptBlock]$ScriptBlock = {
$result = New-Object PSObject -Property @{ 'Computer' = $args[0];
'Success' = $false; }
try {
$session = New-PSSession -ComputerName $args[0] -Credential $args[1]
Invoke-Command -Session $session -ScriptBlock { w32tm /resync /nowait /rediscover }
Disconnect-PSSession -Session $session
$result.Success = $true
} catch {
}
return $result
} # End Scriptblock
function Invoke-AsyncJob
{
[CmdletBinding()]
param(
[parameter(Mandatory=$true)]
[System.Management.Automation.PSCredential]
# Credential object to login to remote systems
$Credentials
)
Import-Module ActiveDirectory
$Results = @()
$AllJobs = New-Object System.Collections.ArrayList
$AllDomainComputers = Get-ADComputer -Filter * -Properties dnsHostName
$HostRunspacePool = [System.Management.Automation.Runspaces.RunspaceFactory]::CreateRunspacePool(2,10,$Host)
$HostRunspacePool.Open()
foreach($DomainComputer in $AllDomainComputers)
{
$asyncJob = [System.Management.Automation.PowerShell]::Create().AddScript($ScriptBlock).AddParameters($($($DomainComputer.dnsName),$Credentials))
$asyncJob.RunspacePool = $HostRunspacePool
$asyncJobObj = @{ JobHandle = $asyncJob;
AsyncHandle = $asyncJob.BeginInvoke() }
$AllJobs.Add($asyncJobObj) | Out-Null
}
$ProcessingJobs = $true
Do {
$CompletedJobs = $AllJobs | Where-Object { $_.AsyncHandle.IsCompleted }
if($null -ne $CompletedJobs)
{
foreach($job in $CompletedJobs)
{
$result = $job.JobHandle.EndInvoke($job.AsyncHandle)
if($null -ne $result)
{
$Results += $result
}
$job.JobHandle.Dispose()
$AllJobs.Remove($job)
}
} else {
if($AllJobs.Count -eq 0)
{
$ProcessingJobs = $false
} else {
Start-Sleep -Milliseconds 500
}
}
} While ($ProcessingJobs)
$HostRunspacePool.Close()
$HostRunspacePool.Dispose()
return $Results
} # End function Invoke-AsyncJob